記者 | 崔鵬
近日，百度集團副總裁吳甜與界面新聞等多家媒體分享了百度“文心大模型”的最新進展。
吳甜表示，2022年是“文心大模型”產(chǎn)業(yè)落地關鍵年，目前“文心大模型”已大規(guī)模應用于百度內(nèi)部的各類產(chǎn)品，包含搜索、信息流、小度智能屏、百度地圖等，而“文心大模型”的個人、企業(yè)開發(fā)者數(shù)量已超過6萬人。
隨著數(shù)據(jù)井噴、算法進步和算力突破，泛化能力和通用性強的預訓練大模型正在成為人工智能發(fā)展的關鍵方向，并成為人工智能產(chǎn)業(yè)應用的重要推動力。
人工智能技術要想在傳統(tǒng)產(chǎn)業(yè)升級轉型的過程中實現(xiàn)普及，需要與各行各業(yè)的差異化場景深度融合，而大模型能加速這種融合的進展：它通過集中提供通用算法模型，打造技術底座，讓大多數(shù)企業(yè)的標注數(shù)據(jù)更少、開發(fā)效率更高、應用成本更低，從而大幅降低人工智能的應用門檻。
2019年3月，百度發(fā)布中國首個正式開放的預訓練模型ERNIE1.0；2021年12月，ERNIE 3.0升級為知識增強千億大模型“鵬程-百度文心”。
在吳甜看來，“文心大模型”作為產(chǎn)業(yè)級大模型，核心價值在于驅動人工智能的規(guī)模化應用，吸納更多開發(fā)者參與其中。
所以，為了進一步降低人工智能的應用難度，“文心大模型”還為開發(fā)者提供了工具平臺，配套易上手的大模型開發(fā)、輕量化、部署工具，讓各行各業(yè)的開發(fā)者都能低門檻實現(xiàn)人工智能的應用。
吳甜介紹稱，通過大模型與國產(chǎn)深度學習框架融合發(fā)展，百度已經(jīng)構建出自主創(chuàng)新的AI基底，能驅動人工智能的規(guī)?；瘧?。
百度方面表示，支撐“文心大模型”高效分布式訓練的關鍵技術，是百度飛槳平臺自主研發(fā)的端到端自適應分布式訓練框架與4D混合并行技術。
吳甜告訴界面新聞等媒體，基于百度飛槳平臺與百舸集群，“文心大模型”在算法、框架、算力層面實現(xiàn)了自主創(chuàng)新。
百度官方還稱，目前公司多個大模型已經(jīng)處于領先水平，包括全球首個百億參數(shù)中英文對話大模型PLATO-XL、聚焦中英文場景大規(guī)模OCR結構化預訓練模型VIMER– StrucText、中文跨模態(tài)生成模型ERNIE-ViLG等。