文心一言（英文名：ERNIE Bot）是百度全新一代知識(shí)增強(qiáng)大語(yǔ)言模型，文心大模型家族的新成員，能夠與人對(duì)話互動(dòng)，回答問(wèn)題，協(xié)助創(chuàng)作，高效便捷地幫助人們獲取信息、知識(shí)和靈感。文心一言是知識(shí)增強(qiáng)的大語(yǔ)言模型，基于飛槳深度學(xué)習(xí)平臺(tái)和文心知識(shí)增強(qiáng)大模型，持續(xù)從海量數(shù)據(jù)和大規(guī)模知識(shí)中融合學(xué)習(xí)具備知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)的技術(shù)特色 [5] [38] [43-44] [46] 。

2023年3月16日，百度開啟文心一言邀請(qǐng)測(cè)試。 [46] 文心一言從數(shù)萬(wàn)億數(shù)據(jù)和數(shù)千億知識(shí)中融合學(xué)習(xí)，得到預(yù)訓(xùn)練大模型，在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類反饋強(qiáng)化學(xué)習(xí)、提示等技術(shù)，具備知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話增強(qiáng)的技術(shù)優(yōu)勢(shì)。

2023年5月，百度文心大模型3.5版本已內(nèi)測(cè)可用。 [74] 在基礎(chǔ)模型升級(jí)、精調(diào)技術(shù)創(chuàng)新、知識(shí)點(diǎn)增強(qiáng)、邏輯推理增強(qiáng)、插件機(jī)制等方面創(chuàng)新突破，取得效果和效率的提升。

2023年8月31日，文心一言率先向全社會(huì)全面開放。 [76] 9月13日，百度發(fā)布文心一言插件生態(tài)平臺(tái)“靈境矩陣”。 [91] 文心一言面向全社會(huì)開放至百度世界2023召開，40多天的時(shí)間，文心一言用戶規(guī)模已經(jīng)達(dá)到4500萬(wàn)，開發(fā)者5.4萬(wàn)，場(chǎng)景4300個(gè)，應(yīng)用825個(gè)，插件超過(guò)500個(gè)。

2023年10月17日，百度世界2023大會(huì)上，李彥宏宣布文心大模型4.0正式發(fā)布，開啟邀請(qǐng)測(cè)試。文心大模型4.0是迄今為止最強(qiáng)大的文心大模型，實(shí)現(xiàn)了基礎(chǔ)模型的全面升級(jí)，在理解、生成、邏輯和記憶能力上都有著顯著提升。

研發(fā)歷程

2010年，百度開始布局自然語(yǔ)言處理、機(jī)器翻譯領(lǐng)域的研究 [80] ；同年，百度自然語(yǔ)言處理部成立，開始全面推進(jìn)自然語(yǔ)言處理技術(shù)的發(fā)展 [81] 。

2013年，百度成立深度學(xué)習(xí)研究院，由深度學(xué)習(xí)領(lǐng)域的著名專家吳恩達(dá)擔(dān)任主任 [82] 。

2016年，百度于百度世界大會(huì)上，宣布開放百度深度學(xué)習(xí)平臺(tái)飛槳，并開放了語(yǔ)音識(shí)別、圖像識(shí)別等人工智能技術(shù)的API接口，供開發(fā)者使用 [84] 。

2017年3月2日，由百度牽頭組建“深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程實(shí)驗(yàn)室”正式成立 [83] ；3月22日，百度宣布進(jìn)一步深度整合包括NLP、KG、IDL、Speech、Big Data等在內(nèi)的百度核心技術(shù)，組成百度AI技術(shù)平臺(tái)體系（AIG），并任命百度副總裁王海峰為AIG總負(fù)責(zé)人 [82] 。

2019年3月，百度正式發(fā)布“ERNIE”人工智能系統(tǒng)，該系統(tǒng)基于PaddlePaddle深度學(xué)習(xí)平臺(tái)打造，能夠進(jìn)行自然語(yǔ)言處理、語(yǔ)音識(shí)別、圖像識(shí)別等操作；7月31日，ERNIE 2.0預(yù)訓(xùn)練模型發(fā)布 [85] 。

發(fā)布?xì)v程

2023年2月7日，百度官宣文心一言（英文名： ERNIE Bot）將在三月份完成內(nèi)測(cè)，面向公眾開放。據(jù)了解，百度CTO王海峰任項(xiàng)目總指揮，其他帶隊(duì)高管還包括：百度集團(tuán)副總裁吳甜（同時(shí)擔(dān)任深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心副主任）、百度技術(shù)委員會(huì)主席吳華等人。 [3] [21]

2023年2月13日，百度消息，文心一言3月和大家正式見面 [4] 。

2023年2月17日，在2023 AI+工業(yè)互聯(lián)網(wǎng)高峰論壇上，百度智能云宣布“文心一言”將通過(guò)百度智能云對(duì)外提供服務(wù)，率先在內(nèi)容和信息相關(guān)的行業(yè)和場(chǎng)景落地。百度集團(tuán)執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖表示，“文心一言”是基于百度智能云技術(shù)打造出來(lái)的大模型，它將根本性地改變?cè)剖袌?chǎng)的游戲規(guī)則，云服務(wù)將從數(shù)字時(shí)代躍遷到智能時(shí)代。 [19]

2023年2月22日，李彥宏在發(fā)給百度全員的財(cái)報(bào)信中重點(diǎn)介紹了百度將在三月份推出的生成式AI產(chǎn)品文心一言，宣布計(jì)劃將多項(xiàng)主流業(yè)務(wù)與文心一言整合，將幫助百度增加用戶粘性。 [32-33]

2023年3月13日消息，百度將于 3 月 16 日 14:00 在北京總部召開新聞發(fā)布會(huì)，主題圍繞“文心一言”。百度官方表示，其讓文心一言寫了一封發(fā)布會(huì)的邀請(qǐng)函。 [42]

2023年3月16日，百度正式發(fā)布大語(yǔ)言模型、生成式AI產(chǎn)品“文心一言”，百度 CEO李彥宏表示：“生成式AI代表著新的技術(shù)范式，是任何企業(yè)都不應(yīng)錯(cuò)過(guò)的大機(jī)會(huì)。”李彥宏說(shuō)，“這段時(shí)間不斷有人問(wèn)我，為什么現(xiàn)在發(fā)布，你們是不是真的ready了？其實(shí)，百度在過(guò)去十幾年中持續(xù)在AI研發(fā)上堅(jiān)持投入，文心大模型第一個(gè)版本2019年就發(fā)布了，此后的每一年都發(fā)布一個(gè)新版本，從這個(gè)意義上說(shuō)，文心一言的發(fā)布只是我們過(guò)去多年努力的一個(gè)自然延續(xù)。” [1] [43-44] [47]

2023年3月20日，百度官微消息文心一言云服務(wù)將于3月27日上線。 [54]

2023年3月23日，百度官微發(fā)文回應(yīng)對(duì)文心一言文生圖功能的相關(guān)反饋，一、文心一言完全是百度自研的大語(yǔ)言模型，文生圖能力來(lái)自文心跨模態(tài)大模型ERNIE-ViLG。二、在大模型訓(xùn)練中使用的是互聯(lián)網(wǎng)公開數(shù)據(jù)，符合行業(yè)慣例。 [59]

2023年3月24日消息，百度官方發(fā)布聲明，堅(jiān)決譴責(zé)并嚴(yán)禁任何形式的測(cè)試賬號(hào)轉(zhuǎn)讓、販賣及各類利用測(cè)試賬號(hào)牟利的行為，并已展開全面核查。 [64]

2023年3月27日，百度文心一言升級(jí)，企業(yè)級(jí)大模型服務(wù)平臺(tái)“文心千帆”發(fā)布。 [62]

2023年4月，百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國(guó)家工程研究中心主任王海峰再次做客CCTV-2 《中國(guó)經(jīng)濟(jì)大講堂》，闡釋文心一言這類大語(yǔ)言模型的產(chǎn)品能力、技術(shù)原理和產(chǎn)業(yè)價(jià)值。 [66]

2023年4月17日，文心一言在百度內(nèi)部全面應(yīng)用在智能工作平臺(tái)“如流”。 [67]

2023年4月，從25日舉行的百度智能云文心一言技術(shù)交流會(huì)獲悉，文心一言開啟內(nèi)測(cè)一個(gè)月以來(lái)，已完成4次技術(shù)版本升級(jí)，大模型推理成本降為原來(lái)的十分之一。在企業(yè)服務(wù)方面，3月底開始，百度智能云大模型平臺(tái)啟動(dòng)首批企業(yè)內(nèi)測(cè)，未來(lái)將針對(duì)不同客戶和開發(fā)者的需求，提供公有云服務(wù)、私有化部署兩種服務(wù)模式。百度智能云的六大智能產(chǎn)品系列，也將基于文心一言全面升級(jí)，未來(lái)將在安全評(píng)估完成后上線。 [68]

2023年4月21日消息，文心一言在百度內(nèi)部全面應(yīng)用在智能工作平臺(tái)“如流”。據(jù)了解，百度已經(jīng)為全體員工開通使用。 [72]

2023年5月4日，文心一言內(nèi)測(cè)一個(gè)多月，完成了4次大的技術(shù)升級(jí)，大模型推理成本已降到原來(lái)的十分之一，推理性能提升近10倍。 [69]

2023年5月，百度首席技術(shù)官王海峰在中關(guān)村論壇中演示了“文心一言”尚未公開上線的通過(guò)文本生成視頻功能、智能總結(jié)聊天記錄功能、智能編程功能?！帮w槳”與“文心”聯(lián)合優(yōu)化，近 1 個(gè)多月推理性能提升 10 倍。 [71]

2023年6月6日，文心大模型技術(shù)交流會(huì)第五站落地成都。 [73] “文心一言-Turbo”高性能模式正式開放邀測(cè)，在滿足同樣客戶需求的情況下，推理服務(wù)整體性能提升50倍。 [73] 6月20日消息，百度文心大模型3.5版本已內(nèi)測(cè)可用，實(shí)測(cè)得分超ChatGPT。 [74]

2023年7月3日，百度文心一言App已在蘋果App Store上架，用戶可免費(fèi)下載安裝。 [75]

2023年8月16日，文心一言發(fā)布五個(gè)原生插件：百度搜索、覽卷文檔（基于文檔的交互）、E言易圖（數(shù)據(jù)洞察圖表生成）、說(shuō)圖解畫（基于圖片的交互）、一鏡流影（文字轉(zhuǎn)視頻），并發(fā)布百度如流“超級(jí)助理”。同時(shí)面向開發(fā)者正式推出AI Studio星河大模型社區(qū)、插件機(jī)制以及文心大模型“星河”共創(chuàng)生態(tài)計(jì)劃。據(jù)介紹，文心一言目前可以支持一次同時(shí)使用3個(gè)插件，不但擴(kuò)展了大模型能力邊界，也更適應(yīng)場(chǎng)景需要 [88] 。

2023年8月31日，百度生成式人工智能產(chǎn)品文心一言正式向公眾開放服務(wù)。 [76-77]

2023年9月13日，百度集團(tuán)資深副總裁、百度移動(dòng)生態(tài)事業(yè)群組（MEG）總經(jīng)理何俊杰，在百度聯(lián)盟大會(huì)上發(fā)布文心一言插件生態(tài)平臺(tái)“靈境矩陣”，向開發(fā)者開啟邀測(cè)，并提供百億流量、億元基金等激勵(lì)措施，扶持插件生態(tài)建設(shè)。 [90]

2023年9月13日，北京百度網(wǎng)訊科技有限公司“文心一言軟件” 著作權(quán)獲登記批準(zhǔn)，當(dāng)前版本號(hào)為V1.0.0?！拔男囊谎浴睘榘俣華I大語(yǔ)言模型。 [92]

2023年9月18日晚，文心一言大語(yǔ)言模型作為科技創(chuàng)新成果代表登上《新聞聯(lián)播》。 [93]

2023年10月17日，在百度世界大會(huì)上，百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏宣布文心大模型4.0正式發(fā)布，同步開啟邀請(qǐng)測(cè)試。 [94]

2023年10月30日，百度文心一言專業(yè)版開啟邀測(cè)活動(dòng)，點(diǎn)此進(jìn)入官網(wǎng)，每日早上 9 點(diǎn)開始申請(qǐng)，名額有限，領(lǐng)完即止。如成功獲得邀測(cè)名額，官方將在當(dāng)日發(fā)送短信通知，邀測(cè)權(quán)限將直接發(fā)放至賬號(hào)，可體驗(yàn)文心大模型 4.0。邀測(cè)權(quán)限自邀測(cè)名額發(fā)放之日起 30 天內(nèi)有效?；顒?dòng)時(shí)間：10 月 28 日-31 日。 [97]

2023年11月1日，文心一言正式上線會(huì)員服務(wù)。文心一言官網(wǎng)顯示，會(huì)員連續(xù)包月費(fèi)用為49.9元，而單月購(gòu)買為59.9元。此次會(huì)員服務(wù)對(duì)應(yīng)的是文心大模型4.0，而文心大模型3.5仍可免費(fèi)使用。

主體功能

百度文心一言定位于人工智能基座型的賦能平臺(tái)，將助力金融、能源、媒體、政務(wù)等千行百業(yè)的智能化變革，最終“革新生產(chǎn)力工具” [50] 。文心一言有五大能力，文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成。 [45]

文學(xué)創(chuàng)作

在文學(xué)創(chuàng)作場(chǎng)景中，“文心一言”可根據(jù)對(duì)話問(wèn)題把文學(xué)作品的核心內(nèi)容進(jìn)行了總結(jié)，提出續(xù)寫作品的建議角度。對(duì)于新興的文學(xué)作品衍生版本，“文心一言”能夠回答相關(guān)事實(shí)性問(wèn)題 [86] 。

商業(yè)文案創(chuàng)作

就商業(yè)文案創(chuàng)作而言，“文心一言”能夠滿足為公司起名、寫slogan、寫新聞稿等的要求 [86] 。

數(shù)理邏輯推算

以“雞兔同籠游戲”為例，“文心一言”在滿足理解題意、羅列解題思路并得出正確答案的基礎(chǔ)上，還能辨析題目本身是否正確 [86] 。

中文理解

在中文理解能力方面，“文心一言”能夠正確解釋成語(yǔ)的含義及其對(duì)應(yīng)的理論知識(shí)，并能夠根據(jù)給定成語(yǔ)創(chuàng)作藏頭詩(shī) [86] 。

多模態(tài)生成

“文心一言”能夠生成文本、圖片、音頻和視頻，甚至能夠生成諸如四川話的方言語(yǔ)音 [86] 。

模型升級(jí)

文心大模型 4.0對(duì)比基礎(chǔ)模型優(yōu)勢(shì)

文心大模型4.0是迄今為止最強(qiáng)大的文心大模型，實(shí)現(xiàn)了基礎(chǔ)模型的全面升級(jí)，在理解、生成、邏輯和記憶能力上都有著顯著提升。其中理解和生成能力的提升幅度相近，而邏輯和記憶能力的提升則更大，邏輯的提升幅度達(dá)到理解的近3倍，記憶的提升幅度也達(dá)到了理解的2倍多。 [96]

在理解能力方面，解決復(fù)雜任務(wù)能力有顯著提升，能夠處理更精細(xì)的多個(gè)指令；

在生成能力方面，風(fēng)格文案創(chuàng)作表現(xiàn)更佳，可以輸出多種用戶期望的風(fēng)格文案；可更為精準(zhǔn)的遵循用戶中長(zhǎng)文本字?jǐn)?shù)限制輸出要求；

在邏輯能力方面，能夠解決較為復(fù)雜的推理問(wèn)題、代碼解釋更加準(zhǔn)確完善、能夠處理更加復(fù)雜的錯(cuò)誤調(diào)試，錯(cuò)誤識(shí)別更加精準(zhǔn)；

在記憶能力方面，具有更長(zhǎng)的上下文記憶能力，能夠更好的保持當(dāng)前對(duì)話任務(wù)。

在識(shí)別思維陷阱能力方面，有顯著提升，能成功避開問(wèn)題中較為隱蔽的思維陷阱；

在綜合分析能力方面，能更準(zhǔn)確地結(jié)合外部知識(shí)與給定信息進(jìn)行綜合分析，具有更強(qiáng)的概念辨析、比較分析、歸納提煉、原因分析等能力。

可處理更復(fù)雜的多任務(wù)復(fù)合型文本；有更強(qiáng)的、豐富的角色帶入能力。

文心大模型4.0在多個(gè)關(guān)鍵技術(shù)方向上進(jìn)一步創(chuàng)新突破。在萬(wàn)卡算力上運(yùn)行飛槳平臺(tái)，通過(guò)集群基礎(chǔ)設(shè)施和調(diào)度系統(tǒng)、飛槳框架的軟硬協(xié)同優(yōu)化，支持了大模型的穩(wěn)定高效訓(xùn)練。建設(shè)了多維數(shù)據(jù)體系，形成了數(shù)據(jù)挖掘、分析、合成、標(biāo)注、評(píng)估閉環(huán)，充分釋放數(shù)據(jù)價(jià)值，大幅提升模型效果。基于有監(jiān)督精調(diào)、偏好學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等技術(shù)進(jìn)行多階段對(duì)齊，保證模型更好地與人類的判斷和選擇對(duì)齊?？稍偕?xùn)練技術(shù)通過(guò)增量式的參數(shù)調(diào)優(yōu)，有效節(jié)省了訓(xùn)練資源和時(shí)間，加快了模型迭代速度。

文心4.0在輸入和輸出階段都進(jìn)行知識(shí)點(diǎn)增強(qiáng)。一方面，對(duì)用戶輸入的問(wèn)題進(jìn)行理解，并拆解出回答問(wèn)題所需的知識(shí)點(diǎn)，然后在搜索引擎、知識(shí)圖譜、數(shù)據(jù)庫(kù)中查找準(zhǔn)確知識(shí)，最后把這些找到的知識(shí)組裝進(jìn)prompt送入大模型，準(zhǔn)確率好，效率也高。另一方面，對(duì)大模型的輸出進(jìn)行反思，從生成結(jié)果中拆解出知識(shí)點(diǎn)，然后再利用搜索引擎、知識(shí)圖譜、數(shù)據(jù)庫(kù)，以及大模型本身進(jìn)行確認(rèn)，進(jìn)而對(duì)有差錯(cuò)的點(diǎn)進(jìn)行修正。

在強(qiáng)大的基礎(chǔ)大模型的基礎(chǔ)上，百度進(jìn)一步研制了智能體機(jī)制，包括理解、規(guī)劃、反思和進(jìn)化，能夠做到可靠執(zhí)行、自我進(jìn)化，并一定程度上將思考過(guò)程白盒化，讓機(jī)器像人一樣思考和行動(dòng)，自主完成復(fù)雜任務(wù)，在環(huán)境中持續(xù)學(xué)習(xí)實(shí)現(xiàn)自主進(jìn)化。