大模型，化繁為簡歸文心

大模型，已經變成今天AI產業最為關注、最受期待的技術方向，甚至沒有之一。

其原因在於，大模型帶來了強大的泛化能力以及優異的效果，並且能夠實現AI模型研發-部署-應用的標準化提升。這些價值與各界對AI工業化、大規模部署的期待不謀而合。於是，透過大模型進入AI工業大生產時代，已經在業界凝聚了高度共識。

近兩年，圍繞大模型的技術創新、工具創新層出不窮。在繁花似錦的整體趨勢下，我們似乎也能看到隱藏的問題。比如大模型的門檻依舊偏高，與產業結合更多偏向案例性質，大範圍應用還有非常多的挑戰。引數繁榮、技術繁多、種類繁複的大模型，正有待迎接一次轉變。

11月30日，由深度學習技術與應用國家工程研究中心主辦、飛槳承辦的WAVE SUMMIT+ 2022線上上舉行。期間，圍繞文心大模型的一系列更新、升級引發了開發者廣泛關注。如果我們為文心大模型的升級進行一個簡要描述，或許可以用到“化繁為簡”這個詞。

峰會期間，百度技術長、深度學習技術及應用國家工程研究中心主任王海峰提出，深度學習平臺加上大模型，貫通從硬體適配、模型訓練、推理部署到場景應用的AI全產業鏈，夯實產業智慧化基座，將進一步加速智慧化升級。

而在構建智慧化基座的過程中，大模型的產業化路徑，必然是要封裝複雜的模型生產過程，從而高效支撐千行百業應用。

大模型的複雜技術與研發挑戰，應該是停留在產業上游的。具有演算法、算力和資料綜合優勢的企業，應該將模型生產進行封裝，在產業鏈上游就解決大資料、大算力、大模型的能力挑戰。這樣，應用場景與企業使用者、開發者，將得到簡單、易用、工業化的大模型能力。只有這樣，大模型才能真正落下去、推廣開。

兩點之間，直線最短。大模型已經來到了化繁為簡的臨界點，而百度正在用飛槳+文心大模型，在技術與產業之間畫出這條直線。

在路上的大模型，需要化繁為簡

討論大模型的新升級、新發展思路，必須建立在對大模型產業化的客觀理解上。

在目前階段，大模型正處在高速發展期。我們近乎每個月，甚至每星期都可以看到產業界、學術界公佈大模型創新。並且在今天，已經很少看到大模型創新過分執著引數對比，更多是進行不同技術路線、不同應用領域的多樣化創新。

與此同時，伴隨著大模型種類、功能的繁複多樣，輔助大模型的開發工具、軟硬體基礎設施、開源開放平臺也豐富了起來。圍繞大模型的產業生態開始壯大。

然而在這種情況下，我們依舊會發現大模型發展中有一個客觀存在的核心問題：產業主要提升的，是“訓大模型”的能力，而不是“用大模型”的能力。

一般來說，前者關注如何讓大模型更加“繁華”;但後者卻需要考慮實際場景，消弭應用門檻。在某種程度上需要反過來，化繁為簡。

很多產業都在理論上、需求上適合大模型落地。但在實操過程中將面對一系列適配問題。比如說：

1.自己開發大模型難度太大，訓練成本、存算成本過高。開發工具與社群支援也不足。

2.想要應用成熟的大模型，又往往缺少產業示範與行業路徑。不知道自己的行業該用哪種大模型，行業知識與行業需求如何與大模型對齊。

3.即使選到想用的大模型，又會發現本地環境難以相容適配。大模型應用的工程化能力很難讓人滿意。

面對這些問題，千行百業需要從基礎模型、開發工具、開發社群，到行業路徑的一系列幫助與加持，打通從大模型到產業的一系列關節。這種圍繞行業需求與產業應用進行創新，而不是圍繞大模型本身進行提升的思路，就是百度發展文心大模型，以及構建飛槳+文心產業智慧化基座的獨特思路。

WAVE SUMMIT+ 2022所展現的，就是這種思路的進一步完備與壯大。

為行業找路徑：行業大模型已蔚為大觀

行業需求與AI技術對齊，這件事本身經歷了漫長的發展，在今天已經挑戰重重。而當行業面向大模型這個更新、更強的技術時，需求難以對齊的矛盾就會更加明顯。

面向這種困難，只有一個個行業去探索，在重點行業形成有效的大模型落地參考路徑。這或許是“最重”的選擇，但同時也是“最優解”。

今年5月，文心大模型面向具體的行業需求，釋出了行業大模型這一全新發展路徑。其透過文心大模型的基礎模型能力，搭配對海量行業資料的挖掘，以及由合作機構、行業客戶提供的行業特色資料和知識，加上行業特色的專家經驗多方結合，進行相應的行業訓練任務設計，最終形成了文心行業大模型。

在於行業結合的過程中，文心大模型知識增強與產業級兩大特色得以充分發揮，形成了行業知識增強的關鍵路徑。這一路徑不僅解決了大模型的應用挑戰，還凝結成了一系列面向重點行業的大模型產業落地方法。實現了大模型在行業場景中“不但能用還便捷好用”的價值。

在本次峰會上，文心行業大模型持續升級，在原有能源、金融、航天、傳媒等行業的基礎上，進一步升級到了11個行業大模型，將行業大模型延伸到了製造業、城市管理、汽車等關鍵領域。可以說，行業大模型已經從先鋒、探索性質，發展到了覆蓋行業眾多、體系完備的新階段。從應用效果與行業覆蓋上來說，都已經實現了蔚為大觀。

舉個例子，智慧城市建設是數字中國的重點發展方向。在今天，中國所有地級市都已經有智慧城市專案落地。而大模型與智慧城市的結合，在目前階段還非常新穎。

在哈爾濱，近年來冰城探索了一系列AI技術賦能城市高質量發展、東北老工業基地振興的嘗試，取得了顯著成效。而就在剛剛，哈爾濱市政府攜手百度，聯合釋出面向城市領域的行業大模型——冰城-百度·文心。

冰城-百度·文心大模型，可以將城市中跨業務、跨結構、跨部門的資料知識和多種任務演算法進行融合，基於百度文心NLP大模型ERNIE 3.0，打造統一預訓練模型，提供強大的語言理解、語義分析等能力，支撐城市中各領域的AI規模化效果提升。文心行業大模型，至此可以從城市治理、產業發展、公共服務等多個領域支援哈爾濱的數字化發展。從產業路徑上看，這一聯合釋出、聯合打造，將大模型與智慧城市需求有效結合在了一起。為更多城市獲得大模型價值提供了參考路徑。

如今，行業大模型已經在多個領域取得可信的成果。比如文心大模型與電影頻道結合，可以實現每天修復28.5萬幀老舊影片。即使是精修，文心大模型的修復速度也較人工效率提升了3到4倍。在能源、金融等一系列領域，行業大模型已經形成了產業智慧化的發展路標。

當然，除了行業大模型之外，文心大模型還以更多方式融入更廣泛的行業應用。比如從2019年3月文心ERNIE1.0釋出以來，幾乎百度全系列產品都在逐步使用文心大模型。在千行百業，文心大模型已透過飛槳開源開放平臺、百度智慧雲等賦能到工業、能源、金融、通訊、媒體、教育等各行各業。

行業有路徑，是文心大模型持續升級的首要目標。

為應用備技術：從模型、工具到應用的全線升級

如果說，大模型通向行業，與行業需求、行業知識融合的大模型向產業的縱向打通。那麼大模型對各種開發需求、應用需求的覆蓋，就是大模型走向產業的橫向能力開啟。

在真實的應用場景中，企業和開發者需要接入大模型的方式是十分多樣的。有的企業確實需要自己開發大模型;也有企業需要以最低成本完成大模型適配;還有一些企業可能需要具有特殊能力的模型;有一部分企業需要產品級、可API接入的大模型能力。

只有從模型到工具，再到產品、社群都有完善、完整的技術儲備，才有能力降低大模型應用門檻，才有機會成為產業智慧化的基座。

為此，百度全面升級了文心大模型的全景圖，既豐富了大模型的種類。同時也在大模型開發工具、產品能力、社群建設上進行了升級。

大模型因“大”而效果好，同時在產業應用中也會因為“太大”而難以落地部署。為了解決這個問題，百度全新發布了ERNIE 3.0 Tiny模型。其透過將千億模型作為教師模型，經過知識蒸餾等方式，可以形成一系列輕量化模型。最終實現在效果損失非常有限的情況下，模型體量變小，但較比傳統模型卻有數十倍、上百倍的效能提升，以此滿足產業場景的真實應用需求。

同時，在跨模態領域，百度釋出跨模態理解大模型ERNIE ViL 2.0、跨模態生成大模型ERNIE ViLG 2.0、文件智慧大模型 ERNIE-Layout。在生物計算方面，最新發布了蛋白質預測模型HelixFold-Single。而在任務大模型方面，則釋出了程式碼大模型ERNIE-Code。其可以透過多語言學習的形式，在語料上更加豐富多樣，使得模型能力更強，並且能夠支援多個語種。

在一系列新加入的模型之外，百度也在推動大模型開發工具建設、產品化升級與社群建設。在工具與平臺的技術升級上，百度提供面向場景化，以及行業大模型的配套能力。比如在模型精調方面提供的技術工具更加豐富，大模型的API當中將包含更豐富的精調能力。同時，在大模型訓練中也會新增一系列可信學習工具，滿足開發者對大模型的安全、可控需求。

在文心大模型的產品和社群方面，百度保留了暘谷社群作為創意社群。同時增加了兩款以大模型為核心驅動的產品。這些產品既可以直接賦能給有相關需求的產業使用者和泛科技使用者，豐富大模型的應用價值。同時也為行業起到了示範作用，展示了大模型產品化的技術路徑。

在最近備受關注的AIGC方面，百度打造的文心一格，在本次峰會上進行了一系列新能力的釋出。比如近期非常火爆的以圖生圖能力、圖片透過文字進行編輯的能力，以及一鍵生成影片的能力。

另一項產品升級，是以大模型核心驅動的搜尋產品“文心百中”。這一產品由百度搜尋與文心大模型聯合研製，可以滿足開發者和企業使用者的垂直搜尋、企業搜尋需求。其本身具有極簡的邏輯架構，以及強大的語義理解能力，並且可以極大降低搭建垂直搜尋帶來的資料成本與人力成本。“文心百中”，可以說從搜尋這個全新層面，向業界展現了大模型的應用價值與產業空間，並且同樣也指向著清晰的應用場景。

從新的模型、新的工具，到產品與社群的升級，文心大模型可以說從多角度、全方位升級了技術儲備。這些技術能力對應著不同型別開發者、企業對大模型的多樣化需求。只有滿足這些具體的需求，打通一個個關隘，大模型才能去向它最應該去的地方——應用。

為智慧築底座：飛槳+大模型，畫出一條直線

兩點之間，直線最短。但大模型與產業之間，往往會因為技術路線分歧、訓練部署環境、行業知識無法對齊，而要七拐八拐，走大量彎路。這些彎路的存在，自然有大模型發展過程中的一系列客觀因素的影響，但同時也確實影響著大模型的應用效率、產業效能。

為了解決這些問題，百度的思考是儘量畫一條直線，讓開發者與行業可以不走彎路，以最高效率直接抵達大模型的內在價值。

這條直線，需要包含工具整合性、技術豐富性、行業路徑完善性等等價值。只有把這些能力合而為一，才能實現將化繁為簡的目標。面向大模型的產業需求、應用場景，不僅需要做到有模型、有工具，同時需要將大模型與深度學習平臺結合起來，滿足企業、開發者從算力到應用的全流程需求。

為了更好幫助企業與開發者，實現從開發大模型到應用大模型的全流程實踐，百度勾勒出了飛槳+文心，即深度學習平臺+大模型的產業路徑。二者結合，開發者可以獲得從算力、框架、模型庫，再到大模型呼叫、大模型行業化的所有能力，獲得了完善、穩固的產業智慧化基座。自然也就完成了從大模型到產業的最短距離直達。

為了與文心大模型一道構建產業智慧化基座，飛槳也進行了一系列升級。最新發布的飛槳核心框架2.4版本，就著重對大模型開發進行了一系列功能的支援，以及面向大模型推理部署需求提供了一系列模型封裝能力，並且提供簡單易用的模型開發工具。飛槳企業版AI開發平臺EasyDL和BML也圍繞大模型的技術應用進行了全新升級，在業界首發端到端大模型開發套件PaddleFleetX。釋出了提供全流程開箱即用的大模型平臺能力，加速大模型的產業落地。

至此，我們可以看到百度在搭建飛槳+文心產業基座，賦能大模型開發過程中的清晰思路：大模型並不僅僅是某種技術的創新，或者一個平臺的搭建。而是需要從終端使用者，最開發者與企業的應用需求出發。一步步倒推需要哪些支援，每一個環節還有哪些阻礙?

只要將這些阻礙一個個解決掉，將支援一個個搭建好，將所有複雜且具有挑戰的事先行完成，那麼開發者和企業最終就將得到最簡單、可用的大模型。大模型與產業之間，也就實現了兩點之間，直線最短的連線。

這就是百度式的大模型發展思路，這就是化繁為簡歸文心。