跨越AI天塹時：行動代號“盤古大模型”

我採訪過一個案例，某工廠的IT負責人想要應用AI，諮詢之後卻發現開發成本過於高昂，人才、算力、演算法等條件都不具備，最後只能作罷。

我認識一位朋友，任職於某家AI技術供應商，他們推出的行業解決方案備受好評，卻在實際進入商業化階段時，發現大量客戶都需要定製，只能讓公司的AI專家四處奔波，解決使用者的細小問題，最後利潤卻連人員開支都無法覆蓋。

還記得一條朋友圈。一位AI開發者在使用之後感嘆GPT-3的神奇，同時也惋惜於中文世界缺少類似的NLP預訓練大模型。

其實，這些朋友都遇到了同一個問題：一道名為“AI開發”的產業天塹。

當我們談論AI時，總是會將其效果等同於資料集、實驗室裡的能力上限，卻忽略了在真實的開發、訓練、部署中，AI有著太多碎片化與不確定性的因素。

而跨過這道產業天塹，也成為了一場名副其實的全球大賽。這場賽跑中至關重要的一個專案，名為“預訓練大模型”。2018年，谷歌AI團隊釋出了BERT模型，預訓練模型的價值一時間成為全球焦點。2020 年 5 月，Open AI公佈了擁有 1750 億引數的 GPT-3 預訓練大模型，打破了人類有史以來建立最大神經網路的記錄。

與此同時，隨著預訓練大模型的產業與戰略價值水漲船高，致力於將AI打造為新一代資訊科技核心抓手的中國產學各界出現了一絲緊迫。

中文世界什麼時候能迎來強大可用的預訓練大模型?又是否能夠衝出GPT-3帶來的能力邊界?面對AI開發的”天塹”，我們有什麼自己的辦法?

就在種種聲音不斷髮酵的同時，華為雲人工智慧領域首席科學家田奇，正在和團隊一同發起一次安靜的衝鋒。

這次衝鋒的“行動代號”，叫做——盤古大模型。

天塹：“小作坊式”的AI開發困境

試想一下，如果每家企業在進行研發時，都需要自己做螺絲、軸承、齒輪這些基礎部件，那整個社會的工業化從何說起?

但在AI領域，卻真的會出現這種情況。如今，AI技術的企業滲透率僅僅為4%，距離產業爆發期還有相當長的路要走。究其原因，並不是AI缺乏價值，而是開發過程中存在大量的碎片化因素。每家想要應用AI的企業，可能都需要一些技術水平很高的人才來進行獨立的架構設計與調參。這就像每家工廠都需要聘請設計師來設計螺絲，是一種相當粗放、原始的手工作坊模式。

來到華為雲的田奇，就和同事們共同發現了這樣的問題。

加入華為之前，田奇已經是業界知名的AI領域學者。他是美國伊利諾伊大學香檳分校博士、IEEE Fellow，也是原德州大學聖安東尼奧分校計算機系正教授。在高校任教17年之後，帶著學術界的前沿思考和科研成果，田奇與團隊來到了產業一線。而他們首先關注到的，就是廣泛存於各個角落的AI開發困境。

由於傳統的NLP、機器視覺模型開發都來自研究機構，所以其開發模式也天然與實驗室對齊，缺乏產業界要求的效率、標準化與成本可控。

比如說，一家企業的一個專案，往往都需要開發一系列定製化的小模型。但每個模型的開發週期都相對較長，並且需要不斷完成各種資料清洗、資料增強、模型適配等等瑣碎繁雜的工作。這個過程中，開發人員會選擇自己熟悉、擅長的模型與開發方式，又導致每個模型之間差異化很大。一旦出現問題就可能推倒重來，而人員變動更可能讓所有努力付諸東流。

這種開發模式，存在著“三高”的問題：開發人員專業性要求高、綜合成本高、不可控程度高。

那麼如何突破這道產業天塹呢?從工業體系的邏輯上看，核心方案就是提升AI開發前置工作的標準化程度，把不同開發者所需模型的公約部分提前訓練好。這就是工業化中的零件化、標準化和流程化。

在探索AI工業化的過程中，預訓練大模型逐漸成為行業認可的方案。它的邏輯就是提前將知識、資料、訓練成果沉澱到一個模型中，然後將這個基礎釋放到產業。由不同行業、不同企業的開發者在此基礎上進行二次開發和微調。就像一個工業化社會的第一步，是完善重型機械的建造能力。AI工業化的來臨，也需要首先擁有作為底座的“重型機械”。這也成為了盤古大模型團隊在華為雲體系中的首要任務。

翻越開發天塹，在於能築“重器”。

登山：盤古大模型背後的人與事

想要打造一個屬於中文世界，並且適配各種真實產業場景的AI預訓練大模型，首先擺在研發團隊面前的是兩大門檻。一個是技術門檻，大模型需要非常好的並行最佳化來確保工作效率，這對網路架構設計能力提出了很高要求;第二是資源門檻，大模型訓練需要極大的算力。後來在訓練千億引數的盤古大模型時，團隊呼叫了超過2000塊的昇騰910，進行了超過2個月的訓練。這對於一般企業來說顯然難以承擔。

總之，想要快速打造一個可堪重用的AI大模型，需要呼叫各方的力量，並且精準完成技術上的進化。

2020年夏天GPT-3的出現，讓歐美AI界產生了對預訓練大模型的極高興趣。但在國內，產業界對NLP預訓練大模型的關注還相對較少。而機器視覺領域的預訓練大模型，在全球範圍內都是十分陌生的新鮮事物。

此時，剛剛在2020年3月份加入華為雲團隊的田奇，開始組建團隊並且進行方向梳理。到了8月，團隊迎來了核心專家的加入。隨後在9月，團隊開始推動盤古大模型的立項，希望能夠在華為雲的產業基座上，完成適配各個產業AI開發的大模型。

來到2020年11月，盤古大模型在華為雲內部立項成功，也完成了與合作伙伴、高校的合作搭建。在開始打造盤古大模型的時候，團隊確立了三項最關鍵的核心設計原則：一是模型要大，可以吸收海量資料;二是網路結構要強，能夠真正發揮出模型的效能;三是要具有優秀的泛化能力，可以真正落地到各行各業的工作場景。

接下來就是選擇賽道的問題。NLP領域的預訓練大模型當時已經得到了廣泛關注，自然是盤古大模型的重中之重。同時，AI在產業中應用的更廣泛需求是機器視覺能力，所以盤古大模型同時也瞄準這一領域，同時開啟了NLP和機器視覺兩個領域的大模型開發。

與此同時，盤古大模型也做好了未來規劃。首先希望能夠把機器視覺、NLP、語音，甚至計算機圖形學的技術結合起來，形成多模態的預訓練大模型，增強預訓練大模型的跨領域協同落地能力。另外，AI落地中還有一個十分重要的領域是科學計算。海洋、氣象、製藥、能源等領域都有非常強的知識處理、科學計算需求。用AI的方法去求解科學計算問題，將帶來十分巨大的價值潛力。因此，多模態與科學計算大模型，將是盤古接下來的行動方向。

確定了建設方案與賽道選擇之後，接下來的研發工作可以順理成章地開展，同時也必然經歷創造性研究中難免產生的一系列挑戰。

比如盤古大模型的核心開發過程，就是以海量有效資料進行模型預訓練，實現吸收大量資料之後模型的高度智慧化。那麼資料和算力從哪來，就成為了一個不可避免的問題。在盤古大模型的開發過程中，華為雲和合作伙伴的多方推動，確保了所需資料和算力資源的保障到位。即便華為雲擁有非常好的資源基礎，在千億引數級別的大模型面前也依舊存有不足。為此，田奇團隊也嘗試了與合作伙伴的緊密協作，呼叫一切資源來確保開發進度。比如團隊同著名的鵬城實驗室合作，來完成了模型訓練所需算力的呼叫。

而在資料與知識方面，盤古大模型的開發團隊經常會遇到與具體行業知識體系、資料系統的磨合問題。這在具體過程中經常出現意料之外的情況。比如一個醫學資料的準確率，顯然應該依賴醫學專家的解答。但在具體場景中，往往醫學專家的判斷準確率也並不高。這類AI之外領域的情況，往往會反向影響到盤古大模型的開發。為此，盤古大模型團隊需要與具體的行業專家進行反覆溝通，希望把他們的知識或者直觀感受，轉化為計算機可量化的模型，再對訓練出的結果進行協同驗證。這種反覆的跨領域溝通與聯動，才最終可能達成關於AI的共識。

在盤古大模型開發過程中，由於時間緊張、訓練難度與成本巨大，並且還是機器視覺與NLP雙模型同時推動，自然也需要內部團隊的“超人發揮”。田奇回憶，團隊內部都叫自己“特戰隊員”，也就是角色需要經常互換，工作需要相互支撐，哪裡缺人就要哪裡頂上。一個技術專家，同時也要考慮很多產業落地、商業化方面的問題。

支撐著盤古大模型不斷攻堅克難的團隊，起初僅有6、7人，他們是讓盤古大模型得以從實驗室走向產業的中堅力量。如今團隊已陸續壯大起來，已包括20多名博士、30多名工程師、3名廣受關注的“華為天才少年”，還有50多名來自全國C9高校的專家。

翻山越嶺從來不易，智慧時代亦是如此。

翻越：“盤古”究竟強在何處?

2021年4月，盤古大模型正式對外發布。其中盤古NLP大模型是業界首個千億引數的中文預訓練大模型，在CLUE打榜中實現了業界領先。為了訓練NLP大模型，團隊在訓練過程中使用了40TB的文字資料，包含了大量的通用知識與行業經驗。

而盤古CV大模型，在業界首次實現了模型的按需抽取，可以在不同部署場景下抽取出不同大小的模型，動態範圍可根據需求，覆蓋特定的小場景到綜合性的複雜大場景;提出的基於樣本相似度的對比學習，實現了在ImageNet上小樣本學習能力業界第一。

這些資料下，我們可以進一步考察盤古大模型的優勢和能力點在何處。尤其盤古大模型與GPT-3的對比情況究竟如何，應該會有很多朋友好奇。

橫向對比盤古大模型與GPT-3的差異，也是透視盤古大模型技術創新的有效方案。首先我們知道盤古大模型有機器視覺模型，這是GPT-3所沒有的。回到NLP領域中，GPT-3更偏重於生成，其理解能力相對較弱。這也是為什麼我們看到的GPT-3案例基本都與文字生成相關。而在盤古大模型的研發過程中，團隊考慮到真實的產業場景中有大量的內容理解需求，比如客服、智慧對話等等，於是給盤古大模型設計了兼顧架構，能夠同時高度完成理解與生成任務。

再來看具體一些的技術差異，盤古大模型提升了複雜場景下的小樣本學習能力，在小樣本學習上比GPT-3提升了一個數量級的效率;在微調能力上，盤古有著更好的資料吸收理解能力，可以在真實行業場景中實現提升模型應用效率;再有盤古大模型整合行業知識的能力更強，其採用更靈活的模組設計，能夠根據業務場景適配，提升行業知識吸收效率。

在技術創新之外，盤古大模型還是一個天然瞄準AI工業化、現實場景的專案。在立項初期，研發團隊就與合作伙伴進行了一系列商業化驗證，以此來確保盤古大模型走入真實產業場景中的效率和適應能力。這也是盤古大模型的一大差異，它並非為實驗室而創造，而是將工業化的一面放置在更高的優先順序上，是一個以商業價值驅動研發創新的“實幹模式”大模型。

再有一點，盤古大模型與其他預訓練大模型不同的是，團隊在研發過程中始終將生態化、協同創新納入考量。盤古大模型是一個開放、可生長的產業實體，可以在各個環節引入生態合作伙伴、高校科研團隊，以及不同領域AI開發者的力量。這樣確保了盤古大模型融入產業鏈條、搭建生態化合作的能力。從技術化、商業化、生態化三個層面，盤古大模型都驅動預訓練大模型來到了一個新的階段，建造了一個從“作坊式AI開發”到“工業化AI開發”的轉換基礎。

盤古之力，在於合力。

燈火：大模型的落地進行時

雖然剛剛釋出幾個月，但從立項之初，盤古大模型就已經開展了一系列產業合作。這些來自千行百業的“盤古故事”，可以讓我們看到大模型與AI開發之變帶來的真實影像。

在物流場景，盤古大模型協助浦發銀行構建了“物的銀行”——浦慧雲倉。在人員行為、貨物檢測方面，可以實現效能提升5%到10%;同時開發效率也極大提升，原本需要1到2個月的開發工作，現在只需要兩三天就可以完成，開發中的人力、算力、維護成本都極大降低。

在盤古大模型的落地程式中，也經常會出現一些“意外”的驚喜。比如在國家電網巡檢案例中，由於缺陷種類複雜多樣，傳統的方法需要對大多數缺陷適配特定模型以滿足效能需求，這樣100餘種缺陷就需要開發20+模型，造成模型迭代維護困難。盤古大模型創造性地提供行業預訓練模型，得益於其突出的特徵表達能力，能夠做到一個模型適配所有缺陷，極大地提升了開發效率，同時識別效果平均提升超過18%。同時，盤古大模型還提供針對零樣本的缺陷檢測功能，能夠快速判斷新缺陷，真正貼近於巡檢員能力。

這樣的案例不斷增多，讓盤古大模型的行業認可度節節攀升。繼而也讓“預訓練大模型是AI工業化主要途徑”成為行業共識與產業發展方向。目前，盤古大模型已經在100多個行業場景完成驗證，包括能源、零售、金融、工業、醫療、環境、物流等等。精度提升、效率加強、開發成本下降，逐漸成為盤古大模型走向產業的幾個“標籤”。

萬家燈火初上，百業AI將興。

思索：AI工業化的虹吸與變革

盤古大模型的故事當然剛剛開始，但從它的立項、研發和落地程式中，我們卻可以得到一些關於AI工業化的思考。

從歷史中看，一種產品的工業化程式必然需要經歷研發為重—基座為重—產品為重三個層級。比如說我們熟悉的智慧手機，在經歷了微型處理、無線通訊、螢幕觸控等技術的儲備階段之後，最終形成了一套標準化的整合邏輯與基礎產業鏈。這一階段，廠商不必再花費巨資進行基礎研發，而是可以用相對較低的成本完成零部件採購與整合製造。也只有這樣，廠商才能打磨產品，雕琢功能，消費者才能用上物美價廉的智慧手機。

將這個邏輯回溯到AI領域。自深度學習為代表的AI第三次興起之後，這項技術得到了快速發展。但其基礎業態還處於“研發為重”的第一階段。行業中缺乏公開、有效、低成本的產業基礎，最終導致很多理論上成立的落地方案難以成行。

而盤古大模型的價值，恰恰就在於推動AI的低成本、可複製。雖然在打造大模型的階段需要耗費巨大的研發成本與資源，但一旦突破產業規模期，將帶來全行業的普惠價值。田奇認為，目前我們處在AI工業化開發模式起步後的快速發展階段，而大模型是最有希望將AI進行落地的一個方向。

從這個角度看，我們在觀察、思考和推動預訓練大模型發展時，就不應該停留在科研基礎設施的角度，而是應該以產業應用為導向，引導各方全力以赴，謀求AI工業化程式的質變契機。

從盤古大模型的故事中看，這個過程需要多重力量的攜手與跨界。比如說，田奇加入華為，一度被視作AI學者進入產業界的代表性事件。而今天來看，這種“跨界”和“變化”確實起到了作用。田奇有著最新的研究方法、技術創新能力與國際視野;而在華為雲的產業結構中，田奇團隊也找到了學術界所不具備的驅動力——在產業界，科學家必須思考功耗、效率、成本、商業場景等等一系列真實問題，“學以致用”需要落進方方面面。

再比如，盤古大模型的開發過程，也是一場AI學者與工程師，同各行業專家、企業的對話。鐵路、物流、醫學、天文，種種知識要融入大模型之中，這就需要更強的協同能力與互相理解。

產學研的縱向融合，不同行業領域的橫向協同，誕生了AI在工業化階段必須經歷的虹吸效應。從這個角度看，盤古大模型也是一次產業、科研的虹吸範本。

這種“協同發力、重灌行動”的盤古大模型模式，或許將在未來一段時間內不斷湧現，也將成為雲端計算與AI產業的戰略重心。而其影響，可能是AI開發的綜合門檻下降，一系列產業與社會價值的提升，以及戰略級AI基礎設施的完備。

田奇回憶說，在打造大模型的過程中，他更多考慮的是可能帶來的商業價值。如果不能複製推廣，那麼大模型可能就是“一個toy、一個只能在實驗室中被觀賞的東西”。團隊希望大模型能夠在更多場景中被使用，這樣才能帶來改變。

當更多科學家、行業專家、AI架構師，用這樣的角度和動力去思考AI、推動AI、建造AI，橫亙在AI面前的產業天塹，最終會成為登山者的豐碑，成為AI工業化變革的標誌。

也許有一天，我們在聊AI往事的時候，會記住這麼幾個字：

AI落地，“盤古”開天。