千元級AI 模盒,雲天勵飛率先打響大模型「平民化」之戰

机器之心發表於2024-04-08

從 Gemini、Lumiere、再到 Sora,“百模大戰” 的 “戰火” 延續至 2024 年。諸多的大模型已經誕生,接下來的任務是落地。但行業大模型在落地過程中,遇到的瓶頸就像是一座冰山,藏在冰山下面的問題,更加棘手。

要做物理世界的解碼者,為 “無形” 技術和 “有形” 世界構建通道,這是雲天勵飛的定位。如何構建 AI 落地的通道?2024 年,圍繞 “自進化城市智慧體” 的理念,雲天勵飛持續深耕 AI 市場,並且在 3 月釋出 “深目” AI 模盒,為 AI 大模型落地長尾場景交上一份新答卷。

AI 落地關鍵期

如何走出長尾場景演算法難題

一般來說,AI 行業有著三大發展階段,分別是技術找場景、場景反哺技術、場景找技術。

圖片

第一階段在 2012 年到 2022 年間,基礎技術與感知智慧迎來突破,AI 演算法在人臉識別、智慧駕駛、語音識別等應用場景中實現價值驗證。在這個過程中,雲天勵飛率先入局,2016 年,雲天勵飛研發的全球首套動態人像識別系統雲天 “深目” 在深圳上線,透過城市級大規模人像資訊搜尋、布控和資料探勘能力,實現 “億萬人臉、秒級定位”,也由此揭開了整個智慧安防千億市場的大門。

到了第二個階段大量場景的需求和資料反哺技術迭代。在晶片方面,從 2016 年至今,雲天勵飛的 AI 晶片已經演進了 4 代,新一代 DeepEdge10 融入 NNP400,是一顆 14nm Chiplet 大模型推理晶片。透過晶片的迭代,雲天勵飛讓百億級、幾十億規模的大模型可以運算在輕量級的邊緣晶片上,完成高效推理。

在大模型方面,2023 年,雲天勵飛推出自研大模型 “雲天天書”,經歷 3 代,已經更新至 3.5V 版本,增加了多模態支援,今年 6 月份將升級到 4.0V 版本。雲天勵飛透過演算法、算力、資料這 “三駕馬車” 驅動大模型,助力多行業應用落地。

第三階段場景找技術預計會在 2027 年到 2030 年間到來,屆時將初步實現 AGI 與全面智慧化,不同的行業、場景需求都會得到相應的解決思路和方案。

在 AI 發展不同的階段,雲天勵飛的佈局始終圍繞核心能力 —— 演算法晶片化,從神經網路處理器及推理晶片,再到多模態大模型,雲天勵飛堅持用演算法晶片化賦能邊緣線上學習

2024 年,AI 行業邁向下一個階段,此時處於第一、第二階段轉換的關鍵時期,這個階段長尾場景演算法帶來的問題不容忽視。

長尾場景指的是火災等低頻事件、更細分、更復雜的場景,極端場景識別訓練的資料幾乎為 “0”,需要高昂的演算法成本,但商業價值並不明顯。業內人士將其稱為冰山之下的 “死亡之谷”。特別是在智慧城市、交通管理等應用場景,需要解決演算法訓練成本高、缺乏訓練資料等痛點。

該如何走出死亡之谷,殺出另一條生路?

雲天勵飛副總裁羅憶回憶,雲天勵飛一直尋找解決方案,解決長尾場景的海量需求,包括升級演算法訓練平臺,降低演算法生產成本,提升演算法生產效率;打造演算法開放平臺,與行業夥伴共同豐富演算法集市;開源 AI 大模型生產平臺 YMIR,讓客戶能低成本地訓練演算法,並應用在晶片上面。

羅憶坦言,雲天勵飛在努力提高效率,但效果並不明顯。直到 2022 年,基於 Transformer 架構的生成式預訓練大模型技術的出現,讓 AI 行業看到了 AGI 的曙光。演算法在經過大量資料餵養之後,大模型表現出來了極強的學習能力、場景泛化能力,也驗證了雲天勵飛堅持的 “自進化城市智慧體” 理念的可行性。雲天勵飛認為強大資料輸入是大模型場景覆蓋廣的核心。

圖片

千元級 “深目” AI 模盒實現大模型 “平民化”

隨著市場需求的提升,大模型的應用從成熟場景走向新場景、多工場景,但在應用過程中發現常規推理盒子在新場景中 POC 週期長達 2 至 3 個月,特定場景需在本地增設訓練伺服器;面向多工場景任務數量與算力需求呈線性增長。若要訓練專屬大模型,企業需要應對不斷上漲的成本。

為了補足長尾場景演算法市場空白,雲天勵飛在今年 3 月釋出了 “深目” AI 模盒,設計小巧,單手可托起。一個看似小小的盒子,“功力” 卻不簡單。

圖片

一是 “深目” AI 模盒做到 “3 個 90%”—— 覆蓋場景超過 90%、演算法精度超過 90%、使用成本降低 90%,解決大模型在場景落地最後一公里的問題。

二是把大模型應用成本降到千元級別。常規大模型一次訓練成本在千萬級,主流的訓推一體機價格普遍在百萬元。但雲天勵飛將 “深目” AI 模盒的售價做到了千元級,讓每個企業都擁有專屬大模型。

三是 “深目” AI 模盒可承載 10 億級 SAM、百億級 Llama2 等大模型運算,適用於 AIoT 邊緣影片、移動機器人等場景。

羅憶介紹,面向新場景,“深目” AI 模盒 POC 降至 1 至 2 周,並且訓練推理一體化;面向多工場景,越多工並行算力高效性越凸顯。值得一提的是,“深目” AI 模盒將演算法生產從 7 步縮短至 4 步,演算法調優從 7 步縮短至 3 步。

為了能夠讓 “深目” AI 模盒實現以上創新,雲天勵飛進行了大量的技術攻關。在算力上,“深目” AI 模盒搭載了雲天勵飛新一代 14nm Chiplet 大模型訓推晶片 DeepEdge10 Max,採用 RISC-V 核,配備了 D2D Chiplet 架構打造的推理卡。

在演算法上,以多模態大模型 “雲天天書” 為底座,該大模型具備泛化和學習的能力,客戶部署演算法後,大模型還能夠不斷根據現實應用場景情況,自我迭代,不斷提升演算法精度。

億歐智庫的資料顯示,截至目前,國內公佈的大模型數量已超過 300 個。雲天勵飛的 “雲天天書” 在眾多大模型中脫穎而出,獲得中央網信辦備案,在 C-Eval、CMMLU 多次獲得第一,並且落地政務、交通、企業等多個領域。

在 AI 浪潮中,幾乎所有的企業都在尋求入局機會,而早已在 AI 市場深耕的雲天勵飛,有著深厚的 AI 基因,可以說這波 AI 浪潮,將它的 AI 技術積累,發揮出了最大價值。“深目” AI 模盒的出現,讓雲天勵飛實現了大模型 “平民化”,AI 普惠化的程序也將由此加快。

進軍硬體領域

2024 年加速推進 AI 產品化

董事長兼 CEO 陳寧博士表示,AI 商業化發展有三個階段:AI 方案化、AI 運營化、AI 產品化。這也是雲天勵飛的業務發展路徑。圖片

在 AI 方案化方面,雲天勵飛已經在警務、城市治理、智慧交通、人居生活等領域打造出了成熟行業解決方案,並且持續探索低空經濟、智慧教育等創新領域。基於在大量行業的落地經驗,雲天勵飛逐漸實現 AI 運營化,隨著 “深目” AI 模盒的釋出加速走向 AI 產品化。

事實上,雲天勵飛早在 2023 年就推出了內建雲天天書大模型的產品,與華為昇騰聯合推出的天舟大模型訓推一體機,可滿足面向多業務場的大模型高併發高能效處理、業務快速上線的需求。

雲天勵飛認為人工智慧將快速進入到標準化產品的時代,因此公司加速推動在終端邊緣、雲端智慧硬體的 AI 產品的標準化。儘管 2024 年才過去一個季度,但雲天勵飛的動作卻不少。3 月,雲天勵飛於與智慧互通(IICT)簽署戰略合作協議,雙方將共同推動 AI 在智慧交通和數字城市等領域的深度融合與落地。

除了已經沉澱多年的智慧城市、智慧安防、智慧交通等領域,雲天勵飛還在持續開拓新的領域。同樣是在 3 月,雲天勵飛收購了智慧穿戴方案設計頭部公司岍丞技術。在完成收購之後,雲天勵飛將進一步整合岍丞技術在智慧穿戴上的能力,開展智慧穿戴產品的軟硬體開發與技術服務業務,探索 “大模型 + 智慧可穿戴” 深度融合,推進大模型語音互動落地。

陳寧博士預判,未來 AI 大模型一定會走向 C 端,包括 AIPC、AI 手機,甚至走向可穿戴裝置,引爆可穿戴裝置新一輪變革,最終會透過 AR/VR、AI Pin 等面向 C 端的可穿戴裝置讓每個人都擁有一個 AI Agent。

毫無疑問,今年會是雲天勵飛 AI 產業化佈局加速的一年,不管是技術迭代,還是 AI 落地,在 “百模大戰” 的大模型落地競速賽中,雲天勵飛將圍繞演算法晶片化技術能力,打造出新的技術底座,並賦能到千行百業中,AI 普惠化、大模型 “平民化” 將是下一階段的關鍵詞。

相關文章