外灘大會上,我們看到了人工智慧五年後的樣子
机器之心發表於2024-09-08
2022 年底,ChatGPT 釋出,五天使用者註冊超過百萬,兩個月後月活使用者超過 1 億,以此為起點,幾乎每家科技大公司都捲入這場生成式 AI 的風暴當中,幾乎每個科技創業者也都試圖尋找起飛的機會,半年融資兩輪、一年估值破 10 億美元的 “黃金時代” 似乎又回來了,a16z 創始人 Marc Andreessen 2011 年提出「軟體在蠶食世界」(Software is eating the world),在 2023 年,大家談論的話題變成了「人工智慧蠶食世界」(AI is eating the world)。然而,等到 2024 年,世界似乎依然是那個世界,我們的日常生活幾乎沒有因為人工智慧發生任何變化,應用層面的 “iPhone 時刻” 始終只出現在各類演講裡,而非我們的手頭上。在技術端,大模型本身的能力也出現了諸多問題,GPT 5.0 遲遲未能釋出,這讓大家疑惑 Scaling Law 曲線是否正在放緩,進而質疑 Transformer 架構本身的潛力;大模型的「幻覺問題」也始終影響應用層面的落地,甚至有論文認為經過校準的語言模型必然會出現幻覺,與資料質量或者演算法架構本身無關 —— 換言之,這幾乎是個不可能解決的問題。樂觀者則認為,這些只是當技術爆炸真正進入日常世界時候,必然出現的緩衝期。技術爆發時候,我們往往過於興奮,以為未來正加速到來,不過,世界本身有自己的運作規律,需要基礎設施來承接,需要應用層面來落地,甚至需要法律、道德和倫理層面做好更多準備。在外灘大會上,他們為自己的樂觀能夠找到充足的理由。九月初,外灘大會在上海舉辦,上海黃浦世博園區也成了看見 AI 未來趨勢的最重要視窗。有人在討論它是否能夠疏解孤獨,也有人在討論能否幫助緩解全球變暖,在展區裡,依然有著眾多帶著創造力的人,來展示他們用 AI 設想的未來。我們對 AI 的悲觀或者樂觀,背後都隱含著我們對它的期待。每個問題都是 AI 繼續進化的契機。在外灘大會上,我們能夠看到人工智慧依然在發展,在論壇的討論裡,在每個展廳裡,我們能夠看到五年後 AI 的樣貌。「算力軍備競賽」可能不會結束, 但平衡成本和提升效率越發重要2020 年,OpenAI 在一篇論文裡提出 Scaling law,大意是大模型的效能與模型的具體結構 —— 深度、寬度和層數 —— 基本無關,主要由計算量、模型引數量和訓練資料量三者的大小有關。這一論斷被稱為 AI 領域的「摩爾定律」,也因為 OpenAI 的成功而成了很多從業者信奉的圭臬。在這一信念指引下,大模型的發展向著大算力、大引數和大資料的方向發展。先前的 AI 發展主要基於對各類模型的最佳化,而 Scaling Law 代表著一種新的正規化:倘若有足夠大的算力和資料,我們便能夠解決人工智慧發展的問題。算力軍備競賽也由此開始。李飛飛團隊新近釋出的《人工智慧指數報告》顯示,最新人工智慧模型的訓練成本已經達到歷史新高。GPT-4 的訓練過程耗費了約 7800 萬美元的計算資源,谷歌的 Gemini Ultra 模型的訓練成本更是高達 1.91 億美元。微軟也啟動「星際之門」超級計算機計劃,預計投資將達到 1150 億美元,而谷歌也迅速表示將在算力方面有更慷慨的投資。烽火燃不息,倘若我們想要發展更好的大模型,在技術上繼續有所突破,那麼這場軍備競賽便不可能結束。不過,倘若目標是應用落地和商業閉環,那麼落地部署的效率和成本與技術本身一樣重要。於是,最佳化算力效率,提高資料質量,成了各個企業關注的焦點。企業需要關注如何透過技術創新來實現算力的經濟實用,以在不犧牲效能的情況下,控制投入成本,而異構計算是實現這一目標的關鍵技術之一。異構計算是一種將不同型別和架構的計算單元,如 CPU、GPU、DSP、ASIC、FPGA 等,整合到一個系統中以提高計算效能和能效的技術,能夠同時處理多種型別的計算任務,如圖形處理、科學計算和 AI 推理,這使得它們非常適合現代資料中心和 AI 應用的需求。異構計算優勢明顯。它可以協同多種計算單元,顯著提高處理速度和系統吞吐量,尤其適用於大規模平行計算任務,並能將任務分配給最適合的計算單元執行,可以最佳化能源利用效率,降低資料中心的能耗。同時,異構計算支援靈活的硬體配置和軟體程式設計,能夠根據需求輕鬆擴充套件系統能力,開發者也能夠根據演算法需求選擇最合適的硬體平臺。未來五年,異構計算需要逐步解決現有的問題,才能走向普及。異構計算需要開發者具備跨平臺的程式設計和最佳化技能,缺乏統一的程式設計框架和標準,增加了開發難度,導致開發效率受限。此外,雖然長期來看成本更低,但初期硬體投資和研發成本相比現有成熟方案依然很高,需要大公司率先投入,促進應用。大約十五年前,移動網際網路開始繁榮,也迎來了創業的黃金時代。與之相比,AI 時代創業更加艱難,首先因為成本更高,需要算力、資料、電力等外界條件,訓練大模型所需要的資金,幾乎沒有草根創業者能夠負擔。在大模型領域,很可能會出現「贏家通吃」,最終只剩下幾個主要的模型廠商。不過,AI 是個龐大的生態,在演算法、算力、資料和系統等領域都有著大量機會。在外灘大會上,一個被討論很多的機會是資料服務商。AI 大模型的效能在很大程度上取決於訓練資料的規模和質量。資料數量的增加可以提供更多的樣本,使模型能夠學習到更多的特徵和模式。如今 AI 發展的重要瓶頸,是現實世界的資料接近枯竭,而合成資料依然存在著很多問題,比如無法反映物理世界的複雜情況等。於是,一批新型的資料服務商便可能成為 AI 時代的「賣水人」。它需要以更高的效率完成包括資料清洗、資料標註、資料整合和資料安全措施等方面的工作,確保資料的來源可靠、處理過程透明和結果可驗證。高質量的資料為 AI 模型提供學習的基礎,從而形成資料飛輪,推動其不斷進化和改進。更大的創業機會在應用端,尤其是在行業領域。不過,通往行業落地的大門可能並非大模型,而是小模型 / 端側模型。嚴格來說,「小模型」與「端側模型」並不等同。小模型通常指的是引數規模遠少於 GPT-3 或 Llama-13B 的大語言模型,如 1.5B、3B、7B 等;「端智慧」則指的是部署在手機、電腦等使用者裝置上的模型,通常計算資源受限,無法直接執行大模型,於是也要特別設計新的模型。二者目標不同,不過終端裝置能夠流暢執行的,往往都是小模型,因此存在很多重合,我們也不做細緻的區分。小模型雖然引數規模小,不過往往專注於某一領域和任務的設計和最佳化,在這些方面可以達到甚至超過大模型的效能,如 Mistral-7B 模型在某些基準測試中超越了引數量更大的模型,顯示出小模型在特定任務上的優勢。因為算力和能源消耗低,小模型更適合落地應用。在端側,蘋果在 iPhone 上使用的 DCLM 模型引數量為 70 億。傅盛也曾提到,企業專用模型大概只需要百億引數 —— 作為對比,GPT 4 的引數量高達 1.7 萬億。小模型的發展將帶來端智慧的普及,未來五年率先落地的可能是一批「博士」水平的專業 AI。外灘大會上已經能看到不少很有潛質的產品雛形,涉及醫療、能源、教育等領域。藉助這些專門化的 AI 工具,企業可以更容易地將 AI 技術集合到業務流程中,在行業中落地應用。行業側的落地應用也將有助於 AI 本身的進化。各個領域存在大量資料,在利用 AI 最佳化決策、提高效率的同時,AI 也能獲得更高質量的資料,模型和演算法也會不斷演進與改變,從而推動整個人工智慧領域的發展與成熟。如今提到端側模型,往往指的是手機,因為這是我們隨手可觸及的算力最強的裝置,不過,手機可能只是端智慧的過渡階段。手機智慧的瓶頸很明顯,首先是算力不足,但更重要的可能是記憶體不足。相比雲端伺服器,手機等裝置的記憶體容量和儲存空間都要小很多,但即便是小模型依然需要佔用大量空間。記憶體之外,能源和功耗問題也是一個問題。AI 計算過程功耗巨大,很容易導致電池電量不足,裝置發熱,甚至影響系統總體穩定性。現在的解決方案一方面是提升手機效能,一方面則是設計更小的模型,以確保在有限的記憶體、算力、功耗限制下高效執行,如蘋果便從 0 構建了專門的小模型,而非對現有的大模型來裁剪。不過,長期來看,或許我們會有新的 AI Agent,成為人工智慧時代下的新型終端形態。我們期待的 AI Agent 並非簡單地執行指令,而更像是具身智慧理念在人工智慧領域的具體體現,具有更高階別的自主性和智慧,是能夠在環境中自主行動、感知並做出決策的智慧實體。這意味著,AI Agent 不僅能夠處理虛擬任務,還能夠在物理世界中執行動作,提供更加豐富和直觀的使用者體驗。這種結合也推動了人工智慧在多個領域的創新應用,如自動駕駛汽車、智慧家居、工業自動化等。我們與 AI Agent 的互動方式也將發生新的變化。從早期的機器語言到圖形使用者介面(GUI)、手勢控制,再到現在的全模態自然語言互動,人機互動的方式不斷演進。全模態互動意味著機器可以透過多種方式(如語音、視覺、觸覺等)理解和響應人類的指令,使得互動更加自然和直觀。隨著互動方式的演進,機器不再僅僅是工具,而是能夠提供陪伴、協助和情感支援的夥伴;應用入口也不再侷限於傳統的作業系統或應用程式介面,而是可以透過多種裝置和場景進行互動。這或許不會在 5 年的時間裡發生,不過三到五年之後,更多人會擁有可以支援端側模型的手機,一批 AI 應用也將全面落地,AI 也將真正跨越鴻溝,走向生活。在這之後,新型終端形態也將走出原型階段,擁有早期使用者,為進一步普及打下基礎。在瓦特之前半個世紀,蒸汽機技術和相關理論已經成熟,然而瓦特讓蒸汽機終於能夠在生產中使用,並且將它推廣到了市場上。即便如此,又過了近半個世紀,蒸汽機在紡織廠普及,蒸汽輪船也開始成為河運主力,蒸汽機才真正「蠶食世界」。當下時代,技術傳播與發展的時間週期大大縮短,但我們依然需要經歷每個階段。過去兩年裡,我們見證了 AI 技術的爆發,未來五年,或許正式找到屬於 AI 的紡織廠和蒸汽輪船的時候。iPhone 在美國誕生,不過移動網際網路最繁榮的市場之一是中國。或許未來五年,我們也能看到更多 AI 應用和場景的爆發,形成繁榮的中國 AI 應用生態。