回顧2022，那些令人印象深刻的AI突破

文 | 付奶茶

2022年是令人印象深刻的一年。

在這一年中，我們目睹了許多前所未有的AI模型的出現，這些模型不斷重新整理著人類對AI力量的認知。關於這一年中最好的工作，每個人都有自己不同的看法。在這篇文章中，我們跟隨Alan D. Thompson在回顧這神奇的一年，並由他來告訴我們我們這一年中給他最深刻印象的工作是什麼。

文章標題《Integrated AI: The sky is infinite》源自於作者在2022年年中對AI發展的一次報導中的一句話：

"天空比我們想象的更大，在大規模語言模型的發展歷程中，我們見證了AI的快速擴充套件，一切變得更加美好。
2022年下半年，請你睜大眼睛，人類將經歷人工智慧的革命，天空的浩瀚將被展現出來。"

現在回看過去，事實證明Alan D. Thompson的預期是正確的。直到2022年下半年，大規模語言模型呈現出爆炸式增長。不僅在任務的表現上有了巨大的飛躍，還有許多令人眼目一新的工作出現，同時大規模語言模型的商業化落地也在以驚人的速度前進。

Best of 2022

在這篇部落格文章的開頭，作者列舉了他心目中2022年最優秀的五項研究工作。這些工作代表了當年在AI領域取得的最大進展，並且展示了AI的潛力和持久的影響力。作者對這五項工作的選擇是基於他個人的經驗和觀察，並不一定代表全面的研究界共識。

1. 具有插入文字能力的text-davinci-003
2. Pathways的第一個作品PaLM
3. ai作圖的Midjourney v4
4. 規模最大的文生圖模型Parti
5. 人工智慧聊天軟體艾默生。

AI模型帶來的商業價值

2022年下半年，數十家公司在短短几個月內實現了數十億美元的估值，這在商業上是一個巨大的成功。

除了我們熟知的OpenAI、DeepMind、HuggingFace等，還有被Spotify收購的Sonantic等公司也值得關注。數字背後，顯然還有更多的投資者和更廣的商業應用場景。

例如，DeepMind以Chinchilla預訓練語言模型為基礎創造Dramatron，這一模型被用來協助共同創作劇場或電影劇本。由Dramatron生成的劇本已被改編成戲劇，並在2022年8月在北美最大的藝穗節上由真人表演。這表明，"AI寫劇本"從幻想變成了現實，並且大規模語言模型已經走向了更為廣闊的應用舞臺。

文生圖模型的商業化應用

文字轉影像模型的商業化速度非常快。全球最大的玩具製造商之一美泰（芭比娃娃之父）已在DALLE-2的協助下發布了風火輪系列。透過將文字轉影像模型生成的設計應用到公司的概念中。美泰的產品設計總監解釋說，使用文字轉影像模型可以提高創意的質量和豐富度，並且可以從模型中得到之前從未想到過的組合。

在2022年11月，德國啤酒製造商Brauquadrat10使用最近釋出的Midjourney v4為他們的酸啤酒系列製作包裝。他們只提供了幾個簡單的提示——"覆盆子，藍綠色背景，飛濺，多汁"，但最終得到的設計令人驚訝。Midjourney v4的能力使得Brauquadrat10能夠在短時間內得到高質量的包裝設計，並且這種方法對他們的商業成功產生了重要的貢獻。

同月，Stability.ai宣佈，其最大的開源文字轉影像模型Stable Diffusion已獲得超過20萬軟體開發人員的許可。這表明文字轉影像技術在軟體開發領域的應用正在迅速擴充套件。

此外，Adobe也正在將文字轉影像模型嵌入到當前的應用軟體中，包括Photoshop和AutoCAD，並計劃在2023年釋出正式版本。例如，在Photoshop中圈定的區域塊中輸入文字，就可以生成對應描述的圖塊，展示了文字轉影像技術在實際應用中的能力。

一幅圖勝過千言萬語

在過去的兩年中，雖然預訓練語言模型已經取得了驚人的成就，但是它們並不像視覺圖片和影片那樣直觀。文字轉影像模型很好地“視覺化”了人工智慧的力量，它們能在幾秒內生成出來的影像讓人驚歎。

下面的表格列出了這一年出現的文字轉影像模型，每一個模型都代表了數百萬或數十億個文字影像對，以及數十億美元的潛在收益：

開源征途攜手前進

在過去的一年中，AI模型的開源工作也在不斷髮展。

俄羅斯的谷歌公司Yandex釋出了一個100B引數的模型，能夠同時分析英語和俄語。中國向全球開放了GLM-130B模型和WeLM模型。

在美國，亞馬遜承諾開放他們最新的Alexa 20B模型。Meta也向公眾開放了GAL 120B模型，但因為被惡意的行為故意輸入辱罵性的提示，而被迫將介面隱藏。

AI進入企業化應用

大規模語言模型逐漸滲透在企業級的應用中，例如英語到SQL語句的轉換器。以下是一些已經公開商用GPT-3的企業：

硬體上的探索

AI已經證明其能夠最佳化流程和效率，甚至產生未知的協同效應。谷歌利用AI設計了TPU晶片，而NVIDIA在H100 Hopper晶片上也有所借鑑。使用AI幫助設計GPUs，NVIDIA的實驗結果表明AI不僅能學習設計電路，而且設計更精細且效率更高。

關於資料的爆炸訊息

在2022年3月，DeepMind的Jordan Hoffmann和其他研究人員發表了一篇關於Chinchilla的文章，在文章中，他們指出人們原來一直在使用約9%的資料量來訓練模型，這個發現震驚了AI界。

我行我素，豈管他哉

“The dogs bark, and the caravan moves on”
雖然狗吠聲音不止，但是商隊一直前進。

在當前的AI發展中，雖然有許多批評的聲音，但是科學家們並沒有停止前進的腳步。現在的情況就像洪流無法阻擋，倫理爭論就像石頭在流動的水中，無法阻擋技術前進的步伐。在過去的歷史中，沒有任何爭論能夠阻擋技術的發展。

AI領域的發展不僅僅是技術的前進，還包含著巨大的道德責任。我們目前還有數以億計的人正在遭受疾病和貧困的困擾，因此解決這些問題比起解決倫理和政策上的質疑更為重要。

模型智商的進化

大規模語言模型在測試任務中的表現優於人類，如谷歌4月釋出的PaLM和隨後的Minerva等。這些模型在最新的基準測試中表現出色，甚至在從未訓練過的數學問題中也表現出驚人的能力。例如，使用谷歌的Minerva模型在波蘭國家數學測試中也取得了驚奇的表現：

在選定的問題子集中，谷歌的Pathways30的表現驚人，其在測試任務中的表現優於人類：

1. 在2022年5月的波蘭國家數學考試中，Minerva 540B的成績比學生平均分高出14%。
2. 在2019年英國國家數學考試中，Minerva 540B的成績比學生平均分高出79%左右。
3. PaLM 540B和其他模型在SuperGLUE測試上的表現集皆超過了人類。
4. Flan-PaLM 540B在MMLU基準上實現了平均人類效能的兩倍。

大規模語言模型的成長已經超過人類智力的進化速度。

即將到來的2023

在這裡作者列舉了他在2023最期待的工作：

1. DeepMind Gato2

Gato是一個多模態、多工、多具身的通才智慧體，它的出現是一個未預見的創新。DeepMind的執行長Demis Hassabis透露，公司正在為AGI培養下一代通用智慧體。

2. Google Pathways擴充套件

Pathways的模型家族的擴充套件速度是非常驚人的，正在擴充套件以覆蓋更多的語言。Jeff Dean表示未來將支援1000種最終用的語言，為全球數十億邊緣的國度的人帶來更大的包容性。pathways的擴充套件是一項多年的計劃。已經取得了有意義的進展，前路已經清晰可見。

3. OpenAI GPT-4

GPT-3的後續研究預計將極大地影響人工智慧領域的發展。

4. Text-to-video模型

在22年下半年我們看到了一些文字轉影片的模型，期待更高解析度和幀率的模型出現。

征途的中點

在2022年初，OpenAI的首席科學家預測：

“在未來，很明顯，科學的唯一目的是建立AGI”。

而我們現在在某種意義上正處於這個未來之路的中點。

在過去的幾個月中，我們看到了數十億美元的投資、十幾個新的文字轉影像模型的出現，以及AI領域的快速發展。雖然AI正在蓬勃發展，但是我們的社會並沒有從其帶來的最佳化中受益，我們還有很多可以被AI最佳化的問題：

1. 手動駕駛

按照資料的顯示，在每24秒就有一個人在駕駛中死亡，而每秒鐘又會有兩人嚴重受傷。

1. 無用教育

當前的教育模式浪費了大量的時間，大概在11000個小時(以及額外的課下時間，幾千個小時的學習市場)，僅僅是用來學習如何記住已發生的事實、解決問題和創造事物。

1. 籠子裡一樣的職場

大多數成年人幾乎清醒的時間都在為工作效力，然而他們的生產力和效率達不到當前AI的50%，也達不到未來AGI的1%。

1. 不勞而獲

CEO與同公司最低工資員工之間的薪酬的差距是670:1，這意味著CEO平均每獲得1萬美元的薪酬，就能獲得670萬美元的薪酬。

1. 攝入與身體之間的關係

用 AI 來分析身體健康問題可能有助於解決全球 32% 的死亡是由心臟病引起的問題，相較於當前大多數基於人為、研究和推測的飲食模式，這是一種更具有效率的做法。

1. 黑盒的人際關係。

大多數成年人在處理人際關係時沒有受過科學訓練，其中有一半以上的人在經歷心理健康問題。

而AI明明已經準備好為這些問題提供一個有益的解決方案

總結

2022年是AI的一年，Alan D. Thompson總結了其中的亮點。這一年標誌著AI全面爆發，我們看到了AI在許多領域的快速發展和令人驚歎的進展。隨著更多人關注和從事AI領域，我們期待在2023年看到更多的新模型。

過去一年的工作表明，我們可能已經看到了通用人工智慧（AGI）的輝煌前景。AGI一直是AI領域的指導性願景，而現在的模型似乎已經具備了推理能力、想象能力和記憶能力等，但從真正的AGI到透過AI看世界的新方式，前路的天空也是無限的。

與此同時2022年也是揹負更多希望的一年，我們能夠更清晰地看到AI背後的潛力是無限的，可是其對人類世界改變的速度著實有些緩慢。我們堅定地相信AI的願景是改善地球上每一個人的生活，期待著在未來看到AI在真實應用中的更多落地，使AI在幫助人類的願景下飛翔得更高。