編者按：日前，非盈利組織生命未來研究所釋出了一封《暫停大型人工智慧研究》的公開信，馬斯克等千名科技人士進行了簽名。雖然部分簽署人的真實性存疑，但是大型語言模型（LLMs）的“湧現”能力確實可能會導致突然產生偏見、歧視和其他不可預測的風險。

本文討論了大型語言模型（LLMs）的“湧現”能力，並討論LLMs的風險及減小風險的方法。想要更好地利用LLMs的“湧現”能力並儘可能的減小風險，就需要我們更深入的理解LLMs的工作原理！

以下是譯文，Enjoy!

作者 | Stephen Ornes

編譯 | 嶽揚

這些emojis描述的是什麼電影？你知道嗎？

這個prompt是去年選定的用於測試各種大型語言模型（LLMs）能力（諸如ChatGPT等人工智慧聊天機器人背後的計算引擎）的204個任務之一。其中一個最簡單的LLMs開始產生不符合常理的回答：“The movie is a movie about a man who is a man who is a man”。中等複雜度的模型更接近一點，猜測是《The Emoji Movie》。但最複雜的模型則一次猜中：《海底總動員》。“儘管我已經有充足的心理準備迎接驚喜，但這些模型能夠做到的事情仍然讓我感到驚訝，”Google Research 電腦科學家伊桑·戴爾（Ethan Dyer[1]）說道，他參與了這項測試的組織工作。特別令人驚訝的是這些模型據說只有一個指令： 接受一串文字作為輸入，並基於純粹的數學統計來推測應該回復什麼。 電腦科學家們預計增加模型規模會提高完成已知任務的表現，但他們並沒有預料到這些模型會突然能夠處理這麼多新的、不可預測的任務。最近的一些研究（例如Dyer所從事的研究），揭示出LLMs可以產生數百種“emergent”能力—— 大型模型可以完成而小型模型無法完成的任務之中的很多工似乎與文字分析無關。 這些“emergent”能力涵蓋從進行乘法運算到生成可執行的計算機程式碼以及根據表情符號解碼電影名。 新的研究分析表明，在某些任務和某些模型中存在超出閾值的複雜度，超過該閾值後模型的功能還會急劇提高。 （這也代表著存在負面影響： 隨著複雜度的增加，一些模型在其回答中會產生新的偏見和不準確性。 ）史丹佛大學的電腦科學家Rishi Bommasani[2]表示：“關於語言模型能夠做這些事情的相關討論，之前在我所知道的任何文獻中都從未出現過。”去年，他幫助編制了包括數十種 emergent behaviors 的清單[3]，其中包括Dyer專案中發現的幾個，這個清單目前還在不斷增加[4]。現在， 研究人員不僅競相尋找新的“emergent”能力，還試圖弄清它們為什麼會出現以及它們是如何出現的——實質上就是 嘗試預測不可預測性。理解“emergence”可以揭示很多關於AI和機器學習相關問題的答案，比如複雜的模型（complex models）是否真的在做一些創新，還是隻是在數理統計方面變得非常出色。它還可以幫助研究人員利用潛在的好處並遏制出現的風險。“我們不知道如何判斷傷害可能以何種形式發生，是平穩無波的還是不可預知的。”人工智慧初創公司Anthropic的電腦科學家Deep Ganguli[5]說道。

01 “Emergence”的出現

生物學家、物理學家、生態學家及其他領域的科學家們使用“emergent”這一術語來描述當大量的事物作為一個整體時出現的自組織、集體行為。比如無生命的原子組合形成了生命細胞；水分子形成了波浪；燕群在天空中飛舞，形成不斷變化但可辨認的圖案；細胞使肌肉運動和心臟跳動。關鍵是，“emergent”能力出現在涉及大量個體的系統中。但是，隨著LLM模型的不斷擴大，研究人員最近才能夠記錄下這些能力。語言模型已經存在了幾十年。直到大約五年前，基於所謂的遞迴神經網路，最強大的模型出現了。這些神經網路將一段文字作為輸入，並不斷預測輸出的下一個單詞。 讓模型成為“遞迴”是因為想要讓它從自己的輸出中學習：將它的預測反饋到神經網路中，以提高未來進行預測的效能。 2017年，Google Brain的研究人員推出了一種被稱為transformer[6]的新型架構。 與逐字逐句分析句子的迴圈網路（recurrent network）不同，transformer可以同時處理所有單詞。這意味著transformer可以並行處理大量文字。 Transformers透過增加模型中引數數量以及其他因素，實現了語言模型複雜度的快速提升。這些引數可以被視為單詞之間的連線，模型透過在訓練過程中對這些連線進行調整來提高效能。 模型中引數越多，就能夠更準確地建立連線，越接近能夠模仿人類語言的水平。 正如OpenAI研究人員在2020年的發現[7]： 隨著模型規模的擴大，模型的準確性和能力也隨之提高。 但是LLMs的問世也帶來了一些讓人意想不到的事情。隨著像GPT-3這樣擁有1750億引數的模型出現，或者像Google的PaLM能夠擴充套件到5400億引數，使用者開始描述越來越多的“emergent”行為。一位DeepMind工程師甚至宣稱[8]，他能夠說服ChatGPT相信它自己是一個Linux終端，並讓它執行一些簡單的數學計算程式來計算前10個質數。令人驚訝的是，它可以比在真正的Linux機器上執行同樣的程式更快地完成任務。就像根據emoji回答電影名稱任務（movie emoji task）一樣，研究人員並沒有理由認為一個建立在文字預測基礎上的語言模型能夠模擬Linux計算機終端。 這些“emergent”行為中，許多展現出“零樣本（zero-shot）”或“少樣本（few-shot）”學習的特點，這表現出LLM擁有解決它從未或極少見過的問題的能力。 這是人工智慧研究長期以來的目標，Ganguli說。他表示，GPT-3能夠在零樣本條件下解決問題，沒有任何顯式的訓練資料，這讓他“放棄了正在做的其他事情，並更多地參與其中”。他並不孤單。很多研究人員都察覺到了LLMs可能超越其訓練資料限制的跡象，都在努力地掌握“emergence”現象的形態和發生機制。第一步就是徹底記錄它！

伊桑·戴爾（Ethan Dyer）協助探索了大型語言模型可能具備的不可預測能力，以及可能出現這些能力的原因。

02 Beyond Imitation

在2020年，戴爾（Dyer）和谷歌研究團隊（Google Research）曾預測LLMs將產生變革性的影響，但將是什麼影響在當時仍然是一個懸而未決的問題。因此，他們請求研究團體提供各種難度和多樣化的任務案例，以瞭解LLMs的極限。這項工作被稱為 “Beyond the Imitation Game Benchmark”（BIG-bench） 專案，其名稱取自於阿蘭·圖靈的“imitation game”，這是一種測試計算機是否能以人類的方式回答問題的測試（後來被稱為圖靈測試）。該團隊對於LLMs能夠突然獲得全新能力的例子特別感興趣，這些能力在以前是完全不存在的。戴爾（Dyer）說：“我們如何去理解這些轉變，這是一個很好的研究問題。”正如我們所預期， 在某些任務上，模型的效能隨著複雜度的增加而可預測地平穩提高。而在另外的任務中，增加引數的規模並沒有產生任何改進。 但是對於約5％的任務，研究人員發現了他們會產生所謂的“突破”——在某個閾值尺度上，效能迅速、充滿戲劇性地躍升，這個閾值因任務和模型而異。 舉例來說， 僅有數百萬的引數的模型不能成功解決三位數加法或兩位數乘法問題，但是對於擁有數十億個引數的模型，一些模型的準確性會急劇提高。 對於其他任務，如解碼國際音標（International Phonetic Alphabet）、拼出單詞、識別Hinglish（一種印地語和英語的混合語）文字中的具有冒犯性的內容以及生成Kiswahili諺語的英語表述等，也會出現類似的躍升。但研究人員很快意識到， 模型的複雜性並不是獨一無二的驅動因素 。 如果資料質量足夠高，一些引數較少的模型或者是在資料集較小的情況下進行訓練，也可以產生出意想不到的能力。 此外，詢問的措辭也影響了模型回答的準確性。例如，當Dyer和他的同事們使用多項選擇格式提出根據emoji得到電影名稱的任務（movie emoji task）時， 準確性的提高不是一個突然的躍升，而是隨著模型複雜度的增加而逐漸增加。 去年，在該領域的旗艦會議NeurIPS上[9]，Google Brain的研究人員發表了一篇論文，展示了一個被要求自我解釋的模型（一種叫做思維鏈推理的能力）能夠正確地解決一個數學應用題，而沒有這個要求的模型則無法做到。谷歌大腦的科學家Yi Tay[10]致力於對突破現象(breakthroughs)的系統調查，他指出，最近的研究表明chain-of-thought prompting 可以改變縮放曲線，從而改變“湧現”出現的位置。在他們的NeurIPS論文中，谷歌研究人員展示了使用chain-of-thought prompting激發出BIG-bench研究中沒有發現的湧現（emergence）行為。 這樣的prompts要求模型解釋其推理過程，可能有助於研究人員探究為什麼出現“湧現（emergence）”行為。 布朗大學研究語言計算模型的電腦科學家埃利-帕夫利克（Ellie Pavlick[11]）說，這些發現表明至少有兩種可能可以解釋為什麼會發生湧現（emergence）。一種是， 與生物系統進行比較，可以發現更大的模型確實會自發獲得新的能力。 她說：“很可能是模型學到了一些根本上新穎而獨特的東西，這些東西在較小規模的模型下並不存在。我們都希望的是，當模型擴大規模時，會發生一些根本性的轉變。”她說，另一個沒有那麼令人震驚的可能是， 看似是湧現（emergence），實際上反而可能是一種內部的、基於統計學的過程，這個過程透過思維鏈（chain-of-thought）的推理來發揮作用。 大型LLMs可能只是在學習啟發式的方法，對於那些引數較少或透過質量較低的資料訓練的模型來說，這些啟發式的方法是不太可能學會的。同時，她也說明弄清楚哪種更有可能發生，取決於我們能否更好地理解LLMs的工作方式。“由於我們不知道它們在底層的工作原理，我們無法確定是上述哪種可能。”

03 不可預測的力量與陷阱 Unpredictable Powers and Pitfalls

要求這些模型解釋它們自己存在一個明顯的問題：這些模型都是“臭名昭著的騙子”。Ganguli說：“我們越來越依賴這些模型來完成日常基本工作，但我永遠不會完全信任它們，我要檢查它們進行的工作。”舉一個有趣的例子，在今年二月份，谷歌推出了一款AI聊天機器人Bard，但是釋出Bard的部落格就顯示Bard犯了一個事實性的錯誤[12]。 “湧現”導致出現不可預測性，而不可預測性似乎隨著模型的增大而增加，這使得研究人員很難預測某個模型在得到廣泛使用後會出現什麼問題。 “提前知道這些模型怎樣被使用或被部署是很困難的，” Ganguli說道。“而要研究湧現（emergence）現象就必須有使用案例，而且在研究模型規模的影響之前，我們不會知道可能會出現什麼能力或限制。”在去年6月份釋出的對LLMs的分析[13]中，Anthropic的研究人員研究了這些大語言模型是否會出現某些型別的種族歧視或社會偏見，類似於以前媒體報導[14]過的將非基於LLM的演算法用於預測哪些曾經的罪犯可能會再次犯罪。這項研究的靈感來自於一個與湧現直接相關的明顯悖論： 隨著模型在擴大規模時效能的提高，它們也可能同時增加出現不可預測現象的可能性，包括那些可能導致產生偏見或傷害的現象。 Ganguli 說道：“在某些模型中，某些有害的行為會突然出現。”並指出最近對 LLMs 的分析[15]，也就是 BBQ 基準測試，顯示出社會偏見隨著引數數量的增加而出現。“更大的模型可能突然變得更加有偏見。”他說如果不解決這個風險，可能會危及這些模型主體。但他也進行了反駁：當 研究人員僅僅告訴模型不要依賴於刻板印象或社會偏見——也就是透過輸入這些指令來實現，然後模型在預測和回覆時就會有較少的偏見。這表明一些“湧現屬性”（emergent properties）可能也可以用來減少偏見。 在今年二月份釋出的一篇論文中[16]，Anthropic團隊提出了一種新的“道德問題自我糾正（moral self-correction）”模式，在這種模式下，使用者的prompts要求程式要樂於助人、誠實和人畜無害。Ganguli表示， “湧現”現象既表現了其驚人的潛力，也帶來了不可預測的風險。 這些大型LLM的應用正在不斷增加，因此更好地理解它們之間的相互作用將有助於利用語言模型的多樣效能力。Ganguli說：“我們正在研究人們會如何使用這些系統。”但同時那些使用者也在不斷地進行試驗。他說：“我們花了很多時間與模型聊天，這實際上是你開始感覺獲得信任的地方，或缺乏信任的地方。”

END

參考資料

1.

2.

3.

4.https://www.jasonwei.net/blog/emergence

5.

6.

7.

8.https://www.engraved.blog/

9.

10.

11.

12.

13.

14.

15.

16.

本文經原作者授權，由Baihai IDP編譯。如需轉載譯文，請聯絡獲取授權。

原文連結：