在大語言模型時代，AI Chatbots下一步將走向何方？

 目錄

---

【編者按：上一期IDP Inspiration，我們為大家介紹了大語言模型中的明星GPT-3的發展史、創新點、應用領域等。這一期，我們將繼續沿著大預言模型之路，走進其重要應用領域—— AI對話機器人。

今天大家分享的文章來自CMU博士研究生Jacky Liang， 文章詳細紹了AI對話機器人的發展歷程和未來展望。Jacky認為由大語言模型驅動的AI Chatbots（聊天機器人）比更早期基規則的聊天機器人要強得多，但是距離商業應用目前還有一定距離。

以下是譯文，Enjoy!】

作者 | Jacky Liang

編輯 | 嶽揚，小白

大語言模型(LLMs)的最新研究進展1可能將驅動下一代Chatbots的發展。然而，正如Meta的BlenderBot 3公開演示出現的狀況所示，讓AI Chatbots功能足夠強大，又避免出現有危害的回應，這不是一個簡單的任務。雖然我們相信LLMs在不久的將來會被用於許多商業場景，但是由LLMs驅動的Chatbots可能不會成為其中的一種應用。

01  Meta的 BlenderBot 3

之前文章介紹過[2]：Meta的BlenderBot 3發表了不少政治錯誤的言論。不過，Meta似乎已經“解決”了其中大部分問題，而且Meta在其新聞稿3中對此問題並不遮掩。其新聞稿中這樣說明：

所有的對話型AI Chatbots有時候都會模仿併產生不安全、有偏見或攻擊性的言論。對此我們進行了大量的研究，並開發了新的技術，現在BlenderBot 3已經被加上了一層“保護罩”。但即使做了這些工作，BlenderBot仍然可能會發表錯誤言論，因此我們正在收集使用者的反饋，以便讓它變得更好。

然而，BlenderBot 3產生的真正影響，可能不是其演示時發表的爭議性內容。Meta還發布了BlenderBot 3背後的AI模型以及用來訓練它的資料集。這對進行對話型AI研究和其他AI研究的研究人員來說是一件非常好的事情，因為使用如此大規模的資料集和1750億個引數來訓練模型需要花費很大的成本，而普通人不可能耗費如此巨大的成本。因此這對人工智慧研究的平民化有很大幫助，整個行業都應該鼓勵大型科技公司多開放一些科技成果。

02  使用大語言模型前後的Chatbots有何差別？

但是，如果讓我們將時光倒流，想一想BlenderBot 3在Chatbots中的位置，會發現Chatbots並不是新事物，其有著悠久的歷史4。 一個非常早期的自然語言Chatbot是ELIZA5，其由麻省理工學院的科學家在1966年開發。ELIZA的特別之處在於，它被專門設計來展示 "人類和機器之間交流的表面性"。它所做的只是將使用者輸入的關鍵性短語插入到預定義的句子模板中，但其效果令許多與該系統進行互動的人十分驚訝。

據說有些人認為ELIZA是有感知能力的，但這與最近一名前谷歌工程師也認為該公司的Chatbot LaMDA是有感知能力6並不一樣。

ELIZA和LaMDA之間存在質的區別，在大型語言模型（LLMs）之前的所有Chatbots和之後的Chatbots之間也存在著區別。

在LLMs之前，Chatbots依靠人工設計的模式匹配和識別演算法來解析和構建句子。這些演算法明確地分析一個句子的語法樹（名詞短語、動詞短語等是什麼，它們之間的關係如何）以及它們的語義（單詞在句子的上下文中指的是什麼，有什麼意義）。從ELIZA開始的Chatbots，甚至最近的語音助手，如Siri、Alexa和Google Assistant，都依賴於類似的技術。

然而，讓軟體工程師和語言學家一起列舉出所有可能的方法來解析一種語言中所有可能的句子是不可行的。因此，這些基於規則的Chatbots往往要麼非常脆弱，要麼功能非常有限，只能處理狹窄範圍內的常見語言表達。

在LLMs出現後，情況發生了變化（開始於OpenAI的GPT-27，隨著GPT-38的出現，情況有了更大的改善），其是在資料量非常大的資料集上訓練的大型深度神經網路。 這類模型的訓練目標是根據之前的所有單詞來預測下一個 "單詞"。這是一個簡單的目標，加上網際網路大規模的資料和大模型，使LLMs能夠以以前基於規則的系統無法做到的方式進行回應和生成長而連貫的文字。

要讓LMMs進行“對話”，我們只需要給一個類似於對話的文字序列作為輸入，並要求LLMs 來預測接下來應該有哪些文字。請注意， LLMs並不是要表達一個特定的意思或主動傳達一些想法。它只是根據當前的對話和模型在其訓練資料中看到的所有對話來給出最可能的回應。

這並不是說Chatbots對同樣的問題會給出同樣的回答。我們可以很容易地提示Chatbots以不同的風格進行“交談”，就像人們可以提示文轉圖AI模型以不同的風格生成影像9一樣。例如，向GPT-3提示 "以下是5歲兒童之間的對話"，可能會得到與 "以下是70歲老人之間的對話 "非常不同的結果。

03  上述一切意味著什麼？Meta的 BlenderBot 3

基於LLMs的Chatbots可以比以前基於規則的Chatbots更加靈活和強大，但是這並不意味著前者總是比後者更好或更加受歡迎。前文介紹的BlenderBot 3就是基於LLMs的Chatbots，基於LLMs的Chatbots可能很難驗證真實性，也很難做到安全。況且總有一些場景，基於規則的“罐頭式”的回答比創造性的回答更加合適。

基於規則的Chatbots如今在客戶服務等應用中非常普遍，但是據我所知實際上還沒有一個純粹的基於LLMs的Chatbots，無論是文字還是語音。很可能LLMs已經被用來理解使用者的輸入（例如，弄清楚使用者的問題是關於銷售還是技術支援），但不太可能由LLMs直接生成讓面向使用者的回應。

BlenderBot 3是作為一個研究專案而不是商業產品釋出的（就像OpenAI的GPT-3），這表明，基於LLMs的“開放語言”聊天機器人(“open-language” chatbots) 還沒有準備好供公眾和商業使用。因為“重新整合”這些模型，讓它們在避免有害回應的同時保持話題性，仍需要額外的研究。

更有趣是，對於AI Chatbots來說，是否真正有有用的應用或者流行的用途，關鍵在於AI Chatbots應用的領域（例如，客戶服務10、影片遊戲NPC、教育）。無論如何，對於人工智慧和語言學來說，BlenderBot 3出現都是令人激動的，我們應該期待未來會有更多先進的AI Chatbots。

END

本期互動： 你對AI聊天機器人的應用現狀、前景和技術演進怎麼看呢？歡迎留言討論。