在扯淡方面，ChatGPT到底強在哪兒？

 

文/楊曉羽 彭藝信 曾嘉怡

編輯/cc

 

近期，人工智慧軟體ChatGPT火爆全球。這款由美國頂尖AI實驗室OpenAI開發並於2022年11月30日首次上線的軟體，僅不到一週使用者註冊數就突破100萬。

 

提起ChatGPT，不得不提及特斯拉創始人伊隆·馬斯克（Elon Musk），OpenAI實驗室就是由伊隆·馬斯克和Sam Altman聯合打造，成立於2015年。

 

 

2018年2月，Musk辭去了在OpenAI公司的董事職務。由於特斯拉和SpaceX正逐步加大在人工智慧方面的投入，為避免未來可能發生的利益衝突，Musk退出OpenAI董事會，但將繼續為公司提供資金支援並擔任公司顧問。

 

圖：特斯拉創始人馬斯克稱Chat GPT扯淡能力最強

 

馬斯克向來具有敏銳的商業嗅覺和行業洞察力,其在社交媒體twitter上對ChatGPT的評論被行業高度關注。比如馬斯克認為ChatGPT “好得嚇人 ，我們離危險的強AI不遠了”，也調侃ChatGPT的聊天能力——在扯淡方面，ChatGPT比其他（軟體）都要強。

 

那麼在扯淡方面，這款最火的軟體ChatGPT到底強在哪兒？ 除了扯淡，ChatGPT，還有哪些強項？

 

強背景：頂級科技大廠注資

 

OpenAI實驗室為非營利組織，是由伊隆·馬斯克和Sam Altman聯合打造，成立於2015年，主要致力於研究和發展友好的人工智慧，使人類受益。

 

微軟公司CEO薩提亞稱會加速Open AI實驗室的商業化

 

OpenAI實驗室前期著眼於與其他機構和研究者合作。此後的發展過程中，該實驗室的發展願景逐漸清晰——將防止人工智慧對人類造成傷害，打造“通用”機器人作為目標。

此後，OpenAI實驗室便走上商業化道路，在此過程中，有幾個標誌性事件。

 

• 2019年3月1日Open AI LP子公司成立；
• 同年7月22日獲得微軟投資10億美元，共同打造微軟Azure（微軟雲服務）；
• 一年後的2020年6月11日，微軟宣佈GPT-3的語言模型；
• 3個月後的9月22日微軟獲得獨家授權；
• 此後，便是上文提到的在11月30日，OpenAI首次上線的那一天，ChatGPT的自然語言生成模型，以對話方式進行互動。

 

2023年1月有訊息流出，微軟與OpenAI再次商議，打算投資100億美元，希望將人工智慧技術融入到辦公軟體等場景中。近期，ChatGPT的語言模型在GPT-3的基礎上已更新到GPT-3.5。

 

強技術：三大核心能力支撐ChatGPT

 

ChatGPT的核心能力主要集中在三個方面，即資料層、演算法層、算力層。實際上在AIGC領域中，任何產品都需要這三項。ChatGPT正是在算力的發展和大資料共同支援下完成大規模訓練，才會取得今天的成績。

 

相關資料顯示，資料層在3000億單詞的語料上預訓練擁有1750億引數的模型（訓練語料的60%來自於2016年-2019年的C4，22%來自於WebTex2，16%來自於Books，3%來自於Wikipedia）。也就是說，ChatGPT也像人類的大腦一樣，發現了問題，想知道答案，則需要先學習“知識”，“知識”的數量越龐大，最後給出的結果也就越精確。

 

資料顯示，由於RLHF的作用（Reinforcement Learning with Human Feedback，即基於人類反饋的強化學習方法,利用人類反饋訊號直接最佳化語言模型，同時也是ChatGPT背後的訓練方法）， ChatGPT回應涉及四種情況，即真實、公正、拒絕不當的問題、拒絕ChatGPT知識能力範圍外的情況。

 

• ChatGPT在真實回應中，給出的答案內容較長，使用者需要提出 “用一句話回答我”的指令，才會得到簡短的答案。
• 當面臨公正問題的時候，ChatGPT通常會根據問題中涉及到的利益體，給出相當公平的答案。
• 當發生需要拒絕的不當問題時，內容過濾器（即透過DOM元素包含的文字內容以及是否含有匹配元素進行篩選）與觸發的RLHF模型自身能力相結合，先過濾再拒絕。
• 當需要拒絕產品自身知識範圍外的事情時，比如超過資料層所涵蓋的範圍，使用者問到2022年之後的發生的新事件時，RLHF使模型能夠隱秘地分辨出，哪些問題在該平臺知識範圍中的，哪些不是。這就好比，人類大腦在進行分析，解析一件事物時的過程，有些需要用排除法，有些需要用歸納和演繹。

 

 

在算力層面， 模型訓練和大資料之間的關係是相輔相成的，缺一不可。沒有了大資料的支援，ChatGPT則無法進行學習訓練。

 

此前，GPT-3的模型引數量有著多達1750億個模型引數， 而此次出圈的GPT-3.5，根據資料可知，是在GPT-3的模型基礎上最佳化了算力，並且在InstructGPT模型中新增了人類對模型輸出結果的演示，在對結果進行排序的基礎上最佳化訓練，並對結果進行排序，雖然只有13億個引數，卻表現出比GPT-3.0更好的回答準確率和道德表現。

 

GPT-3.5是在微軟Azure AI超算基礎設施（由V100GPU組成的高頻寬叢集）上進行訓練，總算力消耗約3640PF-days（即每秒一千萬億次計算，執行3640天）。

 

強人才：AI天團引領技術走向

 

作為一個初創公司，OpenAI公司現僅有約300名員工，其中創始人隊伍可以說是擁有矽谷的頂配，2015年山姆·奧特曼（Sam Altman）和特斯拉創始人伊隆·馬斯克（Elon Musk）、格雷格·布雷克曼（Greg Brockman）伊利亞·蘇茨克沃（Ilya Sutkever）組成了OpenAI的核心四人團隊， 其中馬斯克在2018年時因公司發展方向分歧而離開，剩下的三個人山姆、格雷格、伊利亞，目前分別是OpenAI的CEO、CTO(技術長)和CSO(首席科學官)。

 

公司CEO山姆可以說是一個擅長風投融資的幸運兒，曾透過建立Hydrazine Capital創業基金，在成為CEO之前擔任了很長時間的著名初創孵化器Y Combinator的總裁職位，積攢了大量的成功投資案例。

 

公司一開始挖掘業界頂尖的AI研究學者們成為聯合創始人，ChatGPT的成功離不開伊利亞，他擅長機器學習，在進入OpenAI之前，他屬於谷歌DeepMind團隊，所在的團隊研發的AI機器人AlphaGo因為贏得與圍棋冠軍的比賽而引起轟動，在OpenAI領導包括GPT的多個模型創造團隊。

 

 

其他聯合創始人也是AI領域頂尖技術人才，其中OpenAI聯合創始人、原機器人團隊負責人Wojciech Zaremba也是最初加入到OpenAI團隊中的一員，他師從於深度學習三巨頭之一的Yann LeCun，並曾先後在Google和Facebook工作；另一位聯合創始人John Schulman也是強化學習領域中最有話語權的學者之一，提出了置信域策略梯度最佳化演算法（Trust Region Policy Optimization），專注於研究機器人。

 

除了以上的人員，OpenAI團隊的其他成員也都是世界級的工程師和科學家，履歷光鮮。包括創業孵化器Y Combinator的聯合創始人、曾任特斯拉人工智慧負責人、谷歌機器學習研究員、Facebook人工智慧研究員等。 可以說，OpenAI也成為為數不多的擁有頂級咖位技術人才的的初創公司。

 

強競爭：ChatGPT引發鯰魚效應

 

談到ChatGPT的核心競爭力，ChatGPT引入了新技術RLHF，做到了讓人工智慧模型的產出和人類的常識、認知、需求、價值觀保持一致性。這使得這款AI聊天機器人 ChatGPT能寫編寫程式碼、進行劇本、詞曲創作之外，還能夠與人類對答如流。

 

在搜尋引擎領域，面對ChatGPT，谷歌和百度相繼展開對抗措施，有訊息稱，ChatGPT上線兩週後，谷歌內部就釋出了“紅色程式碼”強調對ChatGPT進行高度重視。谷歌執行長Sundar Pichai表示，谷歌的多個團隊需要集中精力，解決ChatGPT對谷歌的搜尋引擎業務構成的威脅。

 

就在1月初，谷歌的子公司DeepMind就推出了用以抗衡ChatGPT的Sparrow，並且在1月27日釋出了音樂AI模型MusicLM。不僅如此，據CNBC報導，谷歌正在測試一款名為Apprentice Bard（學徒巴徳）的人工智慧聊天產品，以期對抗ChatGPT，這款聊天機器人基於谷歌的對話大模型LaMDA。

 

同時，在今年1月初，據百度搜尋傑出架構師辜斯繆透露， 百度預計在3月會做一次比較大的升級，並且強調今年百度搜尋在技術上最重要的工作就是要把整個檢索系統變成檢索+生成雙模系統。也有訊息稱，百度公司將在中國推出類似ChatGPT的人工智慧聊天機器人程式，並將初步版本嵌入其主要搜尋服務中，允許使用者獲得與ChatGPT類似的對話式搜尋結果。據路透社報導，百度計劃將該服務作為一個獨立的應用程式推出，並逐步將其嵌入百度的搜尋引擎。

 

百度CEO李彥宏稱將酷技術變成人人需要的產品是大挑戰

 

不僅如此，由11名OpenAI核心前員工出走創立的公司Anthropic，也推出了“ChatGPT最強競品”——名為Claude的聊天機器人。據初創公司 Scale AI 的一名工程師Riley Goodside讓 Claude 與 ChatGPT 進行的一場對決得出結論： Claude不僅更傾向於拒絕不恰當的要求，而且比 ChatGPT 更有趣，生成的內容更有邏輯性，更自然。有拿到內部試用權的網友體驗後表示， Claude不會像ChatGPT那樣一本正經地胡說八道。不過 在涉及程式碼或推理相關問題的領域時，Claude 的表現要遜於 ChatGPT，生成的程式碼會出現更多 bug。

 

從對決結果來看，在回答測試問題方面，ChatGPT可能會出現創造不存在的知識，或者主觀猜測提問者的意圖等問題，在這點上Claude確實是 ChatGPT 的一個強有力的競爭對手。

 

除了圍繞ChatGPT聊天機器人本身的對抗，另一邊，投資方微軟進行了 1 萬人的裁員，這一訊息也引發外界對 ChatGPT 影響就業的擔憂。而與此同時，ChatGPT因強大的創作和回答問題能力而導致濫用的問題，例如作弊，也頗受大眾關注。