從撥號上網到創立估值55億美元獨角獸，Transformer作者萬字訪談聊AI趨勢

机器之心發表於2024-08-26
ORMAI

除了擴大模型規模，AI 公司還有其他路可以走嗎？只靠模型 API 賺不到錢了怎麼辦？Aidan Gomez 在訪談中談到了目前困擾 AI 公司的諸多難題。


在 Transformer 的七位作者中，艾丹・戈麥斯（Aidan Gomez）是非常有辨識度的一個（下圖左三），他濃密的髮量和頗有藝術家氣質的髮型總是能讓人一眼就認出他。
圖片
同時，他也是較早離開谷歌去創業的一個。2019 年，戈麥斯與 Nick Frosst 和 Ivan Zhang 聯合創辦了生成式 AI 初創公司 Cohere，主攻面向企業端的 AI 服務。僅創立一年，公司就得到了李飛飛、Hinton、Pieter Abbeel 等多位資深 AI 科學家的注資，後續又得到了思科、AMD、富士通等在內的多家知名企業的投資。
圖片
如今，Cohere 的估值已經達到了 55 億美元。同時，他們釋出的 Command R、Command R + 等基礎大模型也在企業使用者中深受歡迎。

不過，作為一家創業公司，Cohere 也和其他 AI 創企一樣面臨諸多挑戰，例如，改進大模型所需的資源呈指數級增長，初創公司還有別的選擇嗎？如何繼續提升大模型的推理能力？價格戰導致的利潤壓縮該如何應對？在由哈里・斯特賓斯（Harry Stebbings）主持的知名播客節目《20VC》中，戈麥斯透露了自己對於這些問題的看法。從撥號上網到創立估值55億美元獨角獸，Transformer作者萬字訪談聊AI趨勢
戈麥斯的主要觀點如下：

  • 對於有錢的公司來說，擴大模型規模是一種低風險而且有效的做法，但也是極其低效的，其他人還有其他的路可以選擇。
  • AI 模型不擅長推理並不是因為推理本身很難，而是網際網路上沒有太多展示推理過程的訓練資料，Cohere、OpenAI 和 Anthropic 等公司現在都在收集這類資料。
  • 短期內，只靠模型 API 賺錢的 AI 公司將舉步維艱，因為價格戰正在將利潤率壓縮到極致。相反，應用層正變得越來越有吸引力。
  • 在晶片層，英偉達一家獨大的局面有望發生變化，客戶也不希望被一家硬體平臺鎖定。
  • 關於 AI 與人類的互動介面，chat（聊天）未必總是最佳選擇；GUI（圖形使用者介面）也不會被徹底拋棄；語音將會非常具有吸引力。
  • 隨著模型變得越來越聰明，改進這些模型也變得越發費力、昂貴。但這一切都是值得的，因為有人需要這些新技術並願意為此付費。
  • 現在很多 AI 初創公司在被微軟等大型雲服務公司收購，這種做法有一定的危險性。
  • 戈麥斯非常欽佩 Ilya，提到擴大規模的想法很早就存在於他的腦海中。但隨著 Ilya 等人的離職，OpenAI 越來越像一家產品公司，他們對於 AGI 的長期追求似乎開始讓位於面向消費者的產品。
  • 一些採用 AI 的企業正面臨挑戰：AI 的加入造成了成本上升，但利潤沒有增長。戈麥斯認為這個問題會隨著 AI 成本的下降得到解決。
  • Copilot 模式是個很好的概念，可以增強員工的生產力。然而，它面臨的主要挑戰是封閉性，因為它僅限於特定的生態系統（如微軟的 Office 套件），而企業通常使用多個不同的工具（如 Salesforce、SAP 等）。
  • 關於智慧體的炒作是合理的，因為智慧體可以獨立執行任務，極大提高生產力，這是 AI 的承諾。但他指出，智慧體的成功構建取決於模型的質量，不能直接最佳化模型推理能力的公司將處於劣勢。
  • 戈麥斯不同意 AI 正在經歷瓶頸期的說法，他認為在擴大模型規模的過程中，大家還沒有充足的時間去探索推理和規劃方面的創新，並將這些創新整合到模型中。這些創新將帶來模型能力的飛躍。
  • 從技術的角度來看，戈麥斯不同意谷歌已經落後的說法，但也指出他們在產品願景的執行上可能存在一些問題。

從「撥號上網」打遊戲開始的技術生涯

斯特賓斯：你在安大略省的一個你祖父或父親親手建造的房子里長大，那是怎樣一段經歷？

戈麥斯：我在安大略省一個偏僻的地方長大，那是一個很大的 100 英畝的地塊，裡面是一片楓林。這個環境很酷，但肯定遠離技術。

斯特賓斯：你喜歡打遊戲是吧？

戈麥斯：我確實喜歡遊戲。我喜歡從頭開始的技術。只是我很難接觸到這些東西，因為我們不能上網。在大家都有了高速網際網路後的很多年，我們還在用撥號上網。我所有的朋友都在網上玩遊戲，或者做其他事情，我非常嫉妒，或者說不是嫉妒，而是遺憾錯過了這波技術、網際網路浪潮。

這段經歷讓我對技術著迷。我會坐在家裡的電腦前，用著糟糕的撥號上網，想盡力讓它更快。最終，這讓我想學如何程式設計，理解網路是如何工作的。我當時看著畫素一排排地過去。這就是真正促使我投身電腦科學的緣由，就像是被迫學習這項技術。

斯特賓斯：我採訪過很多創始人，發現那些早年玩遊戲的人和那些取得成功的人之間高度相關。為什麼你認為遊戲對成功的創始人如此重要？

戈麥斯：電子遊戲可以教會你一些東西，讓你更願意為了一個遠大的目標去磨礪，去做重複的、困難的、痛苦的事情，那種韌性很重要。還有，在遊戲裡，你可以再次嘗試，那種樂觀或者那種框架真的很重要。我認為在很多文化中，你只有一次機會，你有名譽，如果你搞砸了，一切就都結束了，你就完了。但是電子遊戲可以給人們一種感覺，你可以搞砸，你可以再試一次，你可以變得更好，第二次你搞砸的次數比第一次少，第三次你搞砸的次數比第二次少，那種透過失敗取得進步的觀念我認為可能對我很有意義。

斯特賓斯：我也一直相信遊戲設計的力量，喜歡它們難度遞增的設計。遊戲的設計初衷是先容易，讓你感覺很棒，給你信心。如果一個遊戲剛開始就很難，你就不會想玩。

戈麥斯：是的，是的。其實在機器學習中也有類似的事情，叫做課程學習，即先讓模型學習非常簡單的內容，然後逐漸使其學習更復雜的內容，並在此基礎上積累知識。有趣的是，課程學習在機器學習中實際上失敗了。我們會把最難的材料和最簡單的材料同時扔給模型，讓模型自己解決。但是對人類來說，這種方法是如此有效，它是我們學習的重要組成部分。

擴大模型規模有效，但極其低效

斯特賓斯：你剛才提到「把所有東西丟給模型」，我想深入討論一下這個問題。大家都在說，更強的模型只需要更多計算能力，這是我們目前最大的瓶頸。只要有更多計算能力，模型效能就會提高，你認為這是真的嗎？還有多少擴充套件空間？或者說現在是其他因素在阻礙效能提升？

戈麥斯：確實是這樣。如果你給模型投入更多計算能力，讓模型變得更大，它的效能就會提升。這有點像是提升模型效能最可靠的方式，同時也是最「笨」的方式。就像，萬不得已的時候，只要把模型做大就行了。所以對於有錢的公司來說，這是一個非常吸引人的策略 —— 風險極低，你知道模型會變得更好，只需要讓模型規模更大，支付更多的錢，購買更多的計算資源就行了。

我確實相信這種做法，只是覺得它極其低效，其實還存在更好的方法。過去一年半的時間裡，從 ChatGPT 出現到 GPT-4 釋出，再到現在，據說 GPT-4 有 1.7 萬億個引數，已經很大了。但我們已經有比它更好的模型，引數只有 130 億。因此，這種規模變化的速度、成本下降的速度，實在是令人難以置信，甚至有些超現實。所以，雖然你可以透過擴大模型規模來達到這種模型的質量，但你可能不應該這麼做。

斯特賓斯：那這種逐步的提升會繼續嗎？我的意思是，我們是否會繼續看到同樣的 scaling 優勢，還是說它會在某個時候達到瓶頸？

戈麥斯：是的，我認為它確實需要指數級的投入。你需要持續地將計算能力翻倍，才能維持線性增長的智慧水平。但我認為這可能會持續很長一段時間，模型會變得越來越聰明。問題是你會遇到經濟上的限制。最初為 GPT-4 付費的人不是很多，特別是企業客戶，因為它太大了，效率極其低下，成本極其高昂，而它還沒有聰明到能夠支撐起它的成本。因此，我認為市場上有很大的壓力，要求模型變得更小、更高效，透過資料和演算法來提升智慧，而不僅僅是擴大規模。市場會給定價帶來壓力。

斯特賓斯：我們會生活在一個充滿垂直模型的世界，其中一些模型非常高效且小型化，專為特定用例設計？還是說未來會有三到五個巨型模型統治一切？

戈麥斯：兩種情況都會存在。過去幾年中，我們看到的一個主要趨勢是，人們喜歡使用一個通用智慧的模型進行原型設計，而不是使用一個特定的模型。他們不想花時間微調一個模型，使其在他們關心的某個特定任務上表現得更好。相反，他們希望直接使用一個昂貴的大型模型來做原型設計，證明它可以完成任務，然後再將其蒸餾為一個專注且高效的模型，專門處理他們關心的任務。這種模式已經形成。所以，我認為我們將繼續生活在一個有多個模型共存的世界中，一些是專注和垂直化的，另一些是完全橫向的。

除了規模，資料和方法創新也值得關注

斯特賓斯：你提到了計算成本問題，以及為了保持線性的智慧水平提升，需要持續將計算能力翻倍。這樣做成本非常高昂，似乎與以往任何科技週期都不同（如果我沒記錯的話）。我想知道，除了微軟、亞馬遜、谷歌或 Facebook 這樣的大公司，還有誰能在這個競爭中生存下去？

戈麥斯：如果你只是做一個擴大模型規模的專案，你就必須是其中一個大公司，或者成為它們的一個有效子公司。但其實除此之外，還有很多其他事情可以做。如果你不完全依賴規模作為唯一的發展路徑，認為資料創新、模型和方法的創新也有潛力，那就不一樣了。

斯特賓斯：什麼是資料創新？什麼是模型和方法創新？

戈麥斯：我們在開源領域看到的所有主要進展幾乎都是由於資料改進。透過從網際網路上獲取更高質量的資料，模型變得更好。更好的抓取演算法、解析網頁、提取出有價值的部分，並對網際網路上特定部分進行加權，因為有很多重複和垃圾資訊。透過提取網際網路上最有價值的知識，並向模型強調這些部分，模型的效能得到了很大提升。另一個重要進展是合成資料，即能夠生成新的資料，這是高度可擴充套件的。你可以獲得數十億字或數億頁的資料，但這些資料不需要人類介入，完全由模型生成。這些創新，尤其是提高資料質量的能力，推動了我們目前看到的大部分進展。

斯特賓斯：那麼，模型和方法的創新呢？

戈麥斯：這涉及到諸如新的強化學習演算法之類的東西。有很多關於 Q* 的傳聞，以及它可能是什麼樣子的。還有一些關於搜尋的想法。目前模型的現狀是，我問你一個問題，而你作為模型，我希望你立即給出正確答案。這對模型來說是個非常高的要求，對人類也是如此。你不能指望一個人被問到一個難題時立刻就能給出答案，他們需要思考，處理資訊，逐步得出答案。

我的意思是，現在模型幾乎沒有任何問題解決的概念。下一步顯而易見的方向是，模型需要「思考」並解決問題。它們需要嘗試，失敗，理解為什麼會失敗，然後回滾，再次嘗試。目前，模型還沒有這種問題解決的概念。

斯特賓斯：當我們說「問題解決」，這是否等同於推理能力？

戈麥斯：是的。

斯特賓斯：為什麼推理會如此困難？為什麼 AI 模型現在還沒有這種能力？

戈麥斯：我覺得並不是說推理本身很難，而是我們在網際網路上沒有太多展示推理過程的訓練資料。網際網路上的很多內容都是推理過程的結果。比如，當你在網上寫作時，你通常只會呈現最終的結論，而不會展示整個思考過程。因此我們缺乏展示推理過程的訓練資料，它並不是免費且隨處可得的，你必須自己去構建。而這正是 Cohere、OpenAI 和 Anthropic 等公司現在正在做的工作：收集展示人類推理過程的資料。

斯特賓斯：你如何看待與 OpenAI 這種使用者生成內容（UGC）平臺的競爭？

戈麥斯：這非常困難，特別是在企業領域，企業永遠不會讓你用他們的資料進行訓練。我們不能使用任何客戶的資料，這些資料是高度私密的，對他們來說，這些資料是他們的智慧財產權（IP），其中有太多的商業秘密，因此他們絕對不願意讓我們使用這些資料。我對此表示非常理解。所以我們更多地依賴合成資料，同時我們也有一個專門的人類標註團隊，和 Scale 合作，還有我們自己內部的團隊。這給我們帶來了負擔，因為我們不是一家為消費者提供產品的公司，我們必須自己生成這些資料。但好處是，我們的目標更加聚焦，覆蓋面較小，所以我們面對的不是整個世界，而是具有明確需求（比如自動化某些財務或人力資源職能）的企業，這大大縮小了我們的工作範圍，使我們能夠更專注於特定的領域。

斯特賓斯：未來十年內，合成資料市場會是什麼樣子？會不會被兩三家供應商所主導？

戈麥斯：我聽說目前的大型語言模型（LLM）API 市場主要由合成資料主導。大多數人使用這些大型昂貴的模型生成資料，來微調更小且更高效的模型。它們基本上是在蒸餾這些大模型。我不確定這個市場的可持續性，但我確信永遠會有新的任務、新的問題或新的資料需求。無論這些資料來自模型還是人類，我們都必須滿足這種需求。

只靠模型 API 賺錢的公司將舉步維艱

斯特賓斯：我有點擔心的是價格戰。你會看到 OpenAI 降價、Meta 提供免費服務，祖克伯宣揚開放開源和開放生態系統的價值。這些模型的真正價值是不是在降低？這是不是一場逐底競爭，會把價格打到零？

戈麥斯：如果你只銷售模型，接下來的這段時間會非常艱難。市場不會小，但會有很多競爭者。

斯特賓斯：誰只賣模型？誰在賣模型和其他東西？

戈麥斯：我不想點名，但比如 Cohere，目前只銷售模型。我們有一個 API，你可以透過這個 API 訪問我們的模型。我認為這種情況很快會發生變化，產品的格局會改變，我們提供的產品套件也會有所增加。但如果你只銷售模型，這將會非常困難，因為這幾乎是一場零利潤的生意。由於價格戰，很多公司免費提供模型，模型市場將依然很大，因為人們需要這項技術，需求增長得非常快，但目前的利潤率會非常非常低。

因此，應用層成為了一個非常令人興奮的領域。我認為市場上的討論是正確的，它指出了目前價值積累主要發生在晶片層面之下，人們正在瘋狂地購買晶片來構建這些模型。而在應用層，比如 ChatGPT 按每個使用者收費的模式，像是每月 20 美元，這似乎是目前這個階段價值的體現。

我認為從長遠來看，模型層是一個有吸引力的業務，但在短期內，它的利潤率會很低。

晶片層暗流湧動

斯特賓斯：你剛才提到晶片這一層。你現在如何看待你們在晶片上的花費，這部分支出的變化如何？

戈麥斯：它的比例變得越來越大了。現在晶片佔了我們支出的一大部分，比例太高了。

斯特賓斯：你們和 NVIDIA 有直接的合作關係嗎？

戈麥斯：是的，我們和很多晶片廠商都有緊密合作。我們和 NVIDIA、AMD 保持緊密聯絡，同時也與很多新興晶片初創公司對話。我們還使用谷歌的 TPU。

斯特賓斯：那是因為你們不想依賴單一的晶片供應商？

戈麥斯：是的，主要是因為市場的需求。我們的客戶希望能在多個平臺上執行，他們希望有選擇，不想被鎖定在某一個平臺上。所以我們需要提供一個多樣化的平臺基礎，供客戶選擇執行。此外，我們也避免被某一個雲服務提供商鎖定，我們希望在每個雲平臺上都可以使用。這也是市場的需求，客戶希望有選擇權，而不是被某個雲服務提供商垂直化地鎖定。

斯特賓斯：你認為每家公司都會走向垂直整合，構建自己的晶片能力嗎？我們最近看到蘋果在談論其垂直整合，擁有自己的晶片，你認為這是未來的趨勢嗎？

戈麥斯：我認為這是一個趨勢。目前晶片的利潤率非常高，市場上的選擇非常少。但這種情況正在改變，且改變速度比人們預期的要快得多。

我非常有信心，未來會有更多選擇，尤其是在推理方面。現在推理領域已經有很多選擇。但訓練一直是由一家巨頭主導 —— 目前基本上只有一家能夠製造用於訓練大模型的晶片的公司。但現在情況已經改變了，實際上有兩家公司：你可以在 TPU 上訓練大模型，而 TPU 現在已經成為一個可用的訓練平臺。谷歌也已經證明了它的能力。我認為很快 AMD 和 Tranium 這些平臺也將真正準備好進入主流市場。

斯特賓斯：當你看到在模型訓練和計算上的支出時，我有些擔心的是模型的發展速度遠遠快於資料中心的建設和計算的進展。未來一年，我們是否會在 18 個月前的計算機上執行最新的模型？模型的進步和計算能力的進展是否存在不匹配？

戈麥斯：供應鏈問題確實非常有趣。我認為……

斯特賓斯：你們需要自己建資料中心嗎？

戈麥斯：不，我們和其他公司合作。

斯特賓斯：這種情況會改變嗎？

戈麥斯：我們是一個經濟上理性的公司。如果我們自己建資料中心更便宜，那我們就會去做這個決定。我們核算過賬目，發現目前我們從供應商那裡獲得的價格使得自己建資料中心不是一個有吸引力的選擇。

斯特賓斯：你們在早期是否遇到過獲取大量計算資源的挑戰？現在這種情況有變化嗎？

戈麥斯：我們已經成立大約五年了，所以我們早在這整個事情爆發之前就開始了。我們很幸運。

斯特賓斯：你能預料到這些計算挑戰嗎？

戈麥斯：如果我能預料到這一點，我就不會創辦這家公司了（笑）。但這種爆發發生得比我預想的晚，而且更加突然。

聊天文字框 is not all you need

斯特賓斯：你參與了 2017 年 Transformer 論文的撰寫，你當時認為這會很快引起轟動？

戈麥斯：不，不是在那個時候。2017 年，我只是 Transformer 論文的實習生。我認為這只是研究工作，我們只是創造新的架構，把翻譯分數提高 3% 而已。我沒有預料到這個架構會帶來如此多的後續發展，以及社群對它的熱愛和 Transformer 作為一個 AI 架構平臺的普及。這些都是我沒有預料到的。

至於語言建模和大規模擴充套件方面，我本以為大家會更快意識到這個技術的重要性，但實際上是在兩三年後，大家才意識到它的重要性，並且它突然衝擊了整個世界。

斯特賓斯：轉折點是 ChatGPT 嗎？

戈麥斯：是的。當你直接把這項技術放在使用者面前時，不用向他們解釋什麼，他們可以直接體驗和這些模型對話的感覺。這真的很有說服力。

斯特賓斯：你認為聊天是 AI 模型與消費者互動的最佳介面嗎？

戈麥斯：對於某些事情是這樣，但對於其他事情，我認為傳統的圖形使用者介面（GUI）更好。我並不認為每件事都應該用聊天介面來做。有時我只想點選一些按鈕，透過 GUI 完成任務。所以我並不認為 GUI 已經死了，我們也不應該用文字框來替代一切。但我確實認為聊天作為一個介面，具有非常強大的吸引力。當然，語音也很神奇。第一次看到模型像人類一樣回應我時，那種感覺非常神奇。那是在 2017 年，當我們在提交 Transformer 論文之後，開始用它訓練語言模型。當我看到它能寫出像人類一樣自然的維基百科文章時，那種感覺非常神奇。

斯特賓斯：OpenAI 正在大量投資語音介面。你覺得語音作為與消費者的下一個主要互動介面，這種信心是合理的嗎？

戈麥斯：絕對是。任何曾經嘗試過與這些模型進行語音對話的人，都會感到震驚。這種體驗令人驚歎，聽到模型表達情感、語調，甚至在說話前吸氣的聲音，或者嘴唇輕微的聲音，這都讓你感到非常逼真。那種體驗實在太吸引人了，直到你親自嘗試，才能體會到它有多麼難以置信。所以我認為，語音絕對是下一個非常有吸引力的介面。

持續為更聰明的模型砸錢到底值不值？

斯特賓斯：我一直被教導說，人們往往高估短期的技術發展，但低估了長期的潛力。你認為這是現在的情況嗎？語音比我們預想中來得更快，GPT-5 也可能很快到來。我們是不是在高估短期的技術發展？

戈麥斯：我認為現在有兩件事正在同時發生。首先，開發這些模型變得越來越難。取得模型的進步變得更加艱難、費時和昂貴。曾經有一段時間，模型還不夠聰明，以至於我可以隨便找一個人來和模型對話，幾乎任何人都比模型聰明，並且能教它一些東西。但隨著模型變得越來越聰明，你需要專業領域的專家來給模型提供有價值的訓練資料。

最初，我們可以讓一些比較初級的領域專家，比如電腦科學的學生，來教模型一些東西，或者生物學的學生也能教模型。然而，隨著模型變得越來越聰明，它開始與這些學生的水平相當，你就不得不去尋找更高階的專家來為模型提供知識。這使得訓練模型變得更加複雜、更加昂貴。

斯特賓斯：你認為什麼時候這種投入變得不值得了？我總是想到語言學習的例子，你可以在六個月內掌握 95% 的語言，但要達到 98% 的熟練度可能需要五年。為了那一點額外的提升，投入的成本越來越高，最後是否會覺得不再划算了？

戈麥斯：幸運的是，所有的成本都在迅速下降。無論是計算成本，還是每 FLOP 的單價都在下降，而且下降得非常快，這也使得我們今天可以訓練比 2017 年更大的模型，甚至比兩年前更大的模型。

斯特賓斯：鑑於此，你認為對於初創公司來說，現在進入模型領域算不算太晚？隨著成本的降低，這是否意味著初創公司現在比以往任何時候都更有機會？

戈麥斯：確實，每年構建去年模型的成本都會降低 10 倍或 100 倍。我們能夠獲得更好的資料、更便宜的計算資源，因此構建前一代模型的門檻確實大大降低了。然而，現實情況是，沒有人想要上一代的模型。沒人關心去年的模型，它在與今年的模型相比時毫無市場價值。任何技術進步都會使上一代的產品迅速過時。

斯特賓斯：開發產品的成本在不同版本之間的差異非常大。在傳統的軟體開發中，比如第一個版本可能需要花費大約一千萬美元，然後要建立一個稍微改進的第二個版本，可能只需要再投入一到兩百萬美元。但是，在大型語言模型這類產品的開發中，情況就完全不同了：開發第一個版本可能需要高達 30 億美元，而要開發第二個版本，成本可能高達 50 億美元。這裡的關鍵點是，這種成本的增加不是簡單的增量變化，而是一個數量級的跳躍。

戈麥斯：我不確定是否總是這樣。對於晶片等非常複雜的技術，每一代的開發成本實際上會變得更高，但我們依然繼續做下去，因為它是值得的。

斯特賓斯：那回到你之前的說法，你剛才說沒人關心去年的模型？

戈麥斯：你之前問的是，改進是否能持續下去，我的回答是，這變得越來越難了，門檻越來越高。

另一個奇怪的現象是，隨著模型變得更聰明，人類 —— 或者說每個個體 —— 去區分它們變得更困難了。你無法分辨出代與代之間的區別，因為你不是醫學、數學、物理學等領域的專家，無法真正感受到這種差異。對你我這樣的人來說，我們和這些模型的互動體驗看起來是一樣的，但事實上，這些代際變化在某些特定領域或原始智慧方面是非常顯著的提升。

你剛才問，是否值得繼續投入？我的回答是，絕對值得。對於你我這樣的消費者來說，當我們使用這些模型時，我們可能不會關心它是否知道 C * 代數或者量子物理知識，這對我們體驗的影響不大。但對研究這些領域的專家來說，這些進步非常有幫助。透過提供工具，他們能夠在這些領域取得更多進展。這就像問：我們現在已經有了足夠的食物、便宜的汽車，還有手機隨時可用，那我們是否還應該繼續投資於下一代科技，比如開發用於航天的新材料，讓飛船更高效地進入軌道？答案是肯定的。雖然對你來說，這個問題可能無關緊要，你不關心飛船能否更便宜地進入軌道，但對於那些對這一領域感興趣的人來說，這非常重要，而且他們願意為此付費，市場也為此存在，這就是技術進步能夠持續的原因。

成為大型雲服務商的子公司很危險

斯特賓斯：讓我們回顧一下，這種持續發展顯然需要花費很多錢，而且還將繼續花費更多錢。你之前提過一個非常有趣的詞彙「有效的子公司」。我們已經看到過很多公司被收購。我想現在每個人都意識到雲端計算是不斷增長的「搖錢樹」，而且大多數較小的模型供應商都被大型雲服務提供商收購了。你是否同意這是未來三到五年可能出現的情況？

戈麥斯：三年。我認為這已經發生了，很多模型構建者都這樣認為。

斯特賓斯：我們可以舉兩個例子，人工智慧初創公司 Adept 被亞馬遜收購，AI 獨角獸 Inflection AI 被微軟收購。

戈麥斯：我認為還會有更多，這個領域肯定要迎來合併。不過，當你讓自己成為雲服務提供商的子公司時，這真的很危險。至於原因嘛，這不是好的生意。一家公司想要籌集資金，通常需要去說服一些投資者。這些投資者只關心資本的投資回報率，他們給你錢，你用這些錢來創造價值。但是當你從雲服務提供商那裡籌集資金時，情況就完全不同了。

斯特賓斯：你認為風險投資者會從我們過去幾年看到的投資模式中賺錢嗎？

戈麥斯：Cohere 的投資者肯定會賺很多錢。

斯特賓斯：你覺得讓這些相信你的人賺到大錢感覺如何？你會覺得「我不該給出那麼多股份」嗎？

戈麥斯：沒有。當時投資我們的每個人都還在這裡，他們還在努力。我們的第一位投資者是 AI 風投巨頭「Radical Ventures」，其聯合創始人 Jordan Jacobs 現在仍是我們的董事會成員。我稱他為 Cohere 的第四位聯合創始人。他和我們一起建立了這家公司，而且到現在都非常活躍，積極參與公司建設。所以，我不後悔。

斯特賓斯：Cohere 的最新估值是多少？

戈麥斯：從媒體報導來看，我們的最新估值略微超過了 55 億美元。

斯特賓斯：當你看到收入與估值之比時，是否會產生壓力？會不會問我們如何走到這一步的？

戈麥斯：這肯定會產生壓力，但卻是正向的。就像你說的，每個人都會參與到收入倍數遊戲。在某些時候，它會趨近於公開市場倍數。我認為我們實際上比許多同類公司處於更好的境況。

斯特賓斯：原因呢？

戈麥斯：因為我們的估值不像其他公司那樣瘋狂。我的信念是，我們仍然會成長得更加強大。我非常有信心的一點是市場很強勁，很多人都需要這些模型。另一方面，由於價格戰和免費模型的不斷推出，目前也面臨著壓力，但這種情況會隨著時間的推移而改變。當然，我們的產品堆疊也會發展。

OpenAI 正在成為一家產品公司

斯特賓斯：你最尊重市場上哪家公司？

戈麥斯：OpenAI。他們鋪平了道路，他們對擴充套件模型規模的願景非常堅定，這種信念推動了今天這個神奇的技術世界的誕生 。我記得在 GPT-1 釋出之前和 Ilya Sutskever 談論過這些事情。那是 Transformer 論文剛發表的時候 ，Ilya 在多倫多圈子裡很有名，他師從 Geoffrey Hinton。可以說，早在 Ilya 真正開始追求 Scaling 的數年之前，這一想法就在他的腦海裡。這種信念催生了我們如今生活的世界，這一客觀上神奇的技術已經出現，並且現在每個人都可以使用。我真的很欽佩 Ilya。

斯特賓斯：是的，沃頓商學院的 Ethan Mollick 在參加節目時提到，OpenAI 關心的只有 AGI 以及對 AGI 的追求。因此，他們放棄了程式碼直譯器和許多其他真正有用的產品，因為他們要專注於 AGI。當然，這不是批評，只不過是他們的重點在此。你同意這一觀點嗎？或者你認為他們實際上採取了雙重路線，既追求長期 AGI，又更加註重為廣泛的企業和消費者創造短期有價值的產品。

戈麥斯：至少從全新的 OpenAI 來看，它更像是一家產品公司，並努力打造一款消費產品。這是他們的目標，而且效果不錯，人們都喜歡他家的產品。所以我認為，在消費者領域，OpenAI 將成為一家產品公司。我認為他們必須成為一家產品公司，才能負擔得起打造自身想要打造的東西的費用。但從 OpenAI 目前的離職情況來看，似乎追求 AGI 的努力開始讓位於面向消費者來打造產品。

企業引入 AI 的擔憂：利潤與安全

斯特賓斯：我擔心的是，我們能否看到公司透過在產品中新增 AI 來提高 per-user 收入。現在每家公司都是 AI 公司，比如提供客戶支援的 Zendesk、筆記記錄軟體 Notion、提供設計服務的 Canva，他們都在使用 AI。甚至 Canva 最近在節目中直言不諱地表示，他們的利潤正在壓縮，原因是沒有為 per-seat 收取更多費用，但他們的所有產品都融入了 AI。

現在，你可以在產品中使用 AI 建立任何東西，但同時每個查詢都要花更多的錢，但收入卻是一樣的。所以，我們真的能夠提高 per-user 收入嗎？還是隻是創造了更好的客戶體驗？

戈麥斯：現在有兩種不同的定價策略。有些公司保持原價不變，加入 AI 功能以推動業務的擴充套件。另外一些，比如微軟、Salesforce 和 Notion，他們對 AI 功能收費，並作為產品進行業務擴張。這兩種策略都很好，而且非常合理。對於像 Canva 這樣維持價格不變的公司來說，我認為是個不錯的選擇。他們想擴大使用者群體，那麼就給他們提供目前最有用的產品。不用擔心利潤，因為 AI 的成本正在迅速下降。我認為這是合理的選擇。

斯特賓斯：阻礙企業採用 AI 的最大障礙是什麼？

戈麥斯：我認為主要是對技術的信任和安全性。每個人都對當前的狀況感到擔憂，比如誰在訓練。人們真的很擔心有人會利用他們的資料訓練，從而讓他們陷入某種安全漏洞，或者失去 IP。我認為這是一個非常合理的擔憂，因為使用使用者資料進行訓練的情況一直存在。

斯特賓斯：你們能做些什麼來安撫他們的這種擔憂，除了告訴他們「我們不會使用你們的資料，我們只用合成資料」？

戈麥斯：我們專注於模型的私有部署，這意味著可以在硬體上實現完全私密性。我們不會要求你將資料傳送給我們，我們會在處理後將模型的響應返回給你。我們會將模型帶到你的資料所在的地方，而我們什麼也看不見。

斯特賓斯：在這個新世界中，我們會看到私有部署的趨勢重新迴歸嗎？

戈麥斯：我在與人們交談時發現，金融服務領域非常矛盾。他們正在遠離雲，並正在建立自己的資料中心。此外，其他領域似乎仍然需要遷移到雲，沒有必要擁有這些資料中心。我認為這可能取決於你正在關注的垂直領域。

斯特賓斯：他們到底對人工智慧有什麼誤解或者不理解的地方呢？

戈麥斯：人們非常擔心人工智慧會出錯。這些模型存在幻覺，每個人或多或少會認為這種技術註定要失敗。有時模型會產生幻覺，不反映現實。雖然模型的幻覺發生率一直在急劇下降，但它們總有可能編造一些東西或者出錯。同樣，人類也經常產生幻覺。我們會犯錯，會記錯一些事情。所以，我們生活在一個對錯誤具有魯棒性的世界裡。現在，我們也有一些幻覺評估基準。

斯特賓斯：模型幻覺是否能夠以與模型進展相同的水平下降呢？

戈麥斯：相同的水平？這點我不知道，但肯定下降得非常快。並且有了 RAG（檢索增強生成），模型幻覺可能會迎來一次階躍變化。

所謂 RAG，你有一個可以查詢知識庫的模型，這個知識庫可能是你的內部文件或搜尋引擎。模型會向搜尋引擎寫入查詢，提取結果，然後將其用作答案和引用來源的一部分。你可以稽核是否正確。這個機制顯著減少了模型編造答案的情況，因為它有真實的參考材料可以依賴。

斯特賓斯：明白了。RAG 是一個遊戲改變者（Game Changer）。

戈麥斯：至少對於幻覺來說，RAG 可以稱得上游戲改變者。而且可以定製模型，因為它們看過公共網路，所以知道很多公開資訊。但對於私人的東西，我希望模型能夠回答有關電子郵件收件箱的問題，這隻有我才能訪問。因此，模型查詢我的電子郵件收件箱以及提取該資訊的能力，只會讓它對我關心的東西更加了解。

Copilot 模式的重要性與挑戰

斯特賓斯：我們現在還處在企業實驗預算的階段嗎？每個人都在說，「我們還在用預算進行實驗」。是這樣嗎？

戈麥斯：現在已經開始有了明顯的轉變 。去年 100% 是概念驗證年，每個人都在測試。但最近，人們急於將技術投入生產。我認為很多企業都害怕措手不及，他們花了一年時間執行概念驗證並做測試。現在他們急於將這項技術投入生產，以便改造他們的產品，增強他們的員工隊伍。

斯特賓斯：就他們需要或想要的東西而言，最重要的用例是什麼？每個人都在問，你的 AI 策略是什麼？這意味著什麼？比如，我們非常希望最佳化自己的客戶服務。那麼什麼才是最重要（No. 1）的客戶服務？是員工增強或者生產力提升？

戈麥斯：我認為是員工增強。這些模型就像是整個員工隊伍的合作伙伴或同事。這是最流行的用例。

斯特賓斯：我認為 Copilot 是正確的做法。你覺得呢？

戈麥斯：是的。這是用助手來增強勞動力的正確做法，但它又被生態系統所孤立，所以 Copilot 被插入到了微軟 Office 以及其他產品套件。但是，企業不僅僅使用微軟的產品。他們使用微軟的電子郵件、文件和電子表格等產品，使用 Salesforce 的產品來進行 CRM（客戶關係管理），使用 SAP 的產品進行 ERP（企業資源規劃）。

如果你真的想增強勞動力，你需要有一個平臺來開發這些助手。這些智慧體與特定工具集無關，並根據人們實際使用的內容和市場實際使用的內容合理地對工具集進行優先排序。

智慧體未來可期，但問題是誰來構建

斯特賓斯：你提到了智慧體這個詞，它是風險投資領域最熱門的話題之一。你認為對智慧體行為的大肆宣傳是否合理，它對工作流程有什麼影響呢？

戈麥斯：我認為大肆宣傳 100% 合理，這是人工智慧的承諾。這些模型能夠自己開展工作，這極大地改變了生產力。人們可以擁有一個在很長一段時間內獨立完成工作的模型，完全改變了一個組織所能做的事情。所以，我認為宣傳是合理的。我的問題是，這種工作會更有效地在模型開發者之外完成，還是由模型開發者內部來完成？誰最有能力構建這個產品？

斯特賓斯：為什麼由模型開發者內部來完成最好呢？

斯特賓斯：這完全取決於模型的質量。模型是智慧體背後的推理者。所以你必須參與，你必須能夠在那個層面上進行干預。如果你不能真正改變模型，讓它更好地完成你關心的事情。如果你不是模型構建者，只是模型的消費者，那麼你在構建產品時就處於結構劣勢。

斯特賓斯：你認為今天誰處於劣勢呢？現在，每個人都在談論並對 Salesforce 持懷疑態度。我不認為 Benioff（Salesforce CEO）會輸。

戈麥斯：我同意你的觀點。他很棒。我認為他非常清楚對自身的威脅，並且不會讓這種事情發生。

另一件事是，你會忘記企業軟體有多麼難以替換。企業軟體並不經常發生大規模置換，它通常會使用幾十年。要取代一家企業軟體公司真的很難。我認為，真正具有變革性的新消費體驗存在機會，消費者對單一供應商的忠誠度遠不如以前。他們會去他們能獲得最好服務、最佳產品的地方。因此，如果有人能夠利用人工智慧提供一種遠優於現有產品的東西，消費者將會轉向使用。

谷歌 vs OpenAI

斯特賓斯：你認為哪家公司擁有最好的研究隊伍？

戈麥斯：Coherer。如果說 Cohere 之外的話，我認為現在的研究力量分佈比較分散。過去是高度集中的，像 Google Brain 和 DeepMind。

斯特賓斯：他們為什麼會落後？

戈麥斯：在釋出 Transformer 論文兩週後，我們開始訓練語言模型，這表明在技術和研究方面，Google Brain 並沒有落後。我不想對 Google 發表評論，但我可以說，真正重要的是產品願景和想象技術可能達到的能力。重要的不僅僅是技術開發本身，而是你能用它做什麼的願景。如果你的組織內部有人能看到這一點，你需要問自己，你是否為他們提供了實現這一願景的工具，還是他們需要到別處去實現這一願景。此外，規模假設（Scale hypothesis）指出，模型將隨著我們不斷投入而持續改進，我們在構建模型上的投資應該不僅是增加 10 倍，而是增加 100 至 1000 倍。這是一個極具風險、不確定性的巨大賭注。我絕對不會批評 Google 所做的決定。我覺得 OpenAI 下了非常好的賭注。

斯特賓斯：OpenAI 最好的賭注是？

戈麥斯：肯定是規模假設。就是說規模擴大會持續，並且我們應該繼續擴大十倍、百倍、千倍…… 很多人不相信這一點。對此有很多反對意見。人們認為追求這一目標是愚蠢且多餘的。但他們有堅持到底的信念。

AI 正在經歷瓶頸期？

斯特賓斯：你認為目前人們對人工智慧社群最大的誤解是什麼？我們如何看待未來 12 到 24 個月 AI 的發展？

戈麥斯：目前有一種觀點認為人工智慧的發展已經達到了瓶頸期，沒有新進展，發展速度正在放緩。我認為這種觀點是錯誤的。

這不僅僅是因為我們需要將計算能力提高十倍這樣簡單，而是從方法論的角度出發，當我們討論如推理器、規劃器以及能嘗試失敗並從失敗中恢復，執行長期任務的模型時，這些都是技術上尚未存在的能力，我們還沒有時間將焦點轉向這些領域並將這些能力整合到模型中。

過去一年多來，大家一直在專注於這方面的工作，這將很快投入生產使用。因此，我們將看到這方面的顯著變化，我認為這將是能力上的一個重大飛躍。

AI 與人類世界的未來

斯特賓斯：你現在是 20VC 的投資者，你覺得機會在哪裡？

戈麥斯：我認為產品領域以及應用領域仍然非常有吸引力。這項技術將會誕生一些新產品，這些產品將改變社交媒體。人們喜歡與這些模型對話一樣，人們使用它的時間簡直是瘋狂。

斯特賓斯：你覺得這是一件好事嗎？你在一個非常健康自然的環境中長大。但我不希望我的孩子們在一個他們與智慧體系統交流多於與人類交流的世界中長大、從與模型交談中獲得滿足感。

戈麥斯：你可能是錯的。我認為你可能希望你的孩子們與一個極度有同理心的、非常聰明和知識淵博的安全智慧進行交流，這種智慧能教會他們東西，與他們一起玩樂，不會對他們感到厭煩，不會突然發火，不會欺負他們，不會挑剔他們，不會讓他們產生不安全感。

但不可否認的是沒有什麼可以取代人類，不管聊天機器人多麼吸引人，人類都更有價值。AI 將是一種輔助增強工具，人類將變得更加高效並有時間做更多的事情。

想想銷售行業，如果我被一個機器人推銷，我是不會買的。就這麼簡單。我不想和機器說話。對於某些簡單的採購，也許可以。但對於那些對我和我的公司很重要的採購，我希望交易另一端有一個人類負責。當出現問題時，我需要一個有話語權的人類介入。

我真的認為關於 AI 替代人的恐懼是過度的，無論是在消費領域還是工作場所。

斯特賓斯：我認為在採納新技術時，總會有一種普遍的認識，即會發生一些輕微的取代現象，這已成為常態。雖然確實會看到某種形式的取代，但並不至於達到有人擔心的那種 80% 的程度。我相信，你看看你的祖父母，對他們來說，電腦和電子郵件就像是外星技術一樣，他們會覺得我們整天做的事情非常瘋狂。我完全同意這種看法。我現在確實擔心在這個譜系的低端，可能有一部分客戶服務團隊會被削減70%-80%。

戈麥斯：雖然肯定會有區域性的取代，但從總體上來看，工作機會將會增長。確實有一些職位容易受到技術的影響，想具體列舉這些職位有些困難。例如，客戶支援就是一個明顯的例子，但最終，我們仍然需要人類來完成這些工作，只是不需要像現在這麼多人。然而，客戶支援是一個非常艱難的角色，你會遇到對你大聲喊叫的人。如果你曾經聽過客戶服務電話的錄音，你就會知道這是一個情感上非常消耗的工作。

斯特賓斯：是的，這非常類似於大型社交網路上的內容稽核。確實，在很多方面這是情感上的創傷。

你認為人工智慧現在做不到，但三年後又能做到，並將帶來徹底的變革的是什麼？

戈麥斯：我覺得，總的來說，機器人技術會實現重大突破。成本需要降低，也一直在下降。然後我們需要更強大的模型。

斯特賓斯：為什麼你看好機器人領域？

戈麥斯：因為很多障礙都已經消失。比如這些機器人內部的推理器和規劃器，以及它們背後的軟體。以前它們都很脆弱，你必須對它們完成的每項任務進行程式設計，而且是針對特定環境的超級硬程式設計，比如廚房的佈局必須一模一樣。

現在，研究領域在使用基礎模型和語言模型，已經開發出更好的規劃器。這些規劃器更具動態性，能夠更自然地推理世界。所以我認為，我知道這已經在進行中，有 30 個人形機器人初創公司和類似的東西，很快就會有人破解通用人形機器人的難題，它們會既便宜又好用。這將是一個巨大的轉變。我不知道這會在未來五年還是十年內出現，但它會在其中的某個時間點出現。

快問快答

斯特賓斯：還有很多要聊的。但接下來是快問快答環節。在過去的 12 個月裡，你對什麼東西看法改變最多？

戈麥斯：我對資料的重要性的看法有了巨大轉變。我以前嚴重低估了它的重要性，認為只是規模的問題。但在 Cohere 的內部，有很多證據表明，資料質量在構建這項技術時至關重要。

斯特賓斯：你們現在融了多少資？

戈麥斯：所有的嗎？大約 10 億美元。

斯特賓斯：在這些錢裡，哪一輪融資最容易？

戈麥斯：也許是第一輪。

斯特賓斯：那時候是什麼情況？也是最快的一輪嗎？

戈麥斯：那有點像是一場談話。你知道，這裡有幾百萬美元，試試看。所以我認為這可能是最簡單的。當你試圖籌集五億美元時，事情會更復雜一些，你得稍微做點什麼。

斯特賓斯：當你看到 5 億美元進入賬戶時，你會不會掐一下你自己？

戈麥斯：這是個神奇的時刻，是的，我是掐了一下我自己。

我不知道具體數字是多少，但確實很多。這是一個很大的數字。Cohere 讓我對經濟和資金的感知發生了轉變，現在 5 億美元已經不再顯得那麼多了，特別是和我們的競爭對手相比。

斯特賓斯：真的嗎？這會讓你感到擔憂嗎？

戈麥斯：不，我的意思是，這是我們戰略的一部分。比如，如果我們想接受那筆交易，我們就可以接受那筆交易。但我們的戰略一直是追求獨立，自己來做這件事。

斯特賓斯：如果你的董事會可以塞世界上任何一人，你找誰？

戈麥斯：Mike Volpi 和 Jordan Jacobs，他們已經在我的董事會里了。

斯特賓斯：Mike 有多好？很多人都在說他好。

戈麥斯：Mike 太不可思議了，感覺他以前什麼都見過。好像我幾乎可以向他提出任何問題。他以前遇到過三次這種情況。第一次是這樣的，第二次是那樣的，第三次是那樣的。「我覺得你們可能應該這麼做……」，他有如此豐富的經驗和建議。

斯特賓斯：Hinton 和 LeCun，你更傾向於哪位？

戈麥斯：我更傾向於 Hinton。我和 Hinton 的私人關係比和 LeCun 更緊密。

斯特賓斯：你認為 LeCun（對 AI 的態度）是否過於樂觀了？

戈麥斯：我更認同 Yann 及其關於人工智慧的觀點。Jeff 很悲觀，他認為這項技術會毀滅世界。相比之下，Yann 則要樂觀得多，我也贊同這種看法。不過遺憾的是，Yann 有點變成了回應 Elon Musk 的人。我覺得 Jeff 和我的一個合夥人很像。Jeff 非常聰明，富有智慧，而且思考深刻。

不，我和 LeCun 對 AI 的信念非常一致。Hinton 對技術的未來持更加悲觀的看法，認為這項技術會毀滅世界，而 LeCun 則更加樂觀，我更加傾向於認同 LeCun 的觀點。不過可惜的是，Yann 似乎有些成為了 Elon Musk 的「回覆哥」。但 Hinton 有點像我的聯合創始人 Nick Frosst，他和 Hinton 關係很親近，他們每個週一一起下國際象棋。Hinton 非常聰明、非常睿智、非常深思熟慮，他是一個有深度的思想家。

斯特賓斯：你現在在倫敦有團隊，你也住在倫敦。每個人都在談論歐洲的衰落。你現在感覺怎麼樣？你在倫敦建立了令人難以置信的工程研究團隊。

戈麥斯：在歐洲人的思維中，解決科技問題的方法是透過監管。我認為變革的壓力是存在的，我們需要更加進步，這可能需要一段時間。

我們幾乎是遠端辦公，我們的業務遍佈各地。但也並不是完全遠端辦公，我們在多倫多、倫敦、紐約、舊金山都有辦事處。

斯特賓斯：每天都有人來？

戈麥斯：當面交流工作要好得多。

像我經常被問到，事情會怎樣發展？我也經常被問到關於技術的風險。當人們想到人工智慧時，他們心中充滿了恐懼，而關於我們擁有的機會的討論卻少之又少。我認為人們並沒有討論這些。

斯特賓斯：你希望 AI 怎樣發展？

戈麥斯：我們現在面臨的主要問題之一是供應緊張。我們今天擁有的每一種奢侈品都來自於發展起來的技術，這些技術提高了生產力，增加了物品的供應，使它們更加豐富，價格更低。因此，我真正關心的是這項技術能否推動全球的生產力，並使人類更加高效，能做更多的事情。我覺得像生產力這樣的東西雖然不夠吸引人，感覺就像是被低估了，但事實確實如此。

相關文章