謝爾蓋布林：谷歌不敢用Transformer，作者全跑路了，現在我每天都在寫程式碼

机器之心發表於2024-09-12
原文網址 : https://www.jiqizhixin.com/articles/2024-09-12-8
谷歌ORM
坐擁世界最大的搜尋業務，谷歌一直獨步於矽谷。搜尋所帶來的豐厚廣告收入，讓兩位創始人謝爾蓋・布林 (Sergey Brin) 和拉里・（Larry Page）可以退居二線，安心享受生活。
圖片
1997 年 9 月 15 日，謝爾蓋・布林和拉里·佩吉註冊了一個名為「谷歌」的網站。

直到 2022 年底，ChatGPT 火遍全球，原本 AI 浪潮的引領者谷歌似乎才意識到地位發生了翻轉。最近一年以來，我們似乎習慣了這家科技巨頭作為「追趕者」出現。

從去年開始，就有媒體爆料，稱謝爾蓋・布林已經重返一線，親自編寫程式碼。前 CEO 埃裡克・施密特（Eric Schmidt）更是在史丹佛大學的講座中直接向「每週只上一天班」的散漫制度開炮：「輸給 OpenAI，再下去要輸創業公司了」。
圖片
施密特在史丹佛演講

同時，隨著谷歌的體量越來越大，一些「大公司病」的症狀也越發明顯。許多谷歌的離職「小作文」顯示：谷歌問題的根源不是「技術」，而是在於「文化」，比如員工的使命感不足，公司為了避免風險設定了繁瑣的系統和流程。
圖片
AppSheet 創始人 Praveen Seshadri 宣佈離開谷歌，他的部落格稱，公司已迷失方向，員工被困在系統裡。

谷歌到底出了什麼問題？Alphabet 工人工會表示：「真正阻礙谷歌員工每天工作效率的是人員不足、優先事項的不斷變化、頻繁的裁員、工資停滯不前以及管理層在專案跟進上的不足。」

雖然谷歌在「ChatGPT 反擊戰」迎頭趕上，但和 OpenAI 評論區下期待 GPT-5 釋出的畫風有些不同，Gemini 亮相時，總會在不經意間「翻車」。首次釋出就出現了 demo 造假，此後，Gemini 也因生成的人像圖片存在種族偏見，建議每個人一天吃一塊石頭、用膠水來黏合披薩上的芝士，捱了不少批評。

上個月，谷歌釋出了加強版的 Gemini，還推出了對標 GPT-4o 的語音助手 Gemini Live，但在演示環節，Gemini Live 還是出錯了。

圖片

在 8 月舉辦的 Made by Google 活動上，前兩次試用 Gemini Live 的拍照識圖功能都失敗了，直到第三次換手機才成功。

明明已經財富自由，為什麼還要重返技術一線？頻頻「翻車」的 Gemini，谷歌內部如何看待？在科技巨頭的競爭中，谷歌存在什麼問題？在這場競爭中又將扮演怎樣的角色？在昨天舉辦的 All-In 峰會現場，久未在媒體前露面的謝爾蓋・布林在一場訪談中聊了聊他的看法。謝爾蓋布林：谷歌不敢用Transformer，作者全跑路了，現在我每天都在寫程式碼
布林的主要觀點為：

  • 決定重返技術前線，是因為 AI 領域的進展太過激動人心，作為電腦科學家，他不願意錯過這一波浪潮。
  • AI 技術不只是搜尋的延伸，它將觸及更廣泛的變革。
  • 相比於專精於某個領域的「專家模型」，布林更看好通用模型，谷歌成功拿下 IMO 銀牌模型，這源於谷歌在之前開始將形式證明模型中的某些知識和能力融合到通用語言模型之中的嘗試。
  • 目前對於算力的需求源源不斷，但很難出現「從 100 兆瓦到 1 吉瓦、10 吉瓦，甚至 100 吉瓦」的需求激增。
  • 在人工智慧應用領域，布林認為生物學已經較好地實現了 AI 技術的落地應用，而機器人領域還是看完演示覺得很神奇的階段，沒有達到日常可以使用的水平。
  • 雖然 AI 偶爾會犯大錯，但更應及時釋出。AI 不是那種你緊緊捂在懷裡、隱藏起來、直到它變得完美無缺的技術。比 AI「犯蠢」更可怕的是，當時谷歌太膽小，都不敢部署 Transformer，論文作者全離職了。
  • 科技巨頭在 AI 領域的競爭實際是好事，不過布林還是會密切關注大模型排行榜。

以下是訪談全文：

布林：我本來以為我只是來參加一個播客，沒想到現場有這麼多觀眾，恭喜你的事業這麼成功，整得我都有點害羞了。

主持人：感謝您抽空和我聊天。當今，AI 正處於改變世界的臨界點。1998 年，你和拉里（Larry Page）成立了谷歌。聽說最近你親自上陣，在谷歌研究 AI。大型語言模型和對話式 AI 工具對谷歌搜尋來說是一種威脅，這是許多行業分析師和專家爭論的話題。所以你現在每天在谷歌坐多長時間的班？都在做什麼？

布林：老實說，我幾乎每天都去上班，不過今天因為要上你的節目，所以缺席一天。作為一名電腦科學家，我我從未見過像最近幾年 AI 領域這樣激動人心的進展。AI 的進步實在是太震撼了！

回想 90 年代，我還是研究生時，AI 在課程中幾乎無足輕重，充其量不過是教材中的一個腳註。課本里講的是，前人做了各種各樣的試驗，但是 AI 真的不起作用，搞 AI 就是「死路一條」。這就是關於 AI 你需要知道的一切。

然後不知怎的，奇蹟般地，這些研究神經網路的人，讓在 60、70 年代被丟棄的 AI 方法開始取得進展 —— 更多的計算，更多的資料，更聰明的演算法..... 過去的十年裡發生的事情簡直令人驚歎。如今的 AI 工具，幾乎每個月都能展現出全新的能力，而且這些能力很快就能翻倍。計算機展現出的能力著實令人驚歎。因此，我決定重返技術前線，因為我不願錯過作為電腦科學家所能體驗到的這一切。

圖片

主持人：你覺得 AI 是搜尋的延伸，還是它將重新定義人們檢索資訊的方式？

布林：我認為 AI 觸及著日常生活的方方面面，搜尋是其中之一。AI 的影響力幾乎無所不包，例如程式設計。我現在對 AI 程式設計有所改觀。從頭開始編寫程式碼，真的很難，特別是和指揮 AI 程式設計對比起來，對吧？

主持人：你都用 AI 編寫了什麼呢？

布林：事實上，我自己也寫了一點程式碼，不過只是為了找點樂子。我有時也讓 AI 為我寫程式碼，體驗很有趣。舉個例子來說，我想知道谷歌的 AI 模型玩數獨（Sudoku）玩得怎麼樣。於是，我讓 AI 模型自己寫了很多程式碼，可以自動生成數獨謎題，然後再把這些題餵給 AI，拿去評分。AI 完全能夠勝任編寫這些程式碼的任務。

但當我和工程師們談論這件事的時候，來回辯論了幾輪，結果我半小時後回來，發現 AI 已經完成了。他們很震撼，很顯然，他們並不像我所認為的那樣，經常使用 AI 工具來輔助編碼。
圖片
數獨遊戲（Sudoku）

主持人：這太好笑了。有的模型擅長解數獨題，有的模型可以回答我世界中的事實資訊，有的模型專用於設計房子。同時，眾多研究者正致力於開發通用的大型語言模型。你認為未來將會朝著哪個路線發展呢？

我也不知道這種說法從何而起，說將會有一個「上帝模型」。這就是為什麼投資人都在往 AI 裡砸錢，一旦「上帝模型」被研發出來，那你就能「一步登天」了，當你擁有 AGI，你可以統治所有事物。或者有很多基於特定應用的小模型，在智慧體中協作。你認為未來的模型開發與應用將會如何演變呢？

布林：如果你回顧 10 到 15 年前，那時，不同的 AI 技術被用於解決完全不同的問題。比如，下棋的 AI 與影像生成技術就非常不同，它們各自有著很大的差異。
圖片
主持人：就像最近谷歌發了一個 GNN 模型，它的表現優於所有物理預測模型。我不確定你知不知道，但是確實是谷歌發的。

布林：太棒了，但我不知道（尷尬）。

主持人：這個模型就是一個完全不同的架構。

布林：以歷史的眼光來看，AI 確實存在著多種不同的系統。以最近舉行的國際數學奧林匹克競賽（IMO）為例，谷歌的模型獲得了銀牌，離金牌就差一分（詳情可以參考機器之心之前的報導：谷歌 AI 拿下 IMO 奧數銀牌，數學推理模型 AlphaProof 面世，強化學習 is so back）。

實際上，我們採用了三種 AI 模型：一種負責定理證明，一種專注於幾何問題，還有一種是通用的語言模型。然而，就在幾個月前，我們開始嘗試從之前的工作中吸取經驗，開始將形式證明模型中的某些知識和能力融合到通用語言模型之中。

這項工作還在進行，但我認為趨勢將朝著構建一個更加統一的模型方向發展。我不確定它就是所謂的「上帝模型」，但可以肯定的是，我們正在朝著某種共享架構，甚至是共享模型的方向發展。

主持人：如果這就是未來的方向，那麼為了訓練和完善那個超大模型，勢必需要動用龐大的計算資源。

布林：算力不可或缺。我讀過一些文章，它們預測算力需求將激增，從 100 兆瓦到 1 吉瓦、10 吉瓦，甚至 100 吉瓦。我對此持保留意見。近年來，演算法的創新和最佳化，已帶來比增加硬體算力更顯著的效能提升。

主持人：那麼，當前對算力的大量投入不合理嗎？每個人都在談論英偉達的收益、利潤、市值。它支援了超大規模計算和基礎設施的增長，使得構建這些龐大的模型成為可能。這種趨勢真的沒有道理嗎？或許它確實有道理，要不然為什麼英偉達能賺這麼多？

布林：首先宣告，我並非經濟學家或市場分析師，我的觀點僅基於電腦科學家的視角。對我們來說，因為面對巨大的需求，我們正在儘可能快地構建算力叢集。比如，谷歌雲的客戶只想要大量的 PPU、GPU，應有盡有。我們不得不拒絕客戶，因為我們自己卡不夠用，我們內部也依賴這些資源來訓練和部署我們自己的模型。因此，我認為各大公司目前都在積極擴充算力，這都很合理。我只是覺得，很難直接從現狀做出未來算力需求會從「100 兆瓦增長到 1 吉瓦、10 吉瓦，甚至 100 吉瓦」這種推斷。

主持人：但企業需求就擺在那裡。

布林：我明白，客戶們有著廣泛的需求，他們希望在各種 AI 模型上執行推理任務，並將這些模型應用於層出不窮的新場景中。他們的這些需求暫時是沒有上限的。

主持人：在 AI 的應用領域，無論是機器人學還是生物學，您認為哪些方面取得了最顯著的成就？有沒有用例讓你覺得「哇，這太有用了」？又有哪些領域挑戰較大，應用落地可能比預期更久？

布林：我的答案是生物學。Alphafold 已經推出一段時間了。它已經推出一段時間，而且我與生物學家交流時發現，幾乎人人都在使用它。Alphafold 的最新版本，Alphafold 3，代表了一種新型的 AI 技術。正如我之前提到的，我相信未來的趨勢是模型的統一化。
圖片
對於機器人，我處於一個「wow 階段」，比如，「哇，機器人竟然可以做家務了！」但你要知道，它背後可能只是一個微調了一下的通用語言模型，雖然它很神奇，但大多數情況下，它們還沒有達到日常可以使用的水平。

主持人：你看到機器人的前景了嗎？

布林：可能吧...... 但是我沒有看到具體的......

主持人：但你們谷歌不是也有機器人業務嗎？雖然後來被拆出去了，還被賣了。

布林：谷歌曾在做機器人的生意。

主持人：可能只是時機不對。

布林：坦白說，那可能是我們過於超前了。波士頓動力公司有那麼多明星產品，但我甚至不記得谷歌做出過什麼。無論如何，我們有過五六個令人尷尬的產品，但它們很酷，能給人留下深刻的印象。只是看到現在的通用語言模型有多能幹，多模態技術能讓機器人理解場景，想想當年還是有點傻。當時還沒有這些 AI 技術，我們就像是在跑步機上原地踏步，難以向前邁進。
圖片
谷歌開發機器人的計劃曾有一手好牌：「Android 之父」安迪・魯賓（Andy Rubin），大名鼎鼎的機器人制造商波士頓動力，名動一時的人形機器人 Atlas…… 不過，就在短短五年時間裡，計劃解散重組，再解散再重組。高管相繼離職，銷售計劃叫停，幾大王牌公司各自賣身...

主持人：你在核心技術的研發上投入了大量時間。在產品方面，你是否也投入了相當的精力？在一個 AI 無處不在的未來世界中，人機互動的方式將如何演進，我們的日常生活又將發生怎樣的變化呢？

布林：這好像在茶水間和同事聊天的話題。

主持人：介意和我們分享一下嗎？

布林：不介意，我在回想一些不會令人尷尬的事情，掙扎 ing。

主持人：講「你有一個朋友」的故事也行。

布林：未來會怎麼樣，真的很難講。AI 的技術是實現應用的基礎。比如有人放出了一個炸裂的 demo，特別驚豔，但從演示到真正在生產中實現，這需要時間。我不知道你是否嘗試過 Astra 模型，你可以與它打實時影片，它能說出你身邊環境中發生的事情。謝爾蓋布林：谷歌不敢用Transformer，作者全跑路了，現在我每天都在寫程式碼
主持人：你可以用對吧。

布林：我肯定會拿到訪問許可權的。有時候，我可能是最後一批獲得許可權的人。目前，我們已經來到了一個這樣的階段，體驗了 AI 之後，人們可能會驚歎：「哦，我的天，這真是太神奇了。」然後你會思考，「好吧，它 90% 的情況下都能正確執行。」但接著你可能會質疑，「如果還有 10% 的情況下會出現錯誤或反應遲緩，這樣的技術真的夠好嗎？」於是，我們必須努力去完善這些細節，確保它既迅速又可靠，等等。當這一切真正實現時，那確實是一種令人驚歎的成就。

主持人：我聽說了一個故事，應該在上臺之前和你通一下氣的。在一次釋出會之前，一群工程師向你展示了 AI 可以用來編寫程式碼，他們說：「我們尚未在 Gemini 中部署它，因為我們想確保它不會出錯。」谷歌有一些這樣「猶豫不決」的企業文化。當時你說：「不，既然它能寫程式碼，那就應該推出。」很多人都給我講過這個故事。因為他們認為，「從你這位創始人口中聽到這樣的言論極為重要，這表明保守主義還沒有完全佔領谷歌，我們期待看到谷歌繼續引領創新。」這樣的描述準確嗎？你真的這樣說過嗎？

布林：我不記得具體細節了。老實說，這確實很像我會做的事。

主持人：對我來說，這就會成為一個問題，因為谷歌的規模已經如此之大，一旦出現失誤，就會損失慘重。

布林：那我還是有害怕的事的。現在語言模型的起點，要追溯到 6 年前還是 8 年前哪篇 Transformer 論文。但是這些論文作者全部都從谷歌離職了。恭喜他們！當時我們太膽小，都不敢部署 Transformer。

布林：而且無論 AI 的能力有多強大，它們有時仍會犯錯誤，仍會說出一些令人尷尬的話。但同時，AI 已經可以幫助我們從未做過的事情。比如我和我的孩子們一起程式設計，處理一些極其複雜的問題。

僅僅透過向 AI 諮詢，他們就能直接上手程式設計，學會那些通常需要花費一個月時間去學習的各種複雜 API 和工具。這種能力近乎神奇。我們需要準備好面對一些錯誤，並勇於承擔風險。我相信我們在這方面的應對已經有所改進。當然，你們可能已經見過很多 AI「犯蠢」的時刻了，但......

主持人：這是可以接受的。畢竟，你早已財富自由，坐擁鉅額股票。我的意思是，你願意接受這些尷尬，因為在這個階段這麼做非常重要。

布林：我這麼做不是因為我的股票，好嗎？但是想想我真能接受這些錯誤嗎？這就是我們呈現給世界的神奇之物嗎？我覺得我們所需要傳達的是，「看，這個東西很神奇」。AI 偶爾會犯大錯，但我認為我們應該及時釋出，讓人們去實驗，看看能找到什麼新應用。AI 不是那種你緊緊捂在懷裡、隱藏起來、直到它變得完美無缺的技術。

主持人：您是否認為人工智慧對世界的影響力如此深遠，創造的價值如此巨大，以至於這不再是谷歌、Meta 和亞馬遜之間的一場簡單競爭？大家都把它看作是一場商戰，但是有沒有這種可能，AI 做出的蛋糕如此大，你們正在探索的領域如此廣泛，遠不止於誰打造了得分最高的模型，誰的 LLM 效能最出色？你如何看待如何看待 AI 帶來的廣闊前景，谷歌在其中將扮演怎樣的角色？

布林：我認為競爭在某種程度上是非常有幫助的，因為所有科技大廠都在爭奪，順便說一下，幾周前在某個排行榜上，谷歌是第一名，並且我上次檢查時，我們仍然擊敗了頂級模型。只是......

主持人：有幾個指標不好。所以你確實是在乎模型評分的！

布林：我沒說我不在乎啊。ChatGPT 問世時，谷歌確實落後了一大截，現在我們已經取得了長足的進步。我對谷歌現在取得的所有進步非常滿意。因此，我們肯定會密切關注模型排行榜。我認為有這麼多 AI 公司存在是好事，無論是 OpenAI、Anthropic，還有 Mistral，這代表著 AI 領域正在迅速擴張，充滿活力。

對於你的問題，我認為 AI 對人類來說有巨大的價值。如果回想一下我的大學時代，那時還沒有我們今天所熟知的網際網路，想要獲取基本資訊、與人溝通都需要付出巨大的努力。在手機普及之前，我們已經在全球範圍內獲得了巨大的能力提升，而如今的 AI 技術，無疑是另一項重大的能力飛躍。現在，幾乎每個人都能以某種方式接觸到 AI。我認為這是非常令人興奮的，真是太棒了。

相關文章