祖克伯給黃仁勳送上皮衣，預告Llama4：SIGGRAPH對話全紀錄

机器之心發表於2024-07-30

大模型的下一個形態，不再是人和模型一輪一輪的即時問答了。


這可能會是AI技術形態的一個轉折點。

當地時間 7 月 29 日，在美國丹佛舉行的第 51 屆 SIGGRAPH 計算機圖形學會議上，英偉達創始人、CEO 黃仁勳與 Meta 創始人、CEO 馬克・祖克伯進行了一場全球矚目的爐邊談話。

圖片

這兩位當今全球科技領域的大佬，既是創始 CEO，又都是生成式 AI 技術的引領者，在長達一個小時的交談時間裡既讚美了開源，怒罵了蘋果，又探討了未來生成式 AI 應用的前景，最後還互相交換了皮衣。

圖片

這場對話主要圍繞生成式 AI 技術，及其在各種領域上的應用展開。

黃仁勳與祖克伯談到：生成式 AI 可能將會改變社交媒體的推薦系統，很快系統將根據你的興趣推薦內容。社交媒體可能演化為系統為你綜合當下發生的事情，生成即時創造的內容。隨著模型的通用性增強，我們也可能從此告別在軟體之間跳轉，Facebook 或 Instagram 都統一在同一個 AI 模型中。

當 Llama 3 升級為 Llama 4 以及更高版本時，互動體驗將很快超越與聊天機器人一輪一輪的對話，你給模型一個意圖，它就能處理處理需要長時間思考或執行的任務，這個任務可能需要花費幾個月處理，AI 將在任務完成時向你彙報。

祖克伯認為，目前基礎模型的研究還在加速，即使基礎模型停止，AI 行業仍有五年的產品創新時間。

提到 Meta 為何堅持開源，祖克伯表示，這源於 PC 時代微軟 Windows 系統的開放。在以手機為代表的智慧移動裝置崛起後，蘋果的閉源生態讓很多祖克伯想要創造的功能都中道崩殂，為此祖克伯甚至爆粗。

同時，祖克伯和黃仁勳達成了共識：開源並非出於純粹的利他主義，而是一種明智的經營策略。Meta 開源其開放計算系統後，成為了行業標準，供應鏈主動對齊 Meta 的設計，這種為行業打造整套生態的經驗，實際為 Meta 節省了數十億美元。

至於人們更傾向選擇效能最強的通用大模型，還是規模較小的專業模型，在這個問題上，祖克伯和黃仁勳產生了分歧。黃仁勳選擇直接上最高檔的，「英偉達不在乎節省那幾分錢。我們的目標是最高質量的結果。」

祖克伯心心念唸的「元宇宙」，他也沒放棄。Meta 的 AI 和 Llama 專案，以及在擴增實境和虛擬現實方面的研發，實際是在構建 Horizon OS—— 一個為混合現實設計的開放作業系統。

他認為下一個計算平臺，將分為智慧眼鏡和 VR/MR 頭顯。智慧眼鏡將成為下一個「手機」，成為下一代智慧移動裝置的開端。而 VR、MR 頭顯將成為工作站或遊戲機，承擔更高強度的計算任務。Meta 正在研發他們理想中的全息 AR 眼鏡，這個眼鏡將綜合超級互動式 AI，並擁有時尚的外觀，在日常起到一個造型上的作用。

談話最後，黃仁勳自問自答了一個問題：「生活在整個計算堆疊都在重塑的時代。我們如何看待軟體？」最讓他感到興奮的是 Jensen AI 出現的可能，根據本人復刻一個 AI 智慧體，並能在對話中不斷微調。這場對談中，小扎也描述了相同的願景。Meta 正在策劃 Creator AI 和 AI Studio，這種產品將讓每個人都可以根據自己的需求定製個性化的 AI Agent。祖克伯給黃仁勳送上皮衣，預告Llama4：SIGGRAPH對話全紀錄

字幕由AI識別，僅供參考

以下是本次對話的全程文字記錄：

黃仁勳：Mark，歡迎你第一次來 SIGGRAPH！你敢信嗎？這位是計算領域的先驅、引領者之一，我都得請他來 SIGGRAPH，非常感謝你來捧場。

祖克伯：其實我已經在會場裡轉了五個多小時了。

黃仁勳：這可是 SIGGRAPH，你知道這裡 90% 的人都是 PhD。說到為什麼 SIGGRAPH 如此重要，這是一場有關計算機影像、影像處理、人工智慧和機器人技術的盛會。多年來，有很多公司都會在這裡討論、吸收新的研究，從迪士尼、皮克斯、Adobe、Epic Games，當然也包括英偉達。

今年我們在這屆大會上有 20 篇論文入選，主要是人工智慧和模擬方向的。AI 可以幫助我們更快模擬出更大規模的物理環境，例如可微物理，我們正在使用模擬方法來為合成資料建立模擬環境。我們為我們所做的感到自豪。

說到 Meta，你們在 AI 領域裡做的事舉世皆知。我覺得有趣的一件事是，看看媒體是如何報導 Meta 最近幾年投身 AI 的情況的 —— 包括 FAIR 做的那些事情。我們都在使用來自 Meta 的 PyTorch。你們在計算機視覺、語言模型、實時翻譯等等方面，做了很多具有開創性的工作。

我的第一個問題是，你如何看待今天生成式 AI 和 Meta 的進步？你如何應用它來增強你們的運營或引入你提供的新功能？

祖克伯：Meta 大概在 8 年前開始進入 SIGGRAPH 大會，相比英偉達我們屬於新手。

黃仁勳：你們是參與者，這是我的地盤。

祖克伯：那肯定，歡迎你邀請我來你的地盤（笑）。我記得早在 2018 年，我們就展示了一些早期的手勢追蹤工作，用於我們的 VR 和混合現實頭戴裝置。我想我們已經討論了很多我們在編解碼器頭像方面取得的進展，我們希望能夠從消費者頭戴裝置中驅動照片級逼真的頭像，我們離這個目標越來越近了。我們對此感到非常興奮。

此外，我們還完成了許多顯示系統工作，一些未來技術的原型和研究，以使混合現實頭戴裝置能夠變得非常薄。我希望有相當先進的光學堆疊和顯示系統，即整合系統。這些是我們通常在這裡首先展示的東西。

今年能來到這裡真是太高興了，我們不僅要討論元宇宙的東西，還要討論所有人工智慧的東西，就像你說的，我們創辦了人工智慧研究中心 FAIR，那時候是 Facebook，現在是 Meta，之後我們創辦了 Reality Labs。我們在這個領域已經做了一段時間。

所有關於生成式 AI 的東西，這可以說是一場有趣的革命，我認為它最終會以一種有趣的方式使我們生產的所有不同產品變得不同。看看我們已經擁有的產品線。比如，資訊流和推薦系統，還有 Instagram 和 Facebook。我們一直處於這樣的旅程中，它從單純的與朋友聯絡發展而來，Ranking 始終很重要，因為即使你只是關注朋友，如果有人做了一些非常重要的事情，比如你的堂兄生了孩子，你肯定希望這樣的資訊被放在最頂端。如果它被埋在你資訊流的某個角落，你會對我們非常生氣。

因此推薦排名很重要，但在過去幾年中，排名已經發展到這樣的地步：排名中的大部分內容只是不同的公開內容。因為現在來自好友的潛在候選帖子不只有幾百或幾千條，而是數百萬條。這就變成了一個非常有趣的推薦問題。有了生成式人工智慧，我覺得我們很快就會進入一個新階段，到那時，你在 Instagram 上看到的內容，將不再只是那些你關注的人釋出的東西。相反，系統會根據你的興趣，推薦給你那些你可能感興趣的內容，哪怕這些內容的釋出者並不是你關注的人。

我認為，未來許多內容也將透過這些工具來創造。其中一些是創作者使用這些工具來創造全新的內容。還有一些，我認為最終將是為你即時創造的內容，或者透過現有的不同事物進行彙集與綜合。這只是一個例子，說明我們正在做的事情的核心部分將會不斷髮展，而且它已經發展了 20 年。

黃仁勳：有一些人認為，全世界迄今為止最大的計算系統之一就是推薦系統。

祖克伯：是的。這是一條完全不同的道路，它並不像人們討論的東西那樣有關注度。大家都在討論 transformer 架構，討論的都是類似的東西，只是在構建越來越通用的模型。

黃仁勳：將非結構化資料嵌入到特徵中。

祖克伯：是的，推動質量改進的一大因素是：過去你會為每種型別的內容使用不同的模型。最近的一個例子是，比如我們有一個模型用於對短影片進行排名和推薦，另一個模型用於對更長的影片進行排名和推薦，然後進行一些產品工作，基本上使系統可以顯示任何內容。但是，你建立的可以涵蓋所有內容的通用推薦模型越多，它就會變得越好。

我的意思是，這背後的一部分邏輯其實與經濟學原理相似，即內容的流通性和可獲取性。當你能夠從更廣闊的資源庫中汲取內容時，就不會再遇到在不同內容源之間轉換時出現的那些令人困惑的效率問題。隨著模型變得越來越大、越來越通用，它會變得越來越好。我夢想有一天，你可以想象整個 Facebook 或 Instagram 都像一個 AI 模型，將所有不同的內容型別和系統統一在一起，這些內容型別和系統實際上在不同的時間範圍內有不同的目標。因為其中一些只是向你展示，比如你今天想看哪些有趣的內容。但還有一些內容是在幫助你構建你的長期社交網路，對吧？比如你可能認識的人或者你可能想要關注的賬戶。

黃仁勳：這些多模態模型往往更擅長識別模式和弱訊號等。所以人們總是會說，人工智慧在 Meta 如此深入，這很有趣。你們一直在構建 GPU 基礎設施，執行這些大型推薦系統。

祖克伯：其實我們應用 GPU 的速度在業界來看有點慢。

黃仁勳：你是我請來的嘉賓，我只是想努力表現得友善一些。

祖克伯：是的，太友善了（笑）。剛才在後臺的時候，你還在說要承認錯誤什麼的。

黃仁勳：你不必突然主動說出來。

祖克伯：我認為我們已經嘗試過了。很快就取得了突破。

黃仁勳：你們是不鳴則已，一鳴驚人。現在，生成式 AI 最酷的地方在於，當我使用 WhatsApp 時，我感覺自己正在與 WhatsApp 合作。我喜歡想象自己是專業打字員，它會在我打字時生成影像。如果我回去改寫我的單詞。它會生成其他影像。比如「中國老人在日落時分和三隻狗一起享受一杯威士忌，分別是金毛獵犬、金毛貴賓犬和伯恩山犬。」AI 會生成一張非常漂亮的照片。

祖克伯：過去一週我花了很多時間和我的女兒們在一起，把她們想象成美人魚之類的。這很有趣。是的，這是生成式 AI 的一方面。很多新一代人工智慧的東西，我認為它將是我們長期以來擁有的所有工作流程和產品的重大升級。另一方面，我們可以創造出很多全新的東西。

在 Meta，我們希望提供一個可以幫你完成不同任務的 AI 助手，在我們的世界中，它將非常具有創造性，就像你說的。但它也是通用的。隨著時間的推移，它將能夠回答任何問題。

我認為，當我們從 Llama 3 標準模型轉向 Llama 4 及更高版本時，我認為它不會再像聊天機器人 —— 你給它一個提示，它就會回應，一輪一輪互動對話。我認為它會很快進化，只要你給它一個意圖，它能夠去執行多個時間框架的任務（可以處理需要長時間思考或執行的任務，而不僅僅是即時響應）。

如果我所想的一些事情最終能夠實現，它將啟動需要大量計算資源的任務，這些任務可能需要幾周、幾個月甚至更長時間來完成。然後它會在某個時刻回來向你報告結果，就像世界上發生了某件事情一樣。我認為這將是非常強大的。

黃仁勳：當今的人工智慧是回合制的。你說了什麼，它就會給你回覆。但顯然，當我們思考時，當我們被賦予任務或問題時，我們會考慮多種選擇，或者我們會想出一個選項樹，一個決策樹，在腦海中模擬可能做出的每個決定的不同結果。所以說我們在做規劃。在未來，AI 也會做同樣的事情。

當你談到 Creator AI 的願景時，我感到非常興奮。坦率地說，我認為這是一個炸裂的想法。能不能向大家詳細介紹一下 Creator AI 和 AI Studio。

祖克伯：我認為不會只有一個人工智慧模型。這正是業內其他一些公司正在做的事情，他們正在建立單個的中央智慧體。

當然，你將獲得一種 Meta AI 助手。但我們的願景是讓所有使用我們產品的人都能為自己建立智慧體。無論是平臺上的數百萬創作者，還是數億小企業，我們最終都希望能夠收集所有內容，並快速建立一個業務智慧體，讓它能夠與你的客戶互動，進行銷售和客戶支援等。因此，我們現在開始推出的一款產品是 AI Studio，它是一套最終會讓這個設想運轉起來的工具。每個創作者都可以構建自己的 AI 版本，可以與之互動的智慧體或助手。

它解決的是一個根本問題，就是每個人的時間都不夠用。如果你是一個創作者，你想更多地與你的社群互動，但你的時間有限。同樣，你的社群也想與你互動。所以未來最好的辦法就是讓人們只負責創造。它有點像一個智慧體，但它是根據你的材料來訓練的，以你希望的方式代表你。我認為這是一種非常有創意的努力，就像你創作併發布在社交媒體上的藝術作品或內容一樣。需要明確的是，這不是與創作者本人直接互動，而是透過智慧體來進行。但我認為這將是另一種有趣的方式，就像創作者在這些社交系統上釋出內容一樣，能夠透過這些智慧體來進行互動。

同樣，我認為未來人們會建立自己的智慧體，用於各種不同的用途。有些是他們想要完成的定製實用功能，他們希望對智慧體進行微調和訓練。有些是娛樂。人們創造的一些東西很有趣，有些很傻，或者對某些事情有種有趣的態度，我們可能無法、可能不會將其作為助手構建到 Meta AI 中，但看起來人們非常有興趣看到它們並與之互動。

一個有趣的用例是人們使用這些智慧體來提供支援。有一件事讓我有點驚訝，那就是 Meta AI 的主要用例之一是，人們讓它來扮演他們將要遇到的困難社交場合。比如我想問我的經理，我如何獲得晉升或加薪？或者我和我的朋友吵架了，或者我和我的女朋友遇到了困難的情況，這場談話該怎麼進行？

這是一個完全無法預知的區域，你可以在其中進行角色扮演，看看談話將如何進行，並獲得反饋。但我認為，很多人不想只與同一種智慧體互動，無論是 Meta AI 還是 ChatGPT，或者人們在使用的其他任何東西，他們想創造自己的東西。所以這就是 AI Studio 的大致目標。但我想，這只是我們更大願景的一部分，我們認為不應該只存在一種人們與之互動的大型 AI。如果存在多樣性，世界將會變得更美好、更有趣。

黃仁勳：我覺得這真的很酷。如果你是一位藝術家，並且擁有自己獨特的風格，你可以利用你的風格和你所有的作品來微調一個 AI 模型。這樣，這個模型就能根據你的風格來創作。你可以來使用這個 AI，向它發出指令。比如，你可以要求它根據我所擁有的藝術風格來創作一些東西。你甚至可以給我一幅畫作或者草圖作為靈感，我可以基於這些為你生成新的藝術作品。你可以來找我的 AI 機器人，或者直接使用我的 AI 來進行這樣的創作。

在未來，可能每一個餐廳、每一個網站都會擁有這樣的 AI，它們能夠根據使用者的需求和喜好提供個性化的服務和內容。

祖克伯：是的，我認為在未來，就像每個企業都有一個電子郵件地址、一個網站、一個或幾個社交媒體賬戶一樣，在未來，每個企業都會有一個與客戶互動的人工智慧智慧體。

在過去，有些事情是很難做到的。比如，如果你觀察任何一家公司，你可能會發現客戶支援部門與銷售部門是分開的，而這並不是你作為 CEO 所希望的。只是「好吧，它們是不同的工種」。

當你是 CEO 時，你必須做所有的事情。當你將抽象概念融入組織時，一般來說，組織是分開的，因為它們針對不同的事情進行了最佳化。但我認為柏拉圖式的理想是，應該面向客戶去構建。你知道，當你試圖購買某物時，你不想面前出現不同的購買方法，如果你在購買某物時遇到問題，你只希望有一個可以去回答問題的地方，並能夠以不同的方式與企業互動。我認為這也適用於創作者。

黃仁勳：這種與客戶的互動，尤其是處理他們的投訴，將使你的公司變得更好。事實上，與人工智慧的這種互動將捕捉到公司的機構知識以及如何處理問題，所有這些都可以用於分析，進而改進人工智慧，如此迴圈往復。

祖克伯：因此，從商業角度來看，我認為這需要更多的整合，我們仍處於早期階段。但 AI Studio 可以讓人們建立自己的 UGC 智慧體和其他東西，並開始啟動這個由創作者建立智慧體的飛輪效應。我對此感到非常興奮。

黃仁勳：我可以使用 AI Studio，用我的影像集對模型進行微調嗎？

祖克伯：當然可以，我們會提供這種能力。

黃仁勳：好的。然後我可以把我寫的所有東西都載入到 AI Studio 上，這樣它就可以作為我的複製體了？

祖克伯：當然。

黃仁勳：然後每次我回到它的時候，它都會再次載入內容。所以它會記得上次停在哪裡。我們繼續我們的談話，就像什麼都沒發生過一樣？

祖克伯：是的，就像任何產品一樣，隨著時間的推移，它會變得更好。訓練工具也會變得更好。這不僅僅關乎你想讓它說什麼。我認為一般來說，創作者和企業都有工作的優先順序。所以在所有這些方面都會變得更好。

我認為柏拉圖版本的 AI 不僅僅是文字，而是包括你能想象到的每一點，這與我們長期以來一直在做的 Avatar 工作有些交集。你希望能夠與智慧體進行影片聊天，我認為我們會隨著時間的推移實現這一點。

我不認為這些東西離我們還有那麼遠，技術的飛輪旋轉得非常快。所以，這很令人興奮，有很多新東西需要建造。我認為，即使基礎模型的進展現在停止了（我認為不會停止），我們也會有五年的產品創新時間，讓行業從頭弄清楚如何最有效地利用迄今為止建造的所有東西。但實際上，我認為基礎模型和基礎研究的進展正在加速，這是一個相當瘋狂的時代。

我得說，是你讓這些變成了可能。

黃仁勳：謝謝！你知道，我們是 CEO，我們是嬌嫩的花朵，需要更多的鼓勵。

祖克伯：到這個時候，我們已經相當老練了。我想我們倆是這個行業裡堅持得最久的兩位創始人，對吧？

黃仁勳：是的。

祖克伯：你看你的頭髮已經花白，我的只是在長長。

黃仁勳：是啊，我的頭髮變白了，你的頭髮變捲了。怎麼回事？

祖克伯：一直都這麼卷，我只是經常打理。

黃仁勳：如果我當初知道成功之路這麼漫長……

祖克伯：那你可能當初根本就不會走這條路。

黃仁勳：不，我可能會像你一樣，提前離開大學。

祖克伯：不過我們之間的性格差異很大。

黃仁勳：你事業起步提前了 12 年，這進度快多了。（譯註：黃仁勳 1984 年在俄勒岡州立大學本科畢業後，曾在 AMD 等公司工作；祖克伯在哈佛大學讀本科時創辦了 Facebook，隨即肄業）

祖克伯：但你做到的事情很棒。

黃仁勳：好吧，過去的事就讓它過去吧。所以，我喜歡你的願景，即每個人都可以擁有一個人工智慧，每個企業都可以擁有一個人工智慧。在英偉達，我希望每個工程師和每個軟體開發人員都擁有一個人工智慧，而且有很多人工智慧。

我喜歡你的願景的一點是，你還相信每個人和每家公司都應該能夠製造自己的人工智慧。所以你實際上是開源的。當你開源 Llama 時，我認為這很棒。順便說一句，我認為 Llama 2 可能是去年人工智慧領域最大的事件。

祖克伯：我覺得（最大的事）是 H100 啊。

黃仁勳：這是一個先有雞還是先有蛋的問題。

之所以說 Llama2 是最大事件，是因為當它出現時，它啟用了每家企業和每個行業。突然之間，每家醫療保健公司都在開發人工智慧。每家大公司、小公司、初創公司都在開發人工智慧。這使得每個研究人員都能夠重新參與人工智慧，因為他們有一個可以做某事的起點。

現在 Llama 3.1 已經發布，大家興奮不已，你知道嗎，我們一起努力部署 Llama 3.1。我們正在將其推向全球企業，這令人興奮不已。我認為它將支援各種應用程式。

談談你的開源理念吧。你開源了 PyTorch、Llama 3.1 以及 Llama 系列，你已經建立了一個完整的開源生態系統，但你一開始是怎麼想的？

祖克伯：在開源方面，Meta 的起步算比較「落後」吧。Meta 開始構建分散式計算基礎設施和資料中心時，已經有其他科技公司有所佈局了，因此在當時，這不能算是 Meta 的競爭優勢。於是不妨直接開源了，然後 Meta 從圍繞它的生態系統中受益，其中最大的專案應該是開放計算，Meta 公開了伺服器設計、網路設計，連最終的資料中心設計都公開了。這些設計成為行業標準後，所有的供應鏈基本上都按 Meta 的標準來，因此，實際上開源為 Meta 節省了數十億美元。

黃仁勳：開放計算也使得 Nvidia HGX 系統能和每個資料中心適配。

祖克伯：感謝英偉達帶來的美妙體驗。在開放計算嚐到甜頭之後，我們在基礎工具類，例如 PyTorch，也採取了類似的開源策略。因此，當 Llama 專案啟動時，Meta 在 AI 模型開發方面自然傾向於主動開源。

對於 Meta 的開源，還要從以下幾個角度來看待。首先，Meta 的產品不得不面對這樣一個事實：我們透過競爭對手的移動平臺來分發自己的應用程式。在智慧手機作業系統的競爭中，蘋果以其封閉的生態系統佔據了市場的主導地位，遊戲規則都是蘋果說了算。雖然從數量上看，Android 手機更多，但蘋果基本控制了整個市場和所有利潤，Android 其實是在追隨蘋果。然而，回顧 PC 時代，雖然微軟顯然不是一個完全開放的公司，但與蘋果相比，Windows 系統可以在所有 OEM、所有不同的軟體、硬體上執行，是一個更加開放的生態系統。Windows 是領先的生態系統。在 PC 時代，開放的生態系統才是主導。

因此，我希望在下一代計算中，開放的生態系統能獲勝，再次迴歸，成為主導潮流。

不過，我相信開源和閉源兩種模式各有其優勢。我並不是非常狂熱的開源主義者，也並非所有 Meta 的產品都開源。然而，對於整個行業共同構建的計算平臺，開源無疑意義非凡。Meta 的 AI 和 Llama 專案，以及在擴增實境和虛擬現實方面的研發，實際是在構建 Horizon OS—— 一個為混合現實設計的開放作業系統，就像 Android 或 Windows 一樣，它能夠支援各種硬體廠家，生產各種各樣的裝置。我們只是想將生態系統恢復到這種開放水平。

我堅信開源終將獲勝。雖然這話有點自私，但是在經歷太多次想要構建某某功能，卻被平臺的 fxcking 限制掣肘之後，我只想在未來的 10-15 年內，確保底層技術能夠把握在自己手裡。

黃仁勳：考慮一下我們的節目還要播出啊......

祖克伯：不好意思，一談到蘋果閉源這個話題，我就怒了，後期幫我「嗶」一下吧。

黃仁勳：無論如何，開源確實是一項偉大的事業。世界上最傑出的人才致力於打造最好的人工智慧系統，並將其作為服務無私地提供給全世界。同時，如果你想要構建自己的人工智慧，開源也賦予了你這樣的能力。就像我不會自己做我身上這件皮衣，而是買別人做的成品。這種服務的價值不可估量。特別是你們的 Llama 3.1 版本，你們推出了 405b、70b、8b 不同規模的模型，可以用更大的模型來提升小模型。並且你們還設定了 Llama Guard 用作模型的護欄。因此，現在 Meta 構建模型的方式完全透明，確保了每個使用者都能夠清晰地瞭解如何正確地使用模型，我非常欣賞這一點。

扯遠了，我們之所以呼籲開源，是因為它必須存在，來擺脫某些封閉模型的限制。但開源軟體的建設並非一人或一家公司之力所能及，它依賴於一個完整的生態系統，這本質上就需要開放和協作。如果它不開源，可能根本無法有效運作，不是嗎？我們選擇開源，並非出於純粹的利他主義，而是開源將助力自己的產品擁有強大的生態系統而變得更加出色。看看大家對 Pytorch 生態系統的貢獻，就足以證明這一點。比如 Nvidia，就有數百名專業人員全心投入，致力於讓 Pytorch 不斷進步，變得更強大、更可擴充套件、更高效。

祖克伯：當你成為行業標準時，自然而然地，行業裡的其他人將按你的標準工作，開源是一個非常好的商業策略，但我認為有些人實在是沒想明白。不過，英偉達每次都能跟上最新發布的 AI 模型，提供專業的支援和最佳化。

黃仁勳：沒錯，我是一個特別樂於提供支援的人。雖然我已經老了，但反應還算敏捷，這是一個 CEO 的必備素養。我真心地覺得 Llama 系列至關重要。英偉達提出了一個名為「AI 工廠」的概念。很多公司有應用 AI 的需求，但是他們不懂如何把公司的業務和資料「喂」給 AI，於是英偉達提供工具與專業知識，依託 Llama 技術，幫助他們實現這一目標。這就是 NIM（Nvidia Inference Microservices）雲原生微服務，NIM 可將模型作為最佳化的「容器」，這些容器可部署在本地、雲端、資料中心或工作站上，開發人員可以在任何地方隨時開啟隨心使用。英偉達打造了一個包括 OEM 以及埃森哲這樣的全球系統整合商（GSI）在內的合作伙伴系統，他們可以執行 NIM 並建立基於 Llama 的工作流。這個激動人心的專案能成型，都得益於 Llama 的開源。

祖克伯：是的，我認為幫助人們從大模型中提煉出他們所需的專有模型，將是真正有價值的新事物。但我不認為會有一個通用的 AI 智慧體出現。

黃仁勳：我同意你的觀點，我也不認為會有一個能解決所有問題的 AI 模型。比如英偉達有一個專用於晶片設計的 AI、還有能理解 USD 的軟體編碼 AI、還有會寫 Verilog 的 AI...... 每個專用的 AI 都是在 Llama 基礎上微調出來的。我相信未來每個公司都將擁有定製化的專用模型。

祖克伯：未來還將面臨一個大問題：人們是會選擇更大、更復雜的通用模型？還是傾向於訓練定製化的專有模型？我打賭是後者，大量不同的模型將迅速湧現。

黃仁勳：但是英偉達選擇了大的通用模型。因為工程師的時間太寶貴了。目前我們正在對 4-5 百億引數的模型進行效能最佳化。眾所周知，這麼大的模型無法適配任何單一的 GPU。這也正是 NV Link 高效能連線的重要性所在。英偉達的每個 GPU 都透過 NV Link Switch 相互連線。例如，在 HGF 架構中，就有兩個這樣的交換機，它們使得所有 GPU 能夠協同工作，實現真正的高效能。之所以選擇最大、效能最優的模型，還是因為工程師的時間極其寶貴，即便這會增加一些成本，但我們不在乎節省那幾分錢。我們的目標是確保為工程師提供最高質量的結果。

祖克伯：這個級別引數量的 Llama 模型的執行成本，大約是 GPT-4o 的一半。所以在這個層面上，你們的決定還挺好的。但我想說的是，人們需要蒸餾出能夠在某些裝置上執行的較小的模型，這是另一套模式。

黃仁勳：讓我來算一筆賬，英偉達僱一個專門負責設計晶片的 AI 時薪 10 美元，但是它可以共享，相當於給每個工程師配備一個助手。這個成本，並不算很高，而我們給工程師的工資那可是相當高，而 AI 可以做到每小時只花幾美元就增加一個「超能力員工」。

祖克伯：老黃，您沒有必要非得說服我。

黃仁勳：如果你還沒僱 AI，那還不趕緊去！我們換個話題聊，讓我們談談下一個浪潮。我們內部經常用你們「分割一切」的模型。訓練影片模型，從而增進我們對物理世界的理解，增進機器人與工業場景的應用，這也是英偉達正在積極推進的領域。能不能分享更多 Meta 在計算機視覺方面的想法，比如 Ray-Ban Meta 智慧眼鏡等等。

祖克伯：說到這裡，我有太多存貨等著「上新」了。就在 SIGGRAPH 現場，我們即將釋出 Segment Anything Model 2 (SAM 2) 。這回影片內容也能被分割了，影片里正在分割的好像是我在夏威夷的牧場裡養的牛。
圖片
黃仁勳：順便提一嘴，它們的名字叫「小扎的美味牛」（delicious Mark’s cows）。之前你來我家，咱倆煎過菲力牛排。下次再來的時候，你就帶上你這張圖裡分割出來的牛。

祖克伯：我是一個超棒的副主廚。

黃仁勳：這個評價是誰給你評的？

祖克伯：我去你家做客，到午夜了。你說：「你吃飽了吧？」我回答：「不知道啊，我大概還能再吃點吧。」你震驚了，來了句：「真的嗎？」

黃仁勳：小扎，你不會不知道吧？一般情況下，別人問你吃飽沒，一般人都會捧著肚子說：「我吃飽了。」

祖克伯：（我可不和你客氣）我會說：「再給我做一整個芝士蛋糕！老黃！」

黃仁勳：讓我給大家展示一下馬克・祖克伯的「強迫症」有多嚴重。所以我正在準備芝士蛋糕，我說：「小扎，切一下蕃茄。」接著，我把刀遞給了小扎。

祖克伯：我是一個很強的刀具能力者。

黃仁勳：他切蕃茄每一個都完美地精確到毫米。我原本以為所有的蕃茄都會被切成片。但當我轉過身時，他說他需要另一個盤子。原因是他切的所有蕃茄，一旦他把一片蕃茄和另一個蕃茄分開，他就要把一片放在另一個盤子裡，再也不讓蕃茄接觸彼此了。

祖克伯：如果你想讓切好的蕃茄互相接觸，你就提需求呀！我是一個大廚好吧。

黃仁勳：這就是他造出來一個不會評價別人的 AI 的原因！

祖克伯：（無語😓）

黃仁勳：SAM2 的效果還真酷，它能識別牛走動的軌跡。

祖克伯：這將製作出很多有趣的效果，對於科學也將有所助益。科學家們可以使用它來研究珊瑚礁、自然棲息地以及景觀的演變等等。

黃仁勳：我再舉一個用例。例如你有一間倉庫，裡面有很多攝像頭，AI 正在監視倉庫裡的一切。假如發生如貨箱堆垛倒塌或地面灑水等意外情況，無論是什麼事故，AI 都能迅速識別並做出反應，自動生成描述事件的文字，並立即派遣人員前往處理。一個能夠理解影片內容的模型擁有廣闊的應用空間。你們在 Ray-Ban Meta 智慧眼鏡之外還在做什麼工作呢？

祖克伯：還是智慧眼鏡。對於下一個計算平臺，我們把它分為混合現實、頭顯和智慧眼鏡。如今所有佩戴眼鏡的人最終都可能將眼鏡升級為智慧眼鏡。世界上有超過十億人，所以這個市場潛力巨大。對於 VR、MR 頭顯，有些人可能認識到了它在遊戲界的應用，但有些人還不以為然。我的看法是，這些智慧裝置將並存。智慧眼鏡將成為下一個「手機」，成為下一代智慧移動裝置的開端。而 VR、MR 頭顯將成為工作站或遊戲機，它們將承擔更高強度的計算任務，畢竟眼鏡容量有限，無法搭載和手機相同級別的算力。

黃仁勳：這些正好發生在生成式人工智慧爆發之際。

祖克伯：因此，從根本上來講，我們從兩個不同的方向來解決智慧眼鏡的問題。

一方面，我們一直在構建我們認為理想的全息 AR 眼鏡所需的技術，包括開發定製晶片、定製顯示技術棧等等。這是一副眼鏡對吧？不是耳機，也不是 VR/MR 那樣的頭顯。它們看起來像眼鏡，但和你現在戴的眼鏡還是有很大差距。我的意思是，你日常戴的眼鏡非常薄。但即使是我們與雷朋聯名打造的眼鏡，你也無法將所有的技術融入其中，以實現全息 AR，儘管我們正在接近這一點。未來幾年，我認為我們會越來越接近。這種眼鏡仍然會相當昂貴，但我認為，它將開始成為一種產品。

我們的另一個方向是與世界上最好的眼鏡製造商 Essilor Luxottica（依視路）合作，從好看的眼鏡開始。他們旗下幾乎擁有所有你接觸過的大品牌眼鏡，包括雷朋、奧克利等等。

黃仁勳：眼鏡界的英偉達。

祖克伯：我想，他們可能會喜歡這個比喻。此時此刻，誰不喜歡被這麼稱呼呢？我們正在和他們合作開發第二代產品。我們的目標是把產品外形做得很棒。在此基礎上，我們將盡可能多的技術融入其中。雖然我們無法在技術上達到理想的效果，但最終，它一定會像一副漂亮的眼鏡。

在這個眼鏡上，我們配備了攝像頭感測器，你可以拍攝照片和影片、在 Instagram 上直播。你可以在 WhatsApp 上進行視訊通話，並將你看到的內容傳輸給對方。它還有麥克風和揚聲器。揚聲器真的很不錯，它是開放式的，所以很多人都覺得它比耳塞更舒服。你可以聽音樂，這是一種私享體驗。人們喜歡這個設計，經常用它打電話。

但我們後來發現，感測器套裝其實正是你與 AI 對話所需要的。這也算是個意外。如果你五年前問我，我們會不會在人工智慧之前實現全息 AR，我會說，是的，很有可能，對吧？因為全息 AR 看上去只需要圖形和顯示技術的進步，包括一些虛擬、混合顯示的技術，而我們當時正在這些方向上不斷取得進展。

但突然，LLM 方向爆發了。結果就是，我們現在已經有了高質量的 AI，並且在全息 AR 出現之前，它一直在快速發展。這種反轉是我始料未及的。不過幸運的是，我們已經做好了準備，因為我們正在開發所有這些不同的產品。

但我認為，你最終會看到一系列不同價位、不同技術水平的眼鏡產品。基於我們從 Ray-Ban Meta 眼鏡產品中看到的資料，我認為價格在 300 美元左右的 AI 眼鏡將是一個暢銷品，最終會有數千萬或數億人擁有這樣的眼鏡。

黃仁勳：（戴上這個眼鏡），會有超級互動式 AI 跟你對話？你剛才展示了你們的視覺語言理解能力，你們還有實時翻譯的能力，你可以用一種語言跟我說話，而我聽到的是另一種語言？

祖克伯：螢幕顯然也會很棒，但這會增加眼鏡的重量，也會讓眼鏡變得更貴。我覺得會有很多人想要全息螢幕，但也會有很多人想要非常薄的眼鏡。

黃仁勳：對於一些工業和工作場景來說，我們確實需要這種眼鏡。

祖克伯：（除此之外）也要考慮消費端產品。我之前遠端辦公的時候經常想這個問題，大家在 Zoom 上花了那麼多時間。未來，我們距離虛擬會議也沒多少年了，到時候可能就是我的全息圖在跟你對話。我認為在其中加入 AI 非常重要。

黃仁勳：接受這樣一個裝置成為日常生活的一部分需要點耐心。

祖克伯：但我覺得我們會走到這一步的。我是說，眼鏡的鏡框有薄有厚，還有各種款式。我想我們還需要一段時間才能擁有像你的眼鏡一樣（薄）的全息眼鏡。但我認為在一副時尚的厚框眼鏡中使用全息技術並不遙遠。

我也在嘗試成為一名時尚網紅達人，這樣我就可以在眼鏡上市之前帶火它。

黃仁勳：我看到你在嘗試。效果怎麼樣？

祖克伯：還在早期（雙方大笑）。我覺得，如果我們未來的主要業務是製造人們佩戴的時尚眼鏡，那我就應該開始多關注這件事。

黃仁勳：沒錯，我同意。

祖克伯：我們得讓那個「每天都一成不變」的我退休了。我的意思是，眼鏡和手錶或手機不一樣，大家不想看起來都一樣。所以我認為，它將成為一個平臺，一個開放的生態系統，因為人們的外形和風格需求將是非常多樣的。

黃仁勳：沒錯。Mark，令人難以置信的是，我們正生活在一個整個計算堆疊都在重塑的時代。我們如何看待軟體？你知道，Andrej Karpathy 提到過軟體 1.0 和軟體 2.0 的概念，我們現在基本上處於軟體 3.0 時代。

現在，我們的計算方式已經從通用計算轉變為生成式神經網路處理計算方式，我們所能開發的能力和應用是過去無法想象的。這種技術，即生成式人工智慧，我不記得還有哪種技術能以如此快的速度影響消費者、企業和科學界。它能夠跨越所有不同的科學領域，從氣候到生物，再到物理科學。在我們遇到的每一個領域，生成式人工智慧都處於根本性轉變的核心。

除此之外，就像你所說的那樣，人工智慧將對社會產生深遠的影響。其中一件事讓我超級興奮，之前有人問我，會不會出現 Jensen AI（黃仁勳 AI）？這正是你說的創造性 AI，我們可以構建自己的 AI。我把自己寫的東西都上傳進去，然後用我回答問題的方式對它進行微調。希望隨著時間的推移以及使用的累積，它能成為一個真正偉大的助手，成為很多人的夥伴。你可以問它問題，它會生成新的想法反饋給你。就像你所說的，它將是一個不帶有評判性的 Jensen 版本，你不必害怕被評頭論足。你可以隨時來與它互動。我覺得這些東西真的很不可思議。

而且，我們一直在寫很多東西。只要給它三四個主題，告訴它這就是我想寫的主題，用我的聲音去寫。這多不可思議啊。現在我們可以做的事情太多了。和你一起工作是一種很棒的體驗。我知道建立一家公司並不容易，你要把你公司的產品從 PC 轉向移動裝置、VR、人工智慧等所有這些平臺。你們做的這些真的很不尋常，英偉達也多次經歷這種轉變，我很清楚這個過程有多難。這些年來，我們倆都遇到了不少挫折，但這就是開拓和創新所需要的。所以看著你一路走來，真的很棒。

祖克伯：well，謝謝（感動）。

如果你繼續做之前的事情，你就無法確定那是不是一個轉折點。看著你們走過的歷程，我也覺得非常有趣。而且你們經歷了這樣一個時期，當時每個人都在說，不，一切都會轉移到這些裝置上，而且計算能力將變得非常便宜。而你們卻一直在堅持，認為大家會需要這些可以並行的大型系統來進行大規模計算。

黃仁勳：我們走了另一條路。現在我們不是在製造越來越小的裝置，我們製造的是大型計算機。

祖克伯：這不太時髦。

黃仁勳：這在當時很不時髦，但現在看起來很酷。我們開始製造顯示卡 ——GPU。現在，你們口中所說的 H100，小扎的資料中心有 60 萬個。

祖克伯：我們是你們的優質客戶（笑）。

黃仁勳：你們構建的這些系統是巨型系統，難以協調，難以執行。你說過你進入 GPU 之旅的時間比大多數人都要晚，但你的執行規模卻比任何人都要大。這令人難以置信。祝賀你所做的一切。你也是個時尚 icon。

祖克伯：（我的這項事業）還在早期階段。

黃仁勳：上次和 Mark 吃過晚餐之後，我們互換了夾克，那張照片在網上被瘋傳。我覺得他穿我的夾克沒問題，但照片中那個人真的是我嗎？

祖克伯：應該是。

圖片

祖克伯：其實這次我給你做了一件。

我帶了一個盒子過來，（Mark 拿出新皮衣，黃仁勳脫掉夾克準備試穿），這是黑色的、皮的，而且是皮毛一體。其實，這不是我做的，我剛在網上訂購的。

圖片

黃仁勳：等等，我試一下。

我穿上了。

圖片

祖克伯：哇，給這傢伙拿條項鍊。下次見你的時候，我給你帶條金鍊子。

黃仁勳：公平起見，我也給你一件。（黃仁勳拿起剛剛脫掉的夾克）這是 Lori（黃仁勳的妻子）剛剛給我買的新夾克，為了參加 SIGGRAPH 專門買的。因為 SIGGRAPH 對於英偉達來說是個重要場合，RTX 就是在這裡釋出的。所以這是一件全新的夾克，我們可以互換。這件是你的了（黃仁勳把夾克拿給 Mark）。

圖片

祖克伯：這件更值錢，因為這是（黃仁勳）穿過的。

黃仁勳：讓我們看看，Mark 看起來很健壯。

祖克伯：你也是。

圖片

黃仁勳：感謝各位，祝大家 SIGGRAPH 過得愉快。

參考內容：https://www.youtube.com/live/H0WxJ7caZQU

相關文章