怎樣保證你不是AGI獨裁者？馬斯克為何退出OpenAI？早期郵件公開了 机器之心 發表於2024-11-17
今年，OpenAI 可以說是大事不斷：內鬥、離職等等一系列事件吸引著大家的眼球。 其中，OpenAI 與馬斯克的訴訟、糾紛也一直備受大家關注。 今年 3 月份，馬斯克這位前 OpenAI 聯合創始人在一份長達 46 頁、總字數超過 1.4 萬字的訴訟檔案中，指控 OpenAI 不計後果地開發人類級別的人工智慧。（參見：《馬斯克起訴 OpenAI：他們做出了 AGI 還授權給微軟，這是對創始協議赤裸裸的背叛 》） 後來，OpenAI 自曝 8 年間郵件往來截圖，用一篇長文《OpenAI and Elon Musk》，正式駁斥了馬斯克的所有指控。（參見：《剛剛，OpenAI 官方發文駁斥馬斯克，自曝 8 年間郵件往來截圖 》） 其中，OpenAI 反駁稱馬斯克承諾投資 10 億美元，但實際只投了不到 4500 萬美元，雙方都認識到需要一個營利性實體支援燒錢的 AI 訓練，但馬斯克希望完全控制 OpenAI 或將其併入特斯拉而被拒絕。 當地時間 11 月 14 日，馬斯克針對 OpenAI 的起訴升級，增加了新的原告和被告。 隨著起訴檔案的更新， Elon Musk、Sam Altman、Ilya Sutskever 和 Greg Brockman 之間的往來郵件已經作為法庭訴訟程式的一部分公開。 馬斯克為了證明 OpenAI 違反反壟斷法，才有這些郵件的曝光。同時，他也在某種程度上表達了他對 OpenAI 背離最初願景 —— 以非營利為宗旨，且由特斯拉 CEO 擔任領導的背叛感。 論壇 LessWrong 整理了 2015 年 5 月 25 日到 2019 年 3 月 11 日的約 50 篇郵件。從中，我們可以窺見這個這個聲稱要保護人類福祉的非營利組織在誕生之初便埋下的裂痕與分歧。
連結：https://www.lesswrong.com/posts/5jjk4CDnj9tA7ugxr/openai-email-archives-from-musk-v-altman 在第一批曝光的郵件中，引起最大討論的要數馬斯克發給 Ilya 和 Greg 的這封郵件：
在這封主題為「我覺得有必要重申一下的郵件中」，馬斯克說道： 「我對 OpenAI 的資源沒有重大變化的情況下，與 DeepMind/Google 相抗衡的可能性評估是：0%。不是 1%。 即便籌集到幾億美元也不夠。這需要每年數十億美元的投入，否則就別想了。 從開始籌建 OpenAI 開始，Google 與 DeepMind 就是馬斯克最擔心的競爭者。 在 2016 年的一封郵件中，他直言「DeepMind 正在給我帶來極大的精神壓力。如果他們贏了，憑藉他們一個思想統治世界的理念，這將非常糟糕。」
2015 年 7 月，YC 總裁 Sam Altman 舉辦了一場晚宴，在那裡，Elon Musk、Greg Brockman、Ilya Sutskever 相聚在一起。 當時谷歌在 AI 技術上遙遙領先，具有斷層式的先發者優勢，AI 可能會被科技巨頭壟斷，並使其發展停滯不前。 這些即將改變世界的人超前地意識到了：人工智慧需要一個非營利組織，讓 AI 普惠世人。這個組織不需要任何競爭性的激勵措施，需要的只是世界上最好的 AI 研究人員。 於是，他們聚集在了一起，開始設計非營利組織，但很快，他們就發現了各種各樣的困難：特別是，由於 OpenAI 不賺錢，給人才提供的薪水沒有別的公司高。
2015 年底，DeepMind 開出了高價工資，在 NIPS 會場「搶奪」OpenAI 看中的人才，「Sam Altman 擔心「OpenAI 會這麼被扼殺在搖籃裡。」他主動給每個人每年增加了 10-20 萬的薪酬，這引來了馬斯克的疑問。 「我們需要盡一切努力來獲得頂尖人才。讓我們更上一層樓。如果在某個時候我們需要重新審視現有員工的薪酬，那也沒關係。要麼我們能找到世界上最優秀的人才，要麼我們就會被 Deepmind 打敗。無論需要做什麼，只要能培養出頂尖人才，我都願意。Deepmind 讓我精神壓力很大。如果他們贏了，那對他們一心一意統治世界的理念來說將是一個壞訊息。他們顯然正在取得重大進展，而且他們應該取得進展，因為那裡的人才水平很高。」
但在 2017 年秋天，OpenAI 創始團隊一開始融洽的關係好像出現了裂痕。 根據 Shivon Zilis（現 Neuralink 的總監）發給馬斯克的郵件，Greg 和 Ilya 開了一個小會，最終彙總為 7 個問題： 是否有人有公司的絕對控制權？他們希望知道，如果未來在方向上出現分歧（不僅限於三人，也可能涉及更廣泛的董事會成員），是否會設立某種具有創造性的否決機制？ Greg 和 Ilya 提出了「不可協商」的條款，即 AGI 出現時，不會讓任何一個人擁有絕對控制權。這一條件的滿足意味著，無論這三人之間發生什麼，權力分配都將在最初的 2-3 年階段之後平穩過渡。 馬斯克願意花多少時間在 OpenAI？實際上又能花多少時間？具體的時間範圍是什麼？是每週一小時，十小時，還是介於兩者之間 OpenAI 的團隊並不清楚馬斯克在其他公司如何分配時間，也不確定他希望如何在 OpenAI 中投入時間。Greg 和 Ilya 相信他們在軟體 / 機器學習方面可以很好地推進工作，但對硬體方面缺乏信心。他們希望馬斯克能夠在硬體領域投入一些時間，這是他們的薄弱環節，同時也希望他能在感興趣的所有領域提供幫助。 OpenAI 的團隊傾向於誰花的時間多就有更多控制權的模式，而不希望花一點時間就有很多控制權。他們擔心如果分給 OpenAI 的時間太少，就沒有足夠的時間討論相關背景資訊，從而做出正確的決定。 Greg 堅持平等分配。Greg 指出，Ilya 透過在 Google 的工作已經證明了自己的經濟潛力，從某種程度上說，Ilya 已經貢獻了價值數百萬美元。 他們傾向於在初期籌集超過 1 億美元的資金，認為僅資料中心的需求就需要這麼多，因此他們更願意籌集更多資金。最後，他們給出了自己心目中的解決方案： 馬斯克每週為 OpenAI 花費 5-10 小時，獲得完全掌控權，如果時間更少，那麼控制權更少花費。 針對 AGI 的極端情況（不僅僅是 Greg / Sam / Ilya）設計短期過渡協議。 制定一項嚴格的少數股權控制協議，確保 2-3 年的過渡期內權力平穩分配，不受（Greg / Sam / Ilya）個人命運影響。 Greg 和 Ilya 的股份最終比馬斯克高出 1/10，但差距不宜過大（這一部分仍需進一步明確）。 馬斯克的回覆是：「這太煩人了。請讓他們去創業。我受夠了。」 於是 Ilya Sutskever 在這封主題為「Honest Thoughts」的郵件中進一步提出了對馬斯克擔任公司領導者的顧慮：
當前的公司結構使您有可能最終對 AGI 擁有單方面的絕對控制權。您曾表示自己並不想控制最終的 AGI，但在此次談話中，您向我們展示了絕對控制權對您來說極為重要。 舉個例子，您曾表示自己必須成為新公司的 CEO。這樣，每個人都能知道您是負責人。同時，您也表示過討厭當 CEO，更不願意擔任此職。 因此，我們擔心，儘管您當前並無此意，但隨著公司在通往 AGI 的道路上取得實際進展，您可能會選擇繼續保留對公司的絕對控制權。 OpenAI 的目標是創造一個美好的未來，並避免 AGI 獨裁。您擔心哈薩比斯（Demis Hassabis，谷歌 DeepMind CEO）可能會建立一個 AGI 獨裁政權，這一點我們也同樣憂慮。 因此，構建一個可能讓您成為獨裁者的公司結構，無疑是糟糕的選擇，尤其在完全可以設計出能夠避免此風險的另一種結構的情況下。
這不僅僅是關於誰是 CEO，誰能控制公司的問題；Ilya 擔憂的是，如果 AI 威脅人類之時，可能只有一個人能夠左右事件的走向。 Ilya 還和 Greg 一起對奧特曼表達了類似的疑問，用詞與去年 OpenAI「宮鬥事件」中，董事會指責阿爾特曼「不夠坦誠」時如出一轍： 在整個過程中，我們始終無法完全信任您的判斷，因為我們無法理解您的動機。 我們不明白為什麼 CEO 這個頭銜對您如此重要。您給出的理由一再改變，讓人難以真正理解背後的動機。 AGI 真的是您的主要動力嗎？它與您的政治目標有何關聯？
結合後來的事件發展，奧特曼正在將 OpenAI 引向更傳統的企業級 SaaS（軟體即服務）方向來看，他的目標似乎更多偏向商業，而非哲學。 Elon 回覆表示對目前的談判徹底失望，稱不再為 OpenAI 提供資金，要求團隊做出明確承諾。 Sam Altman 強調自己仍支援非營利結構，同時對 Greg 和 Ilya 的不一致行為表示不滿，他隨後宣佈需要 10 天時間來「思考是否能夠繼續信任他們」。
這件事發生在 OpenAI 為了解決沒錢的問題，要不要改變非營利組織的架構，為此，他們也考慮過 ICO 上市。
同時，在谷歌在谷歌「一騎絕塵」的狀態下，OpenAI 的努力在當時看上去就像是「以卵擊石」。 Andrej Karpathy 給出了幾份對標谷歌的詳細分析： DeepMind 在 2016 年的運營支出約 2.5 億美元 (不含計算成本) Google 在 AI 領域擁有壓倒性優勢，包括 Google Brain、Research、Cloud 等多個部門 在 ICLR 會議上，Google 提交了 83 篇論文，遠超其他機構。 Karpathy 認為，如果不能在規模上與 Google 競爭，OpenAI 的開放研究可能反而在「免費」幫助競爭對手。
馬斯克並不贊同 ICO 方案，這相當於直接宣告「非營利」破產 OpenAI 在與谷歌的競爭中正走向必然的失敗。如果不立即採取重大而果斷的行動，除了谷歌之外的所有人都將被邊緣化。 我考慮過 ICO 方案，但不會支援它。在我看來，這隻會讓 OpenAI 和所有與 ICO 相關的人嚴重失去信譽。如果某件事看起來好得難以置信，那它通常就是錯誤的。在我看來，這是一次不明智的偏離初心的嘗試。 我目前能想到的唯一出路是 OpenAI 進行大規模擴張，以及 Tesla AI 的大規模擴張，或許兩者可以同時進行。前者需要大幅增加捐贈資金，並讓非常有公信力的人加入我們的董事會。目前的董事會狀況非常薄弱。 我將安排時間明天與大家討論。需要明確的是，我對你們的能力和成就非常尊重，但對目前的管理方式感到不滿。這也是為什麼最近幾個月我很難積極參與 OpenAI 的原因。如果我們能夠解決這些問題，我將大大增加我的參與度；如果不能，我將幾乎完全退出，並公開減少與 OpenAI 的關聯。我不會讓自己置身於一種影響力和實際投入的時間不匹配的局面。
而 Karpathy 給出了他理想的解決方案。在他單獨發給馬斯克的郵件中，Karpathy 認為最有希望的選擇是 OpenAI 把特斯拉作為搖錢樹。他相信，與其他大型科技巨頭（例如蘋果、亞馬遜）的合作會因為公司 DNA 不相容而失敗。
Andrej 完全正確。雖然我們可能希望情況並非如此，但在我和 Andrej 看來，Tesla 是唯一有可能與 Google 相抗衡的路徑。即便如此，成為 Google 的對手的可能性依然很小，只是並非完全為零。
這可能也解釋了為什麼 Karpathy 選擇了接馬斯克的 offer，成為特斯拉人工智慧和自動駕駛部門負責人。 與此同時，為了拯救 OpenAI 的困境，Sam Altman 正在設計另一套模式「讓 4-5 家有興趣的大型企業投資的方式，該工具的回報上限為 50 倍」。由於缺少上下文，只能從這封郵件中得知，馬斯克被要求正式從董事會辭職： 「您在技術上仍然是董事會成員，需要向 Sam Altman 傳送一句簡單的郵件，比如：透過此郵件，我在此正式辭去 OpenAI 董事職務，自 2018 年 2 月 20 日起生效。」
後面的故事我們就很熟悉了，在 Sam Altman 的親自設計之下，OpenAI Inc. 搭建了一家「有收益上限」的有限合夥企業 ——OpenAI LP，並以此為主體對外融資，根據協議安排，創始人團隊收益上限為 100 倍，微軟的收益上限為 5-10 倍，其他投資人的收益上限為 20 倍，員工為 10 倍。 而馬斯克退出了 OpenAI 董事會，並在公開場合表示，離開的原因是利益衝突：當時特斯拉正在開發自動駕駛人工智慧，他們需要與 OpenAI 爭奪人才。 然而不到六個月後，OpenAI 就獲得了微軟 10 億美元的投資，微軟還提供了基礎設施技術，二者一起搭建了一臺超級計算機來訓練 ChatGPT 以及影像生成器 DALL-E 的大型模型，如 GPT-4 有 1 萬億個引數。 ChatGPT 一經推出，OpenAI 立即成為最熱門的新興技術創業公司，甚至給谷歌造成了壓力。據知情人士透露，馬斯克對此非常憤怒。 雖然馬斯克發起的這場訴訟才剛開始，但目前披露的訴訟材料已經夠商戰電視劇演上一季了。至於未來還會有什麼更精彩劇情上演，讓我們一起見證！