OpenAI 的離職潮仍未止息。
這一次離開的是 Miles Brundage，他是 OpenAI 一位資深研究者和管理者，於 2018 年加入 OpenAI，離職前擔任 AGI Readiness 團隊的高階顧問，之前還曾領導過 Policy Research 團隊。更早之前，他曾在牛津大學人類未來研究所從事研究工作。
這次離開 OpenAI，他寫了一篇超過 5000 詞的部落格，回顧了他在 OpenAI 的工作歷程，並分享了自己離職的原因、對 AI 的看法以及未來計劃，其中還涉及到 OpenAI 工作方式和企業文化方面的一些隱秘。
訊息釋出後，許多 AI 領域的人士都留言表示祝福，包括仍然還在 OpenAI 的著名研究者 Noam Brown、a16z 合夥人和 Fellow AI 創始人 Marco Mascorro、谷歌 AI Studio 產品負責人 Logan Kilpatrick 以及大量 AI 領域的研究者和創業者。
劍橋大學 AI 治理與政策研究者 Haydn Belfield 甚至認為 Miles Brundage 離開 OpenAI 就相當於一個時代的終結。
下面我們來看看 Miles Brundage 的「長篇離職公開信」裡面究竟寫了些什麼。
離職公開信概覽
2015 年 12 月，OpenAI 作為一個組織宣佈成立；自那以來，我都一直為它感到興奮。OpenAI 宣佈成立之後，我徹夜不眠，寫下了我對其重要性的看法。甚至在那之前，大約 12 年前，我就決定將自己的一生奉獻給與 OpenAI 的大致使命（確保 AGI 造福全人類）相關的領域。
所以這幾乎就是我夢想中的工作（為 OpenAI 高管和董事會提供 AGI 達成進度方面的建議），所以離開它並不是一個容易的決定，而且我確信有些人對此有很多疑問。下面我將回答一些問題，希望藉此引導人們更準確地討論我的離開及各種相關話題。
太長不讀版：
我想把更多時間投入到涉及整個 AI 行業的問題上，擁有更多發表的自由，更加獨立；
我將創立一家和 / 或加入一家已有的非營利機構，並且將把關注重心放在 AI 政策研究和倡導上，因為我認為，如果我們不齊心協力，AI 不太可能儘可能地安全和有益；
我感興趣的一些研究領域包括評估和預測 AI 進展、前沿 AI 安全的監管問題、AI 的經濟影響、有益 AI 應用的加速推進、計算治理；
我認為，對於許多研究和工作而言，OpenAI 依然是一個激動人心的地方，我很高興看到團隊繼續加大對安全文化和過程的投資。
我是誰？我在 OpenAI 做什麼？
在本週五結束之前，我都是 OpenAI 的一位研究員和管理者。我在這裡 6 年多了，按照 OpenAI 的標準來說是很長一段時間了（過去 6 年來它真的成長了很多！）。一開始，我是政策團隊的一位研究科學家，之後變成了政策研究團隊負責人，現在則是 AGI Readiness（AGI 達成進度）團隊的高階顧問。在此之前，我在學術界 —— 先從亞利桑那州立大學獲得了科學與技術的人文與社會維度博士學位，然後在牛津大學擔任博士後，並在美國能源部政府部門工作過一段時間。
在我看來，我領導過的團隊（政策研究和 AGI 達成進度）做了很多非常重要的工作，這些工作塑造了 OpenAI 的部署實踐，例如啟動我們的外部紅隊專案並推動前幾張 OpenAI 系統卡，並發表了許多有影響力的著作，主題包括語言模型和 AI 智慧體的社會影響、前沿人工智慧監管、計算治理等。
我非常感謝我在 OpenAI 的時光，也非常感謝我的管理者們多年來的信任，讓我承擔越來越多的責任，感謝我有幸管理的數十名員工，我從他們身上學到了很多東西，感謝我在各個團隊中共事的無數才華橫溢的同事，他們使在 OpenAI 工作成為一次如此迷人和有益的經歷。
我為什麼離開？
我決定從行業外部而不是行業內部來影響和推動 AI 的發展。這是我基於以下考慮得出的結論：
機會成本已經變得非常高：我沒有時間研究我認為重要的各種研究課題，在某些情況下，我認為如果我在行業之外研究它們，所得成果的影響力會更大。OpenAI 現在如此引人注目，人們會從許多不同的角度審視其成果，因此我很難發表所有文章，但一些主題在我看來很重要。需要明確的是，雖然我不會說我一直同意 OpenAI 對發表審查的立場，但我確實認為行業中存在一些發表限制是合理的（我曾幫助編寫過幾個版本的 OpenAI 政策），但對我來說，限制已然太多。
我想減少偏見：當你是某個組織機構的一部分並每天與那裡的人密切合作時，就很難對該組織保持公正客觀的立場，而且考慮到經濟利益衝突，人們有權質疑來自行業的政策想法。我已經嘗試過在分析中做到儘可能公正，但我確信其中存在一些偏見，而且在 OpenAI 工作肯定會影響人們對我的言論以及業內其他人的言論的看法。我認為在政策對話中擁有比現在更多的行業獨立聲音至關重要，我計劃成為其中之一。
我在 OpenAI 已經完成了我之前計劃要做的大部分工作：自從開始擔任 AGI 達成進度高階顧問以來，我開始更明確地思考兩種 AGI 達成進度 ——OpenAI 是否準備好管理日益強大的 AI 能力，以及世界是否準備好有效管理這些能力（包括透過監管 OpenAI 和其他公司）。關於前者，我已經告訴高管和董事會（我的建議的受眾）我認為 OpenAI 需要什麼以及還有什麼差距，而對於後者，我認為我可以在外部更有效地完成它。
上面哪一點最重要？這很難說。它們以各種方式互相關聯，但每一個都在我的決定中發揮了一定作用。
OpenAI 和世界在迎接 AGI 方面準備得如何了？
簡而言之，OpenAI 和任何其它前沿實驗室都沒有準備好，世界也沒有準備好。
確切地講，我認為這個說法在 OpenAI 領導層中沒有爭議。需要說明，這不同於這個問題：該公司和世界是否將在某個時間做好準備？（但我認為仍待填補的差距還非常大，足以讓我將餘生都投入 AI 政策事業中）。
該公司和世界是否在向著做好準備前進？這個問題很複雜，涉及到安全文化隨時間的變化（最近董事會的新增成員是朝著正確方向邁出的一步）、監管對組織激勵的影響、有關 AI 能力和安全難度的各種事實的影響，以及其他各種因素。
順帶一提，我認為 AGI 是一個含義過多的短語，它暗示了一種超乎實際的二元化思維方式。我的團隊最近一直在研究的課題之一是充實「AI 分級」框架。我希望 OpenAI 和我能夠很快發表一篇相關論文。但現在我只想指出，當我說「為 AGI 做好準備」時，我的意思是：「準備好安全、可靠且有益地開發、部署和管理日益強大的 AI 系統」。
人們應該在 OpenAI 工作嗎？
在 OpenAI 工作是大多數人希望做的最有影響力的事情之一，所以在很多情況下，這個問題的答案是肯定的。當然，人們擁有不同的技能和機會，很難做出籠統的陳述，但我認為 OpenAI 的每一個角色及其工作的慎重性都很重要，對 OpenAI 企業文化的貢獻也很重要。在通往更強大的人工智慧的道路上，每一個產品的部署都透過影響規範、人工智慧的感知和監管方式等而發揮重要作用。我很遺憾失去了一些我在這裡擁有影響力的機會，儘管我希望更大程度地影響更大的生態系統。
我認為，在 OpenAI 致力於安全方面的工作尤其具有影響力。
在 OpenAI 工作的任何人都應該認真對待一個事實：他們的行為和言論有助於企業文化，並且當 OpenAI 開始管理極其先進的能力時，可能會產生積極或消極的路徑依賴。文化對任何機構都很重要，在前沿人工智慧的背景下尤其重要，因為大部分決策不是由法規決定，而是由公司員工決定。
正如我上面提到的以及我的決定所表明的那樣，我認為某些政策研究最好在外部進行。我認為政策研究可能比安全和保障工作更常見，OpenAI 內部確實需要一些人推動良好的政策立場。
AGI Readiness 團隊發生了什麼？
經濟研究團隊直到最近還是由 Pamela Mishkin 領導的 AGI Readiness 子團隊，但現在將由 OpenAI 新任首席經濟學家 Ronnie Chatterji 領導。AGI Readiness 團隊的其餘成員將分佈在其他團隊中。
接下來我要做什麼？
我計劃創辦一個新的非營利組織或加入現有的非營利組織，並將從事人工智慧政策研究和宣傳工作。我可能會做一些研究和宣傳的結合，但細節待定，這將取決於未來幾個月我與潛在聯合創始人和合作者的對話。
我對人工智慧政策有何看法？
我認為人工智慧的優點已經很顯著，而且可能會影響更大，缺點也是如此。
我認為人工智慧和通用人工智慧造福全人類並不是自動的，需要政府、非營利組織、社會和行業的決策者做出深思熟慮的選擇，並且需要激烈的公眾討論。值得注意的是，這不僅適用於緩解風險，也適用於確保利益的公平分配，電力和現代醫學等領域也是如此。
我認為 AI 能力正在迅速提升，政策制定者需要更快採取行動。這是我最希望能夠獨立研究的領域之一，因為當這些說法來自產業界時，它們往往會被視為炒作。透過脫離產業界，我將無法獲得一些關於最新技術的資訊，但我認為公共領域有大量資訊可以證明這種緊迫感是合理的，而且我有一些想法，可以比迄今為止的敘事更好地展現這種緊迫性。幾年前，我向有效利他主義者（他們對某些 AI 能力需要多長時間才能出現非常感興趣）辯稱，預測這些用處不大。許多應該採取的政策行動與確切的時間表完全無關。然而，我後來改變了主意，並認為大多數政策制定者除非認為情況緊急，否則不會採取行動，而且如果情況確實如此或將來可能如此，就需要令人信服地解釋為什麼會這樣。
我認為，對 AI 能力及其推斷的定量評估，結合對某些政策影響的分析，才能真實且有說服力地證明這種緊迫性。人們已經開始從安全形度衡量前沿模型、衡量 AI 隨時間變化的趨勢以及評估 AI 對勞動力市場的影響，但肯定還需要更多工作。
我認為我們還沒有掌握我們需要的所有 AI 政策理念，而且許多常見理念要麼很糟糕，要麼太模糊，無法給出可信的判斷。在 AI 的國際競爭中尤其如此，我發現現有的提案特別糟糕和模糊，不過其中一些想法也獲得了更細緻入微的討論，並且趨勢向好。前沿 AI 安全和保障的許多方面也需要創造性的解決方案。
另一方面，我認為我們確實有一些我們需要的理念，並且應該在其中一些領域迅速行動起來。這就是我不想把自己侷限於研究的原因 —— 在某些情況下，缺少的就是意識或政治意願。例如，國會應該大力資助美國 AI 安全研究所，這樣政府就更有能力清晰地思考 AI 政策，也應該資助工業和安全域性，這樣政府中就會有人知道先進的 AI 晶片出口後會發生什麼。
未來我對研究哪些主題感興趣？
如果我有更多時間回顧過去六年，我的想法可能會有所變化，但目前我對以下幾個相互關聯的主題特別感興趣。這裡並不打算窮舉所有重要問題，而且未來我可能會更加專注（比如在未來幾個月的探索期後，深入研究其中一兩個問題）。
評估和預測 AI 進展情況
這是後面各個主題的關鍵基礎之一。如上所述，人們已經有了一些出色的研究成果，但它卻因為各種不同原因（包括商業和學術原因）有所偏離核心。我認為在這個主題上，非營利部門有巨大的機會做出更多成績。
與此同時，我意識到我們最終可能會將 AI 評估和預測提升到非常嚴格的狀態，但政策行動仍然會相對緩慢。因此，除了與人們合作以更好地瞭解 AI 的進展之外，我還希望以一種能引起共鳴的方式更好地向人們介紹進展速度。我強烈地感覺到 AGI 更容易在產業界實現，但我不知道具體原因，因為實驗室的能力與公眾可用的能力之間實際上並沒有太大的差距。
我有幾個想探索的假設。我有興趣從歷史案例中研究為什麼某些政策問題被視為緊急或不被視為緊急 —— 例如第二次世界大戰和希特勒的崛起、氣候變化等。
前沿 AI 安全與保障的監管
我認為，改善前沿 AI 安全與保障是當務之急，因為許多公司（數十家）都很快（最多未來幾年時間）會擁有有能力造成災難性風險的系統。考慮到現在已經沒有多少時間可以設立全新的監管機構了，因此我尤其關注在現有的法律體系內採取行動的機會，以及 EU AI Act（歐盟人工智慧法案）等已獲准許的法案的施行。
如上所述，也可參讀論文《The Role of Cooperation in Responsible AI Development》，公司和政府不一定會預設給予 AI 安全與保障應有的關注（並不只是說 OpenAI）。此現象的原因有很多，其一是私人利益和社會利益之間的錯位，監管可以幫助減少這種錯位。在安全等級方面實現可信的承諾和驗證也存在困難，這進一步激勵了偷工減料：人們認為其他人會偷工減料以獲得優勢，也無法確定 ground truth 是什麼，或者認為他們以後會改變主意。偷工減料在許多領域都有發生，包括防止有害偏見和幻覺輸出，以及投資預防即將發生的災難性風險。需要明確的是，商業激勵措施中有些方法可以促進安全，但我認為假定這些激勵措施就足夠了是不負責任的想法，特別是對於模糊、新穎、分散和 / 或低機率 / 高幅度的安全風險。
我很高興瞭解公司如何能可靠地證明安全性，同時保護有價值且可能被濫用的智慧財產權。在不洩露敏感資訊的情況下證明合規性的難度是實現控制協議的主要障礙，需要創新來解決。這個問題也是有效國內監管的核心。我很高興能與致力於解決這一問題和其他相關技術 AI 治理問題的人們合作。
AI 的經濟影響
我認為，在未來幾年（而不是幾十年），人工智慧很可能會帶來足夠的經濟增長，從而使人們可以輕鬆地提前退休，過上高標準的生活（假設有適當的政策來確保公平分配這些財富）。在此之前，可能會有一段時期，可以遠端完成的任務更容易實現自動化。在短期內，我非常擔心人工智慧會擾亂那些迫切想要工作的人的機會，但我同時認為，人類最終應該消除為生活而工作的義務，而這樣做也是構建 AI 和 AGI 的最有力論據之一。從長遠來看，有些人可能會繼續工作，但這樣做的動力可能會比以前更弱（這是否正確取決於各種文化和政策因素）。就這件事而言，我們在政治、文化或其他方面都還沒有做好準備，這需要成為政策對話的一部分。簡單地轉向「後工作世界」有可能導致文明停滯（參見《機器人總動員》），我們需要對此進行更多的思考和討論。
我們還需要對人工智慧的稅收政策影響進行創新分析。例如，有人建議徵收「機器人稅」，但這究竟會產生什麼影響？它與計算稅或 AI 增值稅等相比有何不同？我們是否不應該做任何專門針對 AI 的事情，而只需要意識到 AI 會讓其他型別的稅收變得更加緊迫（例如，如果資本和勞動力的回報出現巨大差異）？
加速有益的 AI 應用
雖然 AI 會帶來一些好處，而且這些好處正在「自動」出現（透過許多人的辛勤工作），不需要太多的政府參與或支援，但我認為這種情況還沒有達到足夠的程度。對於從事工業工作的人來說，我們離理想有多遠是顯而易見的，而受限的 AI 素養和有限的資源又在多大程度上阻礙了 AI 收益的全面普及。
我認為，即使對（幾乎）只專注於降低 AI 風險的人來說，認真考慮 AI 的有益應用也是有意義的，因為它們可能會改變不同競爭方對共同利益的看法，從而影響他們是否傾向於採取捷徑的可能性。而且有益的應用也可能在降低風險方面提供更大的容錯空間（例如，透過使社會對更高階別的人工智慧部署或濫用具有更強的適應能力）。
此外，在預設情況下，免費和付費 AI 功能之間的差距很可能會越來越大。曾經有一段短暫的時期，這兩者之間是完全等同的（除了次數限制），比如有段時間 4o 是最好的付費模型，使用者也可以免費使用。但那個時代已經過去，很快就會成為遙遠的記憶，因為各家公司都在爭相為願意支付更多費用的使用者提供 test-time 計算服務。我並不是說不應該存在這樣的差異，而是我們應該深思熟慮，找到合適的平衡點，以及我們是否可能在不知不覺中走向一個知識擁有者和非擁有者的世界。
在我看來，「AI for good」的初衷是好的，但目前卻效率低下，這主要是由於民間社會和政府缺乏足夠的專業技術知識，以及良好的規範和理論基礎。例如，如果能對以下問題進行更多分析就好了：哪些問題應該 / 不應該期望市場提供解決方案；對於特定問題，是應該構建定製的專用 AI 解決方案，還是應該提高通用 AI 系統處理這些問題的能力；何時應該補貼現有技術，何時應該創造全新的技術等。
當然，也有一些令人興奮的新想法和新框架被提出來，但我們也希望看到圍繞這些更大的問題進行更多的辯論（除了為促進特定有益應用而採取的一次性舉措之外），我們也希望看到「AI for good」社群、更注重理論的群體（他們正在思考風險敏感型創新、「d/acc」和社會對人工智慧影響的適應力等想法）以及致力於縮小數字鴻溝的群體之間進行更多的相互交流。
計算治理
與軟體、資料和人才相比，計算硬體具有獨特的屬性，使其成為人工智慧政策的一個重要焦點：「它是可檢測、可排除、可量化的，而且是透過極其集中的供應鏈生產出來的」。
學術文獻對計算治理進行了認真的分析，但一般都遠遠落後於產業界的發展。例如，對於那些前沿人工智慧公司來說，近年來有一個越來越明顯的趨勢，即擴大推理（而不僅僅是訓練）規模可以實現更高的效能，但對其政策影響的公開分析直到最近才真正開始。更廣泛地分配計算能力（以及人工智慧的相關優勢）的想法，例如透過政府為學術界提供更多的計算能力，通常都太少太遲，而且忽視了不斷髮展變化的世界中的特定問題。
我將如何保持獨立性？
我希望這項工作在研究和建議方面是（並且被視為）獨立的，我也希望自己是這樣被看待的，儘管在實踐中這樣做並不容易，同時保持接近人工智慧的 SOTA 水平。我將繼續建設性地與對人工智慧有不同看法的部門接觸，包括工業、學術界、民間社會和政府的人。
OpenAI 表示願意為這項新工作提供資金、API 額度和早期模型訪問權，並向我保證不會對這項支援進行出版前審查，我對此表示感謝。不過，考慮到接受這些提議可能會損害獨立性的現實和 / 或感知，我還沒有做出任何最終決定。我將與我的同事共同做出決定。
原文連結：https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im