OpenAI 開始訓練下一個前沿模型了。
在聯合創始人、首席科學家 Ilya Sutskever 官宣離職、超級對齊團隊被解散之後，OpenAI 研究的安全性一直備受質疑。
現在，OpenAI 董事會宣佈成立新的安全與保障委員會，由董事 Bret Taylor（董事會主席）、Adam D’Angelo、Nicole Seligman 和山姆・奧特曼（執行長）領導。該委員會負責就 OpenAI 專案和運營的關鍵安全決策向全體董事會提出建議。
同時，OpenAI 還宣佈最近開始訓練其下一個前沿模型，並預計最終的系統將使 OpenAI 在通向 AGI 的道路上達到新的能力水平。
安全與保障委員會的首要任務是在未來 90 天內評估並進一步發展 OpenAI 的開發流程和保障措施。這 90 天結束時，安全與保障委員會將與全體董事會分享他們的建議。經過董事會的全面審查後，OpenAI 將以符合安全保障的方式公開分享已採納建議的最新情況。
OpenAI 技術和策略專家 Aleksander Madry、Lilian Weng、John Schulman、Matt Knight 和 Jakub Pachocki 也是安全與保障委員會成員。
此外，OpenAI 還將諮詢其他 AI 安全研究者和技術專家來支援其安全與保障工作。
安全問題積重難返
就在 OpenAI 準備重拾安全與保障工作時，前董事會成員 Helen Toner 在一檔播客節目中談及奧特曼的解僱風波。令人意外的是，Helen Toner 表示前董事會是在 Twitter 上獲悉 ChatGPT 的釋出。
2023 年 11 月 OpenAI 的「宮鬥風波」令人印象深刻，董事會突然罷免了 OpenAI 聯合創始人兼執行長奧特曼，此舉震驚了所有人。
當時到底發生了什麼？Helen Toner 在 TED AI Show 播客的採訪中，從她的角度講述了導致董事會成員不再信任奧特曼的原因，以及奧特曼最終如何重回 OpenAI。
據 Helen Toner 所述：「當前董事會決定聘請新的 CEO 後，他們覺得唯一的辦法就是揹著奧特曼做這件事。因為所有人都很清楚，只要奧特曼察覺到董事會可能會做出不利於他的事情，他就會不遺餘力，竭盡全力破壞董事會解僱他的計劃。」
董事會不再信任奧特曼的一個原因是他沒有告訴董事會他擁有 OpenAI 創業基金；另一個原因是他在多個場合提供了有關公司安全流程的不準確資訊。
此外，在「宮鬥事件」之前，奧特曼曾與 Toner 發生過沖突，Toner 與其他研究者合作撰寫了一篇關於人工智慧安全的論文，論文批評了 OpenAI 掀起的「AI 軍備競賽」，這篇文章激怒了奧特曼，他認為損害了公司利益。隨後，奧特曼開始私下聯絡其他董事會成員，試圖說服他們解僱 Toner。
在兩名高管直接向董事會講述了他們與奧特曼打交道的經歷後，他們描述 OpenAI 的氛圍惡劣，指責奧特曼「心理虐待」，並提供了奧特曼「在不同情況下撒謊和操控」的證據，董事會終於採取了行動。
最值得注意的是，Toner 以 ChatGPT 的推出為例，說明前董事會對公司沒有真正的監督。
「當 ChatGPT 於 2022 年 11 月推出時，董事會沒有提前得到通知。我們在 Twitter 上了解到 ChatGPT」，Toner 說道。這聽起來非常不合理，甚至有些荒謬。
這或許是前任董事會與 OpenAI 管理層，特別是奧特曼的矛盾衝突所在。而奧特曼重回 OpenAI 後，不僅恢復了執行長的職務，OpenAI 的董事會也進行了重組。
現任董事會主席 Bret Taylor 迅速就 Toner 在播客中講述的事情做出了回應：
我們對 Toner 女士重新審視這些問題感到失望。董事會的一個獨立委員會與 Wilmer Hale 律師事務所合作，對 2023 年 11 月份的事件進行了廣泛的審查。審查得出的結論是，前任董事會的決定並非基於對產品安全保障、開發速度、OpenAI 的財務或其向投資者、客戶或業務合作伙伴的宣告的擔憂。此外，超過 95% 的員工（包括高階領導層）要求恢復 Sam 的執行長職務並要求前任董事會辭職。我們的重點仍然是繼續前進並追求 OpenAI 的使命，以確保 AGI 造福全人類。
顯然，現任董事會認可支援奧特曼的工作。並且在新成立的安全與保障委員會中，奧特曼仍然處於領導位置。
前安全負責人加入競爭對手 Anthropic
當大家在把目光聚焦到 OpenAI 新成立的安全團隊時，曾經領導過 OpenAI 超級對齊團隊的共同領導者 Jan Leike 宣佈正式加入 OpenAI 競爭對手 Anthropic，繼續從事超級對齊研究。新團隊將致力於可擴充套件監督、從弱到強的泛化以及自動化校準的研究。
OpenAI 超級對齊團隊成立於 2023 年，由 OpenAI 聯合創始人 Ilya Sutskever 與 Leike 共同領導，該團隊的任務是確保人工智慧與其製造者的目標保持一致，而不是做出不可預測的行為並傷害人類。
今年 5 月 14 日， Ilya 發推宣告離職。與 Ilya 同步宣佈離開的還有 Leike。隨著兩位高管離職，OpenAI 的超級對齊團隊已被解散。
Leike 在 X 的一條帖子中解釋了他辭去超級對齊團隊聯合領導職務的原因。他寫道：「相當長一段時間以來，我一直與 OpenAI 領導層關於公司核心優先事項的觀點存在分歧，直到我們最終達到了臨界點。」
Leike 曾經解釋過他加入 OpenAI 的原因，他認為 OpenAI 將是世界上進行 AI 安全研究的最佳場所，但他長期以來一直與 OpenAI 領導層就公司的核心優先事項意見不一，直到最終走到了臨界點。Leike 認為 OpenAI 在追求通用人工智慧 (AGI) 時應該優先考慮安全性。
此外，OpenAI 並未履行去年 7 月宣佈的對超級對齊團隊的承諾。據《財富》雜誌援引知情人士的話報導，該團隊對 GPU 的使用請求一再被拒絕，而且從未接近獲得其承諾的 20% 計算能力預算。
在離開 OpenAI 後的一篇帖子中，Leike 表示：「離開這份工作是我做過的最困難的事情之一，因為我們迫切需要弄清楚如何引導和控制比我們聰明得多的人工智慧系統。」這可能就是 Leike 在短時間內選擇加入 Anthropic 的原因。
自 OpenAI 於 2022 年底推出 ChatGPT 以來，人工智慧安全在整個科技領域迅速受到重視，並引發了生成式人工智慧產品和投資的熱潮。一些業內人士表示擔心，公司在沒有充分考慮潛在社會危害的情況下，過快向公眾釋出強大的人工智慧產品會不會產生巨大的危害。對於這一問題，還沒有統一的答案。但 AI 安全向何處去，值得每一個人認真審視。
參考連結：
https://x.com/TEDTalks/status/1795532752520966364
https://twitter.com/janleike/status/1795497960509448617