剛剛,OpenAI安全副總裁、北大校友Lilian Weng宣佈離職,有時間寫部落格了
机器之心發表於2024-11-09
翁荔的技術部落格深入、細緻,具有前瞻性,被很多 AI 研究者視為重要的參考資料。如今,她離開了 OpenAI,開啟新的征程。而且她表示,之後可能有更多時間頻繁更新部落格。
自從 Sam Altman 重新執掌 OpenAI 以來,該公司就陷入了持續不斷的高管離職潮中。雖然近段時間有些外部新高管加入,但很顯然這個離職潮仍未結束。就在剛剛,OpenAI 安全系統團隊負責人翁荔(Lilian Weng)在 X 上宣佈將離開已經工作了近 7 年的 OpenAI。同時,她還公開分享了發給團隊的離職信,不過其中並未明確說明她接下來的職業計劃。推文釋出後,OpenAI 內外的一些知名人士為其送上了祝福,包括著名研究科學家 Noam Brown、OpenAI 首席資訊保安官 Dane Stuckey、思維鏈提出者 Jason Wei 等等。當然,許多網友也紛紛送上了自己的祝福,畢竟她不僅在 OpenAI 推動了安全相關的研究和實踐,偶爾更新的部落格 Lil’Log 也實實在在地幫助了很多人。Lilian Weng 部落格地址:https://lilianweng.github.io/我做出了離開 OpenAl 的艱難決定。11 月 15 日將是我在辦公室的最後一天。OpenAl 是我成長為科學家和團隊領導者的地方,我將永遠珍惜與我一路共事和結交的朋友在一起的時光。OpenAl 團隊一直是我的知己、老師,也是我身份認同的一部分。我還記得 2017 年 OpenAl 的使命讓我多麼著迷,一群人夢想著一個不可能實現的科幻未來。在這裡,我一開始研究的是全棧機器人難題 —— 從深度強化學習演算法到感知再到韌體 —— 目標是教會單臺機械手如何解決魔方問題。整個團隊花了兩年時間,但我們最終做到了。當 OpenAl 進入 GPT 正規化,我們開始探索將最佳 AI 模型部署到現實世界的方法時,我組建了第一個應用研究(Applied Research)團隊,推出了微調 APl、嵌入 APl 和稽核端點的初始版本,為應用安全工作奠定了基礎,併為許多早期 API 客戶提供了新的解決方案。GPT-4 釋出後,我被要求接受一項新挑戰,重新考慮 OpenAl 安全系統的願景,並將工作集中在一個擁有完整安全椎棧的團隊之下。那是我曾做過的最困難、壓力最大又最激動人心的事情之一。現在,安全系統(Satety Systems)團隊有超過 80 位出色的科學家、工程師、產品經理、政策專家,而且我為我們作為一個團隊所取得的一切成就感到非常自豪。我們一起成為了每次釋出的基石 —— 從 GPT-4 及其視覺和 turbo 版本到 GPT Store、語音功能和 o1。我們在訓練這些模型使其既強大又負責任方面所做的工作為行業樹立了新的標準。我為我們在 o1-preview 模型方面取得的最新成就感到特別自豪,它是我們迄今為止最安全的模型,在保持其實用性的同時,表現出對越獄攻擊的卓越抵抗力。- 我們訓練模型使其明白,透過遵循一套定義明確的模型安全行為政策,可以讓其很好地拒絕敏感或不安全的請求,包括何時拒絕或不拒絕,從而在安全性和實用性之間取得良好的平衡。
- 在每次模型釋出時,我們都提高了其對抗穩健性,包括防禦越獄攻擊、指令層次結構以及透過推理大幅提升穩健性。我們在透明度方面的承諾都已體現在我們詳細的模型系統卡中。
- 我們開發了業界領先的具有多模態能力的稽核模型,並免費分享給了公眾。我們目前在更通用的監控框架和增強的安全推理能力方面的工作將為更多的安全工作流提供支援。
- 我們為安全資料記錄、指標、儀表板、主動學習管道、分類器部署、推理時間過濾和全新的快速響應系統建立了工程開發基礎。
回顧我們所取得的成就,我為安全系統團隊的每個人都感到驕傲,我非常有信心團隊將繼續蓬勃發展。我愛你們❤️。現在,在 OpenAl 工作了 7 年後,我準備重新開始並探索一些新東西。OpenAl 正處於火箭般的增長軌跡上,我只希望這裡的每個人都一切順利。附言:我的部落格還在,會繼續下去。我可能很快就會有時間更頻繁地更新它,也可能會有更多時間來程式設計;)Lilian Weng 是 OpenAI 華人科學家,她 2018 年加入 OpenAI,參與了 GPT-4 專案的預訓練、強化學習 & 對齊、模型安全等方面的工作。她本科畢業於北大,曾前往香港大學進行短期交流,博士畢業於印第安納大學伯明頓分校。根據領英資料顯示,Lilian Weng 在 OpenAI 已經工作了近 7 年時間,擔任安全研究副總裁一職。2021 年 - 2023 年工作期間,Lilian Weng 建立並領導了應用人工智慧研究團隊,包括產品研究、合作伙伴研究和應用安全,從而使得 OpenAI 的 API 更強大、更實用、更安全。之前,她還是 OpenAI 機器人團隊的技術主管,專注於訓練關於機器人任務的演算法,如教機械手如何解決魔方、旋轉方塊等。在加入 OpenAI 之前,她還在 Facebook、Dropbox 從事軟體工程和資料科學方面的工作。Google Scholar 顯示,Lilian Weng 論文引用量超過 13000 多次。閒暇時間,Lilian Weng 還寫了一些關於 AI 的部落格文章,她的部落格深入、細緻,具有前瞻性,被很多 AI 研究者視為重要的參考資料(見文末「擴充套件閱讀」)。感興趣的讀者可以前去閱讀。- 《Sora 之後,OpenAI Lilian Weng 親自撰文教你從頭設計影片生成擴散模型》
- 《OpenAI 安全系統負責人長文梳理:大模型的對抗攻擊與防禦》
- 《大模型自主智慧體爆火,OpenAI 也在暗中觀察、發力,這是內部人的分析部落格》
- 《為記憶體塞不下 Transformer 犯愁?OpenAI 應用 AI 研究負責人寫了份指南》
- 《關於 Prompt Engineering 你該瞭解啥?OpenAI 應用研究負責人幫你梳理了》
- 《OpenAI Lilian Weng 萬字長文解讀 LLM 幻覺:從理解到克服》