沒有博士學位卻開啟了GPT時代，奧特曼盛讚Alec Radford，愛因斯坦級天才

机器之心發表於2025-01-01
GPT奧特曼
《連線》曾在一篇報導中將 Alec Radford 在 OpenAI 扮演的角色，比作 Larry Page 發明 PageRank。PageRank 徹底革新了網際網路搜尋方式，Radford 的工作（特別是在 Transformer 和後來的 GPT 方面的研究）從根本上改變了 AI 語言模型的工作方式。

幾天前，OpenAI 宣佈組織結構調整，裂變成了一家營利性公司和一個非營利組織。與此同時，OpenAI CEO 山姆・奧特曼在 X 上用一個系列推文感謝了 OpenAI 的多位元老。

圖片

之後，他又單獨發了一條推文對一位「愛因斯坦級別的天才」表達了特別感謝：Alec Radford。奧特曼還表示 Radford 是他一直以來最喜歡的人，並指出 AI 領域當今的進步很多都可以追溯到他的研究成果。上個月 20 號，傳出了 Radford 即將離開 OpenAI 進行獨立研究的訊息，詳情可參閱機器之心的報導《剛剛，OpenAI 元老級研究員 Alec Radford 離職，他主導了 GPT-1、GPT-2 的研發》。
圖片
根據谷歌學術的資料，Alec Radford 論文的引用量現在已經超過了 19 萬，並擁有多篇超過 1 萬引用的重要論文。
圖片
事實上，早在一年多以前，就已經有人指出了這位當時還聲名不顯的研究者的巨大貢獻：他是 GPT 原始論文等多篇奠基性研究成果的第一作者！而更讓人驚訝的是，他並沒有博士學位，也沒有碩士學位；並且他的許多研究成果最早都是在 Jupyter Notebook 中完成的。
圖片
新年伊始，Alec Radford 的故事又再一次火遍了 AI 社交網路。人們在談到他時莫不稱頌。
圖片
圖片
圖片
下面我們就來簡單瞭解下這位謙遜的天才的人生故事吧。

Alec Radford 的人生故事

Alec Radford 是自然語言處理和計算機視覺領域的研究者。曾在 OpenAI 擔任機器學習開發者 / 研究員。在此之前，他曾擔任 indico 公司的研究主管。

在 OpenAI 擔任研究員期間，他參與撰寫了多篇關於語言模型生成式預訓練（GPT）的論文，並在 NeurIPS、ICLR、ICML 和 Nature 等著名會議和期刊上發表過許多論文。

他也曾活躍在 X/Twitter 上，在那裡分享他對人工智慧各個領域的見解和觀點。遺憾的是，2021 年 5 月之後他就再未在 X 上現身，最後一條推文是在回覆 Anthropic 的研究者 Simon Kornblith，解釋 GPT-1 層寬度設定為 768 的原因。
圖片
LinkedIn 顯示，2011 年 - 2016 年， Alec Radford 就讀於富蘭克林・W・奧林工程學院，並獲得學士學位。這是一所位於美國馬薩諸塞州尼達姆（Needham）的私立工程學院，以其非常低的錄取率和精英化教育著稱。

該校的課程結構非常獨特，其學術體系「歐林三角」包括科學和工程基礎、創業以及文學。學校也僅提供四種學位：ME（機械工程）、ECE（電子與計算機工程）、CS（電腦科學）、BCE（生物醫藥工程）。

奧林工程學院非常重視實用教育，將知識和實際生活中的挑戰和課題聯絡起來，鼓勵學生追求自己的興趣和激情。

本科時期，Alec Radford 就對機器學習充滿熱情，並與同學一起參加 Kaggle 比賽獲得了成功，最終拿到風投 。2013 年，Alec Radford 和夥伴在宿舍創立了 indico ，為企業提供機器學習解決方案。

作為公司的研究主管，Alec Radford 主要從事識別、開發和改進有前景的影像和文字機器學習技術，並將其從研究階段轉化為更廣泛的行業應用。

在那裡，他進行了生成對抗網路（GAN）相關研究，並提出 DCGAN 以改善 GAN 的可訓練性，這也是 GAN 領域的一個重要突破。

由於波士頓地區在 AI 領域的影響力已被西海岸科技巨頭超越，加上資源限制，2016 年，Radford 選擇加入 OpenAI 。
圖片
他形容這份新工作「類似於加入研究生課程」，有一個開放、低壓力的 AI 研究環境。

Radford 比較低調，不願與媒體接觸。他透過郵件回應了《連線》關於他在 OpenAI 早期工作的提問。他表示，最感興趣的是讓神經網路與人類進行清晰的對話。

他認為，當時的聊天機器人（從 ELIZA 到 Siri 和 Alexa）都存在侷限性。他的目標是探索語言模型在各種任務、設定、領域和場景中的應用可能。

他的第一個實驗是使用 20 億條 Reddit 評論來訓練語言模型，雖然失敗，但 OpenAI 給予了足夠的試錯空間，也成為後續一系列革命性突破的開始，如大家熟知的初代 GPT，還主導了 GPT-2 的研發等。

這些工作為現代大語言模型奠定了重要基礎，以致於《連線》在一篇報導中將 Alec Radford 在 OpenAI 扮演的角色，比作 Larry Page 發明 PageRank。有趣的是， PageRank 雖然是 Larry Page 在史丹佛攻讀博士期間的產物，但他此後再也沒有回去完成博士學位。

不僅如此，Alec Radford 還參與了 GPT-3 論文的撰寫、以及 GPT-4 的預訓練資料和架構研究工作。

2024 年年末，在 OpenAI 賺盡眼球的 12 天連發的最後一天前，Alec Radford 即將離開 OpenAI 的訊息傳出，但沒有任何訊息透露這是否與 OpenAI 的組織結構調整有關。
圖片
遺憾的是，對於他之後的職業計劃，我們所知的僅僅是他將成為一位獨立研究者。或許他將進入大學獲得一個博士學位，也或許他會在沉寂一段時間之後帶著新的震撼性研究成果問世。

不管怎樣，Alec Radford 參與創造的未來正在到來。無論今年是否會如奧特曼曾經預測的那樣實現 AGI，2025 年註定會是 AI 領域至關重要的一年。
圖片

相關文章