大模型111人:谷歌和OpenAI的人才戰爭

ITPUB社群發表於2023-03-07
衡宇 發自 凹非寺
量子位 | 公眾號 QbitAI

當我們圍觀ChatGPT炸開的多場激戰時,還有什麼是暗流下激戰的?

今天要關注的,不是違背“非盈利”初心的OpenAI,也不是商業模式面臨顛覆的谷歌搜尋。把目光從公司層面挪開,看向另一場已經白熱化的戰爭——

藉著的ChatGPT燎原之勢,2月中旬同一天的30分鐘內,就有2位谷歌大腦大模型人才先後官宣入職OpenAI,其中之一Jason Wei是思維鏈(chain-of-thought,CoT)的最早一作。

大模型交鋒背後,谷歌和OpenAI的人才戰爭打得正酣。和動輒上億美元的投融資同樣重要,AI人才也是兵家必爭的財富。

大模型111人:谷歌和OpenAI的人才戰爭

但其實,AI人才流動、被搶奪,早開始在ChatGPT攪動漩渦之前。

GPT系列:8人聯創新公司,成谷歌對戰ChatGPT一步棋

勢如破竹的ChatGPT,積攢了OpenAI從GPT一路迭代至InstructGPT的技術經驗與實力。

ChatGPT基於OpenAI的GPT-3.5創造。2018年和2019年,OpenAI分別推出了1.17億引數的GPT-1和15億引數的GPT-2;2020年,大力出奇跡的GPT-3問世,訓練引數達到1750億,湧現出一些人腦獨特的能力,引起轟動;而後又在2022年初推出全新的InstructGPT模型,只要13億引數,效果就比GPT-3更好。

《紐約時報》披露,原本下一代GPT-4在OpenAI內部幾乎準備就緒,只待釋出;去年11月中旬,高層突然宣佈新任務:兩週後釋出免費聊天機器人應用,代號“Chat with GPT3.5”,這就是今天見到的ChatGPT。

51位作者,其中2人參與3次論文創作

GPT系列共發表了4篇論文,51位作者參與其中。

作者名單中出現最頻繁的是Alec Radford和Ilya Sutskever兩位,均參與GPT-1到3的論文創作。前者是OpenAI的ML研究員,也是indico.io的聯創,谷歌學術上他被引用最多的研究是DC-GAN;後者更為人所熟知,OpenAI聯創之一,也是OpenAI首席科學家,主導了GPT系列以及DALLE系列模型的研發。

另有5人在GPT系列論文中2次貢獻了自己的力量:

大模型111人:谷歌和OpenAI的人才戰爭

51人組成的人才圖鑑,學歷一欄中名校印記俯拾皆是。據不完全統計,出現頻次最多的是MIT和史丹佛大學,曾在耶魯大學、UC伯克利、哈佛大學、牛津大學攻讀學位的人也不在少數。也不乏在這些名校中輾轉求學的人,譬如表格中提到的OpenAI前研究副總裁Dario Amodei,先後就讀於普林斯頓大學和史丹佛大學;再比如InstructGPT背後論文共同作者之一Gretchen Krueger,MIT、哈佛大學、哥倫比亞大學都是他的母校。

出走團隊打造ChatGPT競品對話式AI

毫無疑問,GPT系列背後的51人引領了大語言模型的創新風潮。從GPT系列結束戰鬥後,不少人從OpenAI脫離。除開GPT-3共同作者、哥大博士在讀的Melanie Subbiah本就不屬於OpenAI,50人裡共有16位人才從OpenAI流失

其中8位的最終流向是AI初創公司Anthropic。更準確地說,包括Dario Amodei、GPT-3論文一作Tom B. Brown在內的一批核心人才不滿OpenAI成為微軟附庸——因被注資,OpenAI要使用Azure超算來搞研究,要將技術授權給微軟,甚至要給微軟的投資活動籌集資金,這與OpenAI創立的初衷(關注高階AI安全)相悖。

最終,包括8位GPT系列作者在內,共11名OpenAI前員工怒而離職,於2021年創辦Anthropic,要搞能控制、可解釋的AI,重心放在生成式AI上。

大模型111人:谷歌和OpenAI的人才戰爭出走創辦Anthropic的GPT系作者

1月底,Anthropic開始內測聊天機器人Cladue。同為生成式對話AI,與ChatGPT的同臺競賽不可避免,二者各有千秋,最終測評結果:Claude在12項任務有8項更強。

大模型111人:谷歌和OpenAI的人才戰爭

關於Anthropic的最新訊息讓這家“復仇者聯盟”愈發走到人們熟悉臺前。月初,谷歌向它投資3億多美元(約合人民幣20.3億元),拿下後者約10%的股份。交易條款要求,Anthropic需要從谷歌雲端計算部門購買計算資源。這恰好與3年前,OpenAI接受微軟高達10億美元的注資,將微軟定位獨家雲提供商所呼應。

換句話說,Dario Amodei帶著Anthropic走上了3年前所不齒的OpenAI的老路,接受金主爸爸提供的算力來進行技術開發。現如今,Anthropic最新估值50億美元,除谷歌外,已有的投資人包括Facebook聯創Dustin Moskovitz,谷歌前CEO、現技術顧問Eric Schmidt等人。

大模型111人:谷歌和OpenAI的人才戰爭

也曾有人轉投谷歌門下

OpenAI GPT系作出走16人,Anthropic是他們的主要流向,剩下8人中,有3位第一時間投入谷歌門下

其一是GPT-1的三作Tim Salimans,2018年7月他就履新谷歌大腦,base阿姆斯特丹,擔任職位為高階管理科學家;其二是GPT-2的四作David Luan,2020年9月起他加入谷歌任主管,工作1年多後離職,後來和Transformer論文作者Ashish Vaswani、Niki Parmar一起,創辦了一家叫Adept的公司,目標是創造讓人和計算機能夠協同工作的通用人工智慧;第三位叫a,在2021年3月加入谷歌大腦。

大模型111人:谷歌和OpenAI的人才戰爭

時至今日,Adept和Anthropic兩家AI公司的聲量比不上風頭正盛的OpenAI和其強勁對手DeepMind,不過各自在AI產業界頗有建樹,甚至拿出Claude這種可與ChatGPT一較高下的產品。從這兩家公司的今日成就不難側面看出,GPT系作者是的確不是等閒之輩。

LaMDA:1/4成員只有本科學歷

梳理完GPT系論文作者現狀,鏡頭轉向谷歌的LaMDA論文背後團隊,作者共60名。和GPT系作者團一樣,LaMDA作者團隊同樣不乏耀眼的名校背景,史丹佛校友最多,統共有6人;其次是哥倫比亞大學,有三人曾在哥大就讀;接著是浙江大學、比拉科技學院、杜克大學、上海交通大學、耶魯大學、臺灣大學,這6所大學出現了2次。

不過有一說一,相比較而言,LaMDA團隊的名校光環更少,成員的學校背景中常出現阿比林基督教大學、伊比利亞美洲大學、哈丁西蒙斯大學等類似的非頂尖名校。

15位作者只有本科學歷,多數人出身計算機專業

還有三個特點在LaMDA作者履歷中顯現。

第一,至少有17人在某個求學階段主修學科為計算機工程/科學,計算機學科背景貫穿求學始終的人也不在少數,像Hongrae Lee,先是在首爾國立大學拿下電腦科學本碩學歷後,又赴往哥倫比亞大學攻讀電腦科學博士學位。

第二,據不完全統計,至少有15位LaMDA論文作者只擁有本科學歷,這些人中有一半就讀的專業是計算機工程/科學。

第三,有7位LaMDA論文作者在谷歌工作了10年以上,資歷最老的是Igor Krivokon,截至今年2月,他在谷歌的工作年限為19年又5個月;Will Rusch也在谷歌工作了19年,從美國南加州大學電氣工程系畢業後,他就成為了谷歌的一份子,直到今天。

大模型111人:谷歌和OpenAI的人才戰爭
Igor Krivokon

上文提到,有5%的GPT系作者跑到了對家谷歌幹活,相比之下,LaMDA論文作者,沒有一位跳槽到對家OpenAI,很穩。那麼,究竟是什麼樣的公司,能夠得到出走的LaMDA論文作者的法眼?

答案是兩家AI初創公司,一家是Inflection AI,另一家是Character.AI。

出走後,成AI初創公司Inflection AI&Character.AI創始團隊

先來聊聊Inflection AI,這家機器學習初創公司是LaMDA作者中的Joe Fenton,和從OpenAI出來的Rewon Child(3位投奔谷歌的出走成員之一)共同創立,創始團隊中還有LinkedIn聯創Reid Hoffman和DeepMind創始成員、谷歌人工智慧產品與政策副總裁Mustafa Suleyman,陣容十分豪華。LaMDA論文作者,曾擔任谷歌研究工程師的Maarten Bosma在公司成立後也被挖走,現為Inflection AI技術人員。

據瞭解,這家公司的總體目標是利用人工智慧幫助人類與計算機“對話”。去年5月,Inflection AI獲得了2.25億美元的A輪融資,資金來源尚不清楚,公司估值超過12億美金

大模型111人:谷歌和OpenAI的人才戰爭

以及,現有5名LaMDA論文作者進入Character.AI就職。

Character.AI的創始人Noam Shazeer是谷歌前首席軟體工程師,不僅參與了LaMDA的研究,還是Transformer論文作者之一。杜克大學本科畢業後,2000年年底,Noam Shazeer加入谷歌,是谷歌最重要的早期員工之一。雖然中途一度離職,但截至他2021年10月離職創辦新公司,共在谷歌工作了17年又5個月。Character.AI的現任總裁也是LaMDA論文作者,Daniel De Freitas,加入谷歌前,他曾在微軟Bing做軟體工程師。

實際上,LamDA論文發表時,Noam Shazeer和Daniel De Freitas都已經從谷歌離職,開始籌備Character.AI了。據報導,Character AI已經建立了一個基於LaMDA的神經語言模型聊天機器人Web應用程式,能夠生成類似人類的文字響應並參與上下文對話。

大模型111人:谷歌和OpenAI的人才戰爭

額外提一點,除LaMDA背後作者外,谷歌的大模型人才近期流動也都比較頻繁。先不用說BERT模型四位作者之一,被稱為BERT之父的Jacob Devlin今年1月剛剛離開谷歌加入OpenAI,看看去年ChatGPT釋出頁面的致謝名單裡,就有Barret Zoph等5個人,都是谷歌前員工,他們在ChatGPT問世前加入OpenAI,在調整和準備ChatGPT中發揮了關鍵作用。此外,The Information訊息披露,進入今年1月,又有至少4名谷歌大腦成員加入OpenAI。

危急存亡之秋,谷歌嗅到了人才流失的危險,相繼推出了一系列舉措。除卻重金投資OpenAI出走團隊打造的Anthropic外,其旗下專注語言大模型領域的“藍移團隊”(Blueshift Team)宣佈,正式加入DeepMind,旨在共同提升LLM能力——先進行陣列自行調整,集中內部力量,迎接OpenAI炮火。

大模型111人:谷歌和OpenAI的人才戰爭

人才大戰裡的華人面孔

今年年初,大模型人才的跳槽愈發頻繁。從谷歌加入OpenAI的谷歌大腦4人之一中,包括華人顧世翔(Shane Gu),谷歌大腦日本團隊前成員,劍橋大學博士,本科在多倫多大學師從三巨頭之一Hinton。去年5月,只要加上一句“讓我們一步一步地思考”就能讓GPT-3做數學題的準確率暴漲61%這事,就是顧世翔參與的研究發現。

大模型111人:谷歌和OpenAI的人才戰爭

像他這樣,在谷歌和OpenAI的人才爭奪大戰中出現的華人面孔還有多少?據不完全統計,共有16人,LaMDA論文作者裡就有14人,佔87.5%,也就是說華人面孔佔據了大模型111人中的14.4%。

大模型111人:谷歌和OpenAI的人才戰爭

這裡要著重提2個人。一位是美籍華人Ed Chi,1973年出生,現為谷歌傑出科學家,早年以應用資訊氣味理論預測網站可用性而聞名。

從美國明尼蘇達大學雙城分校取得碩士學位後,Ed Chi於1997年至2011年期間,在帕洛阿爾託研究中心(PARC)擔任研究科學家。2011年,Ed Chi以高階研究科學家的身份從PARC離職,成為谷歌的一名研究科學家。2012年,他擔任任人機互動領域最負盛名的學術會議CHI的技術專案聯合主席。2017年,Ed Chi被提升為谷歌首席科學家。

大模型111人:谷歌和OpenAI的人才戰爭

另一位要提到的是歐陽龍(Long Ouyang),他參與了與ChatGPT相關的7大技術專案中的4項研究,包括InstructGPT、webGPT、RLHF和ChatGPT,是InstructGPT論文的一作,RLHF論文的第二作者。

大模型111人:谷歌和OpenAI的人才戰爭

革命性科技浪潮背後,人才頻繁流動

梳理後不難看到,谷歌和OpenAI雖為大模型重鎮,但人才流動其實是很尋常的事。僅僅在本文涉及的人員裡,GPT-2論文四作和Transformer論文一作和共同創辦的Adept,不到半年就亮出了新公司的首個大模型ACT-1;Anthropic更是憑藉對話機器人Cluade成為谷歌和OpenAI大戰中的一把利刃。

大模型111人:谷歌和OpenAI的人才戰爭大模型人才從OpenAI和谷歌出走後,創立的AI初創公司

總體而言,爆炸性的ChatGPT讓大模型背後的人才更加收到世人關注,對這些人來說,ChatGPT帶來的風口也是他們必須迎頭面對的挑戰。

由此提出一個思考:做類ChatGPT產品,中國的優勢在哪裡?

很大程度上,構築大模型堆引數、堆資料的大力出奇跡之道,其實是中國團隊向來擅長的事情。但不可否認,小公司負擔不起高昂的天價成本,大公司需要綜合考慮整體戰略,種種因素,從不同角度成為一箇中國版ChatGPT誕生的外在桎梏。

如此一來,破除外在束縛需用巧力。在演算法、資料等都存在差距的現實條件下,人才,或許能成為這場轟轟烈烈全球擂臺賽裡的破局點。大模型背後的每一個參與者和理念、資料、技術擁有同等的重要價值。中國不缺人,更不缺人才,從GPT系論文和LaMDA論文背後的華人作者數量更可以看到AI人才的實力,人才的聚集能形成人才規模核心競爭力。

The battle of AGI never ends!埋頭研究,伸手搶人的現象,已經在國內出現。想招人的,想找工作的,都可以開始準備了。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024420/viewspace-2938391/,如需轉載,請註明出處,否則將追究法律責任。

相關文章