大模型111人:谷歌和OpenAI的人才戰爭
衡宇 發自 凹非寺
量子位 | 公眾號 QbitAI
當我們圍觀ChatGPT炸開的多場激戰時,還有什麼是暗流下激戰的?
今天要關注的,不是違背“非盈利”初心的OpenAI,也不是商業模式面臨顛覆的谷歌搜尋。把目光從公司層面挪開,看向另一場已經白熱化的戰爭——
藉著的ChatGPT燎原之勢,2月中旬同一天的30分鐘內,就有2位谷歌大腦大模型人才先後官宣入職OpenAI,其中之一Jason Wei是思維鏈(chain-of-thought,CoT)的最早一作。
大模型交鋒背後,谷歌和OpenAI的人才戰爭打得正酣。和動輒上億美元的投融資同樣重要,AI人才也是兵家必爭的財富。
但其實,AI人才流動、被搶奪,早開始在ChatGPT攪動漩渦之前。
GPT系列:8人聯創新公司,成谷歌對戰ChatGPT一步棋
勢如破竹的ChatGPT,積攢了OpenAI從GPT一路迭代至InstructGPT的技術經驗與實力。
ChatGPT基於OpenAI的GPT-3.5創造。2018年和2019年,OpenAI分別推出了1.17億引數的GPT-1和15億引數的GPT-2;2020年,大力出奇跡的GPT-3問世,訓練引數達到1750億,湧現出一些人腦獨特的能力,引起轟動;而後又在2022年初推出全新的InstructGPT模型,只要13億引數,效果就比GPT-3更好。
《紐約時報》披露,原本下一代GPT-4在OpenAI內部幾乎準備就緒,只待釋出;去年11月中旬,高層突然宣佈新任務:兩週後釋出免費聊天機器人應用,代號“Chat with GPT3.5”,這就是今天見到的ChatGPT。
51位作者,其中2人參與3次論文創作
GPT系列共發表了4篇論文,51位作者參與其中。
作者名單中出現最頻繁的是Alec Radford和Ilya Sutskever兩位,均參與GPT-1到3的論文創作。前者是OpenAI的ML研究員,也是indico.io的聯創,谷歌學術上他被引用最多的研究是DC-GAN;後者更為人所熟知,OpenAI聯創之一,也是OpenAI首席科學家,主導了GPT系列以及DALLE系列模型的研發。
另有5人在GPT系列論文中2次貢獻了自己的力量:
51人組成的人才圖鑑,學歷一欄中名校印記俯拾皆是。據不完全統計,出現頻次最多的是MIT和史丹佛大學,曾在耶魯大學、UC伯克利、哈佛大學、牛津大學攻讀學位的人也不在少數。也不乏在這些名校中輾轉求學的人,譬如表格中提到的OpenAI前研究副總裁Dario Amodei,先後就讀於普林斯頓大學和史丹佛大學;再比如InstructGPT背後論文共同作者之一Gretchen Krueger,MIT、哈佛大學、哥倫比亞大學都是他的母校。
出走團隊打造ChatGPT競品對話式AI
毫無疑問,GPT系列背後的51人引領了大語言模型的創新風潮。從GPT系列結束戰鬥後,不少人從OpenAI脫離。除開GPT-3共同作者、哥大博士在讀的Melanie Subbiah本就不屬於OpenAI,50人裡共有16位人才從OpenAI流失。
其中8位的最終流向是AI初創公司Anthropic。更準確地說,包括Dario Amodei、GPT-3論文一作Tom B. Brown在內的一批核心人才不滿OpenAI成為微軟附庸——因被注資,OpenAI要使用Azure超算來搞研究,要將技術授權給微軟,甚至要給微軟的投資活動籌集資金,這與OpenAI創立的初衷(關注高階AI安全)相悖。
最終,包括8位GPT系列作者在內,共11名OpenAI前員工怒而離職,於2021年創辦Anthropic,要搞能控制、可解釋的AI,重心放在生成式AI上。
△出走創辦Anthropic的GPT系作者
1月底,Anthropic開始內測聊天機器人Cladue。同為生成式對話AI,與ChatGPT的同臺競賽不可避免,二者各有千秋,最終測評結果:Claude在12項任務中有8項更強。
關於Anthropic的最新訊息讓這家“復仇者聯盟”愈發走到人們熟悉臺前。月初,谷歌向它投資3億多美元(約合人民幣20.3億元),拿下後者約10%的股份。交易條款要求,Anthropic需要從谷歌雲端計算部門購買計算資源。這恰好與3年前,OpenAI接受微軟高達10億美元的注資,將微軟定位獨家雲提供商所呼應。
換句話說,Dario Amodei帶著Anthropic走上了3年前所不齒的OpenAI的老路,接受金主爸爸提供的算力來進行技術開發。現如今,Anthropic最新估值50億美元,除谷歌外,已有的投資人包括Facebook聯創Dustin Moskovitz,谷歌前CEO、現技術顧問Eric Schmidt等人。
也曾有人轉投谷歌門下
OpenAI GPT系作出走16人,Anthropic是他們的主要流向,剩下8人中,有3位第一時間投入谷歌門下。
其一是GPT-1的三作Tim Salimans,2018年7月他就履新谷歌大腦,base阿姆斯特丹,擔任職位為高階管理科學家;其二是GPT-2的四作David Luan,2020年9月起他加入谷歌任主管,工作1年多後離職,後來和Transformer論文作者Ashish Vaswani、Niki Parmar一起,創辦了一家叫Adept的公司,目標是創造讓人和計算機能夠協同工作的通用人工智慧;第三位叫a,在2021年3月加入谷歌大腦。
時至今日,Adept和Anthropic兩家AI公司的聲量比不上風頭正盛的OpenAI和其強勁對手DeepMind,不過各自在AI產業界頗有建樹,甚至拿出Claude這種可與ChatGPT一較高下的產品。從這兩家公司的今日成就不難側面看出,GPT系作者是的確不是等閒之輩。
LaMDA:1/4成員只有本科學歷
梳理完GPT系論文作者現狀,鏡頭轉向谷歌的LaMDA論文背後團隊,作者共60名。和GPT系作者團一樣,LaMDA作者團隊同樣不乏耀眼的名校背景,史丹佛校友最多,統共有6人;其次是哥倫比亞大學,有三人曾在哥大就讀;接著是浙江大學、比拉科技學院、杜克大學、上海交通大學、耶魯大學、臺灣大學,這6所大學出現了2次。
不過有一說一,相比較而言,LaMDA團隊的名校光環更少,成員的學校背景中常出現阿比林基督教大學、伊比利亞美洲大學、哈丁西蒙斯大學等類似的非頂尖名校。
15位作者只有本科學歷,多數人出身計算機專業
還有三個特點在LaMDA作者履歷中顯現。
第一,至少有17人在某個求學階段主修學科為計算機工程/科學,計算機學科背景貫穿求學始終的人也不在少數,像Hongrae Lee,先是在首爾國立大學拿下電腦科學本碩學歷後,又赴往哥倫比亞大學攻讀電腦科學博士學位。
第二,據不完全統計,至少有15位LaMDA論文作者只擁有本科學歷,這些人中有一半就讀的專業是計算機工程/科學。
第三,有7位LaMDA論文作者在谷歌工作了10年以上,資歷最老的是Igor Krivokon,截至今年2月,他在谷歌的工作年限為19年又5個月;Will Rusch也在谷歌工作了19年,從美國南加州大學電氣工程系畢業後,他就成為了谷歌的一份子,直到今天。
△Igor Krivokon
上文提到,有5%的GPT系作者跑到了對家谷歌幹活,相比之下,LaMDA論文作者,沒有一位跳槽到對家OpenAI,很穩。那麼,究竟是什麼樣的公司,能夠得到出走的LaMDA論文作者的法眼?
答案是兩家AI初創公司,一家是Inflection AI,另一家是Character.AI。
出走後,成AI初創公司Inflection AI&Character.AI創始團隊
先來聊聊Inflection AI,這家機器學習初創公司是LaMDA作者中的Joe Fenton,和從OpenAI出來的Rewon Child(3位投奔谷歌的出走成員之一)共同創立,創始團隊中還有LinkedIn聯創Reid Hoffman和DeepMind創始成員、谷歌人工智慧產品與政策副總裁Mustafa Suleyman,陣容十分豪華。LaMDA論文作者,曾擔任谷歌研究工程師的Maarten Bosma在公司成立後也被挖走,現為Inflection AI技術人員。
據瞭解,這家公司的總體目標是利用人工智慧幫助人類與計算機“對話”。去年5月,Inflection AI獲得了2.25億美元的A輪融資,資金來源尚不清楚,公司估值超過12億美金。
以及,現有5名LaMDA論文作者進入Character.AI就職。
Character.AI的創始人Noam Shazeer是谷歌前首席軟體工程師,不僅參與了LaMDA的研究,還是Transformer論文作者之一。杜克大學本科畢業後,2000年年底,Noam Shazeer加入谷歌,是谷歌最重要的早期員工之一。雖然中途一度離職,但截至他2021年10月離職創辦新公司,共在谷歌工作了17年又5個月。Character.AI的現任總裁也是LaMDA論文作者,Daniel De Freitas,加入谷歌前,他曾在微軟Bing做軟體工程師。
實際上,LamDA論文發表時,Noam Shazeer和Daniel De Freitas都已經從谷歌離職,開始籌備Character.AI了。據報導,Character AI已經建立了一個基於LaMDA的神經語言模型聊天機器人Web應用程式,能夠生成類似人類的文字響應並參與上下文對話。
額外提一點,除LaMDA背後作者外,谷歌的大模型人才近期流動也都比較頻繁。先不用說BERT模型四位作者之一,被稱為BERT之父的Jacob Devlin今年1月剛剛離開谷歌加入OpenAI,看看去年ChatGPT釋出頁面的致謝名單裡,就有Barret Zoph等5個人,都是谷歌前員工,他們在ChatGPT問世前加入OpenAI,在調整和準備ChatGPT中發揮了關鍵作用。此外,The Information訊息披露,進入今年1月,又有至少4名谷歌大腦成員加入OpenAI。
危急存亡之秋,谷歌嗅到了人才流失的危險,相繼推出了一系列舉措。除卻重金投資OpenAI出走團隊打造的Anthropic外,其旗下專注語言大模型領域的“藍移團隊”(Blueshift Team)宣佈,正式加入DeepMind,旨在共同提升LLM能力——先進行陣列自行調整,集中內部力量,迎接OpenAI炮火。
人才大戰裡的華人面孔
今年年初,大模型人才的跳槽愈發頻繁。從谷歌加入OpenAI的谷歌大腦4人之一中,包括華人顧世翔(Shane Gu),谷歌大腦日本團隊前成員,劍橋大學博士,本科在多倫多大學師從三巨頭之一Hinton。去年5月,只要加上一句“讓我們一步一步地思考”就能讓GPT-3做數學題的準確率暴漲61%這事,就是顧世翔參與的研究發現。
像他這樣,在谷歌和OpenAI的人才爭奪大戰中出現的華人面孔還有多少?據不完全統計,共有16人,LaMDA論文作者裡就有14人,佔87.5%,也就是說華人面孔佔據了大模型111人中的14.4%。
這裡要著重提2個人。一位是美籍華人Ed Chi,1973年出生,現為谷歌傑出科學家,早年以應用資訊氣味理論預測網站可用性而聞名。
從美國明尼蘇達大學雙城分校取得碩士學位後,Ed Chi於1997年至2011年期間,在帕洛阿爾託研究中心(PARC)擔任研究科學家。2011年,Ed Chi以高階研究科學家的身份從PARC離職,成為谷歌的一名研究科學家。2012年,他擔任任人機互動領域最負盛名的學術會議CHI的技術專案聯合主席。2017年,Ed Chi被提升為谷歌首席科學家。
另一位要提到的是歐陽龍(Long Ouyang),他參與了與ChatGPT相關的7大技術專案中的4項研究,包括InstructGPT、webGPT、RLHF和ChatGPT,是InstructGPT論文的一作,RLHF論文的第二作者。
革命性科技浪潮背後,人才頻繁流動
梳理後不難看到,谷歌和OpenAI雖為大模型重鎮,但人才流動其實是很尋常的事。僅僅在本文涉及的人員裡,GPT-2論文四作和Transformer論文一作和共同創辦的Adept,不到半年就亮出了新公司的首個大模型ACT-1;Anthropic更是憑藉對話機器人Cluade成為谷歌和OpenAI大戰中的一把利刃。
△大模型人才從OpenAI和谷歌出走後,創立的AI初創公司
總體而言,爆炸性的ChatGPT讓大模型背後的人才更加收到世人關注,對這些人來說,ChatGPT帶來的風口也是他們必須迎頭面對的挑戰。
由此提出一個思考:做類ChatGPT產品,中國的優勢在哪裡?
很大程度上,構築大模型堆引數、堆資料的大力出奇跡之道,其實是中國團隊向來擅長的事情。但不可否認,小公司負擔不起高昂的天價成本,大公司需要綜合考慮整體戰略,種種因素,從不同角度成為一箇中國版ChatGPT誕生的外在桎梏。
如此一來,破除外在束縛需用巧力。在演算法、資料等都存在差距的現實條件下,人才,或許能成為這場轟轟烈烈全球擂臺賽裡的破局點。大模型背後的每一個參與者和理念、資料、技術擁有同等的重要價值。中國不缺人,更不缺人才,從GPT系論文和LaMDA論文背後的華人作者數量更可以看到AI人才的實力,人才的聚集能形成人才規模核心競爭力。
The battle of AGI never ends!埋頭研究,伸手搶人的現象,已經在國內出現。想招人的,想找工作的,都可以開始準備了。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024420/viewspace-2938391/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- OpenAI深夜突發SearchGPT!進軍大模型搜尋,谷歌、Perplexity危OpenAIGPT大模型谷歌
- 亞馬遜、谷歌和微軟寸土必爭的新戰場亞馬遜谷歌微軟
- 昨晚的「雲端計算春晚」,大模型、晶片連發,比OpenAI、谷歌上新都猛大模型晶片OpenAI谷歌
- OpenAI和谷歌分別釋出重大更新OpenAI谷歌
- 外媒:OpenAI 、Anthropic、谷歌新模型表現均不及預期OpenAI谷歌模型
- 谷歌和Facebook正在吸走歐洲的人才谷歌
- 騰訊網易海外的 3A 遊戲人才爭奪戰,26名大將收入囊中遊戲
- 理解 OpenAI 的 CLIP 模型OpenAI模型
- 谷歌、OpenAI學者談AI:語言模型正在努力「攻克」數學谷歌OpenAI模型
- 如何呼叫openai的TTS模型OpenAITTS模型
- Mistral開源8X22B大模型,OpenAI更新GPT-4 Turbo視覺,都在欺負谷歌大模型OpenAIGPT視覺谷歌
- 全球人才競爭:吸引國際學生的國家戰略比較
- LLM大模型:deepspeed實戰和原理解析大模型
- pydantic+openai+json: 控制大模型輸出的最佳正規化OpenAIJSON大模型
- OpenAI、螞蟻集團、谷歌、科大訊飛等聯合編制大模型安全國際標準,已正式釋出OpenAI谷歌大模型
- 3100名谷歌員工聯名上書,抵制與五角大樓合作:不想做戰爭生意谷歌
- 十萬人的大戰爭:策略網遊發展史
- OpenAI Sora真的有自己的物理模型嗎?OpenAISora模型
- 谷歌可能要搞大動作:發力搞晶片和蘋果A系列展開競爭谷歌晶片蘋果
- 重磅:谷歌釋出最強大AI模型【Google Gemini】谷歌AI模型Go
- Moka CTO 劉洪澤:大模型時代,組織和人才結構會迎來新的變化大模型
- 谷歌和OpenAI研發新工具,深入瞭解AI如何識別圖片谷歌OpenAI
- Epic 大戰谷歌蘋果,未必只因貪婪谷歌蘋果
- 《使命召喚:現代戰爭》的進步和反思
- 上海遊戲圈2021人才爭奪戰:歡迎來到地獄模式遊戲模式
- OpenAI深夜丟炸彈硬槓谷歌搜尋OpenAI谷歌
- 挑戰OpenAI的新模型免費上線,40%計算量效能逼近GPT-4OpenAI模型GPT
- 大戰爭起源譚:任天堂戰爭系列雜談(上):橫井軍平及哈德森時期
- AI 大模型企業應用實戰(10)-LLMs和Chat ModelsAI大模型
- 挑戰拯救痴心“舔狗”,我和大模型都盡力了大模型
- 任天堂戰爭系列雜談下:戰爭的繼承者們繼承
- ChatGPT確實會看人下菜!OpenAI官方報告揭示大模型的刻板印象ChatGPTOpenAI大模型
- 谷歌與ChatGPT展開直接競爭谷歌ChatGPT
- INSEAD:2023年全球人才競爭力指數
- 2019西安海歸人才競爭力報告
- OpenAI推出ChatGPT對話式AI模型OpenAIChatGPT模型
- 全面突圍,谷歌昨晚更新了一大波大模型產品谷歌大模型
- OpenAI大改下代大模型方向,scaling law撞牆?AI社群炸鍋了OpenAI大模型