創業一年半，胖了30斤，AI大佬感嘆：還是回谷歌好
机器之心發表於2024-11-26
「由於工作強度和不健康的生活方式，我已胖了 15 公斤。」本週一，知名 AI 學者、前谷歌大腦高階研究科學家 Yi Tay 在短短一年半的創業之後官宣回到谷歌，他顯得很高興。在初創企業世界探索了一年半之後，我決定迴歸我研究事業的出發點。我將回到谷歌 DeepMind 從事人工智慧研究。我很高興能探索與 LLM 相關的令人興奮的研究方向，並找到改變研究遊戲規則的新方法。我將以高階研究科學家的身份向我之前的經理 Quoc Le 彙報工作。
Yi Tay 這次回到谷歌，成為了 DeepMind 旗下的一名高階研究員。此前，他是創業公司 Reka AI 的首席科學家和聯合創始人。而在成為這家初創公司聯合創始人之前，他是 Google Brain 的高階研究員，從事大型語言模型和人工智慧研究。再往前，他是 Google Research 美國研究團隊的技術主管，負責 Transformer 架構和擴充套件。創辦 Reka 之前，在谷歌大腦工作的 3 年多的時間裡，他總共參與撰寫了大約 45 篇論文，是其中 16 篇的一作。一作論文包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等。很多知名的大模型背後都有他的貢獻，包括 PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI、MUM 等等。然而就是這樣一位科研牛人，出去創業不久之後也表示自己「悟」了。AI 領域的創業究竟有多卷？Yi Tay 在回看這段經歷之餘，分享了在短短一年多創業時間裡他的一些工作、生活瞬間。在最新的一篇部落格中，Yi Tay 對他近一年半的經歷進行了覆盤。我很感謝在加入 Reka 並與他人共同建立 Reka 的過程中學到和經歷的一切。在技術上，我學到了很多谷歌之外的基礎架構知識，學會了使用 Pytorch/GPU 和其他外部基礎架構。我和 Reka 創始團隊的其他成員一起，還以成本最優的方式建立了非常好的模型。我還學會了如何應對不可靠的 GPU、供應商和計算資源（參考機器之心報導：《「還是谷歌好」，離職創業一年，我才發現訓練大模型有這麼多坑》）。基於我的經驗，我還在 WebConf LLM 日主題演講和越南 GenAI 峰會上發表了技術、反思和個人演講。此外，我還要特別感謝 swyx 在 latentspace pod 上邀請我講述我的探險經歷，以及 TechInAsia 為我提供的有趣的爐邊談話。同時，作為初創企業的聯合創始人，我還經歷了許多有趣的事件，如果我一直待在谷歌的話，我永遠也不會有機會經歷這些。這是一次大開眼界的經歷。我學到了很多關於初創企業、業務和從頭開始建立公司的過程的知識。儘管如此，我仍然更認同自己是一名科學家 / 研究員，因此我決定迴歸本源。我為我們取得的成就感到驕傲，尤其是在 Reka 的早期。五月份，我們的 Reka Core 在 Lmsys 上首次進入前五名。實際模型排名第 7，我們實現了超越 GPT-4 早期版本的目標。與其他實驗室相比，我們擁有的資源（資金、計算和人力）要少得多，因此我們的成績令人印象深刻。我們籌集了 1 億多美元的 lifetime funding，這與其他團隊相比仍然相對較少。此外，這還是由一個不到 15 人的技術團隊完成的。對個人來說，這又是一段神經緊張的時期，尤其是在我開始創業之旅時，也是我離開谷歌之後，我和妻子即將迎來我們的第一個孩子。為了同時兼顧這麼多事情，我的身體和精神健康都受到了很大的影響，由於工作強度和不健康的生活方式，我的身體胖了 15 公斤。好的一面是，我現在正積極努力地調養自己，使自己恢復到完全健康的狀態，也許下次我還會寫一篇關於我的這段療傷經歷的文章。對我來說，這是一次狂野而有意義的旅程。我感謝大家給了我這段美妙的旅程。我非常享受與大家共事的過程，也非常享受在杜拜、京都和巴厘島等有趣的地方舉行的團隊活動。我有過一段美好的時光，我相信公司會在 Reka 僱用的這麼多有才華、有能力的人的幫助下發展得很好！這可能有點隨意，但對我個人來說，放棄舒適的生活環境而去創業真的很可怕。我很感謝在這段時間裡一直與我保持聯絡的所有谷歌朋友。即使在我轉型成為一名 Xoogler 並更多地融入初創企業生活的過程中，我也為擁有這樣一個支援網路而感到幸運。特別要感謝（排名不分先後）Vinh、Derek、Denny、Steven、Siamak、Mostafa、Don、Divy 和 Quoc，還有 Xoogler 的其他朋友，如 Jason、Jerry、Hyung Won 和 Afroz，他們在我離開後仍保持聯絡。有趣的是，在這段時間裡，我和你們中的很多人都見了面！在新加坡的某個時刻，我還和 Derek、Vinh、Jason、Jerry、Quoc、Divy、Sanket、Swaroop 和 Neil 一起玩耍過。此外，邀請我去越南演講的 Thang Luong 也非常好！感謝大家對我的熱情 / 支援，感謝大家低調地提醒我應該回來。最後，也是最重要的一點，我感謝 Quoc 在這 1 年半的時間裡對我的關心和友誼；感謝 Jeff Dean 在新加坡與我共進晚餐（並提醒我谷歌很棒！）；感謝我的招聘人員 Katelyn 在這 1 年多的時間裡一直與我保持聯絡！2023 年 3 月份，Yi Tay 宣佈離開谷歌，參與創辦了 Reka 並擔任該公司的首席科學家，主攻大型語言模型。我們知道當時 ChatGPT 剛推出不久，在這個時間段，選擇趁大模型熱潮辭職創業的人很多，離開的原因很多樣：對大模型方向前景的看好，對經濟復甦的推斷，投資人的推動，還有就是，很多人提到了積重難返的大公司病。許多從谷歌離開的員工都發過「小作文」，表示谷歌問題的根源不是「技術」，而是在於「文化」，比如員工的使命感不足，公司為了避免風險設定了繁瑣的系統和流程。和 Yi Tay 前後腳離職的 AppSheet 創始人 Praveen Seshadri 就寫過一篇《Google 出了什麼問題》，直言「如今的谷歌與當年的微軟一樣，正在逐步走向衰落。」然而一年半過去了，我們發現很多 AI 人才都在「迴流」大廠。除去因為種種原因創業受阻的一批人之外，其他人想回去的原因可能很簡單：創業真太累了。在 Amazon 呆到第五年的時候就想著創業了，但被疫情耽擱了。到第 7 年半的時候，覺得太癢了，就提了離職。現在想來，如果有什麼事這一輩子總要試下的，就蹭早。因為真開始後會發現有太多新東西要學，總感嘆為啥沒能早點開始。
即使拿到了融資，拿到了做 LLM 的入場券，這其中也包含了常人很難經歷的「大起大落」：運氣不錯，很快拿到了種子投資。但錢還不夠買卡，得去拿第二輪。這一輪領頭是一家非常大的機構，做了幾個月文件、商討條款。但在簽字前一天，領頭說不投了，直接導致了跟投的幾家退出。
在回到母校上海交大的演講中，他也提到了創業給自己帶來的健康方面的影響：創業不好的地方就是嬰兒般的睡眠，每三個小時醒一次，懷疑自己是不是快混不下去了。為此，我還問過很多人，包括張一鳴，以及世界首富級別的人，向他們取經。
在公司步入正軌之後，李沐仍然覺得自己當時「腦子抽了」：去年跟宿華在史丹佛散步，他拍著我肩膀說：“跟我說句實話，你為什麼想創業呀？” 當時候不以為然：“就是想換個事情做做”。然後宿華笑了笑。
現在我懂了，因為他經歷了創業酸甜苦辣。如果今天再來回答這個問題，我會說：“我就是腦子抽了”。但也慶幸當時沒想到會那麼不容易，所以一頭扎進來了。否則，大家看到的可能是「工作十年反思」。我覺得今天我寫的故事更有意思些。
https://www.yitay.net/blog/returning-to-google-deepmind