Karpathy：以前在特斯拉、OpenAI都是「副業」，現在做的才是「正職」。
剛剛，Andrej Karpathy在X平臺宣佈了自己的下一站去向：創辦一家名為 Eureka Labs 的人工智慧+教育公司。
很高興與大家分享，我正在創辦一家名為 Eureka Labs 的人工智慧+教育公司。公告如下：
我們是 Eureka Labs，我們正在打造一所AI原生的新型學校。我們如何才能獲得學習新知識的理想體驗？例如，在物理學方面，我們可以想象與費曼（Feynman）一起學習高質量的課程材料，費曼會在每一步都為你提供指導。遺憾的是，那些充滿熱情、善於教學、有無限耐心、精通世界上所有語言的學科專家也非常稀缺，他們無法按需親自輔導我們 80 億人。不過，隨著最近在生成式人工智慧方面取得的進展，這種學習體驗讓人感覺是可以實現的。
教師仍然負責設計課程材料，但這些材料會得到人工智慧助教的支援、利用和擴充套件，而人工智慧助教會進行最佳化，以幫助指導學生完成這些材料。這種「教師+人工智慧」的共生模式可以在一個通用平臺上執行整個課程。如果我們取得成功，任何人都可以輕鬆學習任何知識，從而擴大教育的覆蓋範圍（大量人學習某些知識）和程度（任何一個人都可以學習大量科目，這超出了目前在沒有輔助的情況下可能實現的範圍）。我們的第一個產品將是世界上最好的人工智慧課程 LLM101n。
這是一門指導學生訓練自己的人工智慧的本科課程，非常類似於縮小版的人工智慧助教課程。課程材料將在網上提供，但我們也計劃同時開設數字班和實體班。今天，我們正在全力打造 LLM101n，但我們期待著人工智慧成為提升人類潛能的關鍵技術的未來。
Eureka Labs 是我二十多年來對人工智慧和教育的熱情的結晶。從 YouTube 上的魔方教程到史丹佛大學的 CS231n，再到最近的 「Zero-to-Hero AI」系列，我對教育的興趣一直伴隨著我。而我在人工智慧領域的工作則從史丹佛大學的學術研究到特斯拉公司的實際產品，再到 OpenAI 的 AGI 研究。迄今為止，我在這兩個領域的所有工作都是兼職的，是我「正職」工作的副業。因此我很高興能投入其中，以專業和全職的方式創造一些偉大的東西。雖然還為時尚早，但我想宣佈公司的成立，這樣我就可以公開建立公司，而不是保守一個不為人知的秘密。
Andrej Karpathy的身份有很多個：李飛飛高徒、OpenAI創始成員及研究科學家、特斯拉前AI高階總監、YouTube「學習區」知名博主。今年2月，Karpathy宣佈從OpenAI離開，並表示「中間沒有什麼戲劇性衝突，只是想去嘗試一下自己的個人專案」。此後，他的下一步去向就成為了大眾關注的焦點。這讓我們想到了另一位知名AI學者吳恩達，作為谷歌大腦專案建立者、原百度首席科學家，吳恩達與同為史丹佛教授的Daphne Koller共同創辦了線上教育平臺Coursera。或許，從事理論研究的大佬內心都有一個教育夢想。
Eureka Labs 的第一個產品是本科水平課程LLM101n，旨在幫助學生訓練自己的AI模型。6月， Andrej Karpathy在GitHub上僅僅上傳了LLM101n課程目錄，就迅速刷屏。
具體來說，LLM101n從語言建模、機器學習的基礎知識開始教學，然後到多模態、RLHF、模型部署，旨在構建一個 Storyteller AI 大模型 (LLM)，使用 AI 建立、完善和說明小故事，涵蓋從基礎到類似於 ChatGPT 的可執行 Web 應用程式，並使用 Python、C 和 CUDA 從頭開始構建專案，並且只需要最少的電腦科學前提條件。這門課程將使學生對 AI、LLM 和深度學習有相對深入的瞭解。目前，上傳三週，LLM101n專案已收穫17k Star。
在Karpathy官宣新公司的帖子下，谷歌首席科學家Jeff Dean發來了真誠的祝福。
在評論區，Karpathy也解釋了 Eureka Labs名字的來源：Eureka（源自古希臘語）是一種理解了某件事之後的美好感覺，好像腦子裡有個東西咔噠一聲。他們的目標是激發人們心中的那些瞬間。而名字裡加個Labs是因為：Eureka作為單個單詞已經被別人用了（Netflix開發的服務發現框架），而他一直想要個實驗室……
- GitHub地址：https://github.com/EurekaLabsAI
- 個人主頁：https://karpathy.ai/
2005-2009 年，Andrej Karpathy 本科就讀於加拿大多倫多大學，主修電腦科學與物理，輔修數學。在這裡，他第一次接觸到深度學習，聆聽 Hinton 的課程。2009 -2011 年，Karpathy 碩士就讀於加拿大不列顛哥倫比亞大學，其導師為電腦科學系教授 Michiel van de Panne，主要研究物理模擬中用於敏捷機器人的機器學習。2011-2016 年，Karpathy 博士就讀於史丹佛大學，師從著名 AI 學者李飛飛，專注於研究卷積 / 迴圈神經網路以及它們在計算機視覺、自然語言處理和交叉領域的應用。期間，他設計並擔任史丹佛首個深度學習課程《CS231n：卷積神經網路與視覺識別》的主要講師。
與此同時，Karpathy 還有三段實習經歷。2011 年，他進入發展初期的谷歌大腦實習，致力於影片領域的大規模無監督學習。之後的 2013 年，他再次在谷歌研究院實習，從事 YouTube 影片的大規模監督學習。2015 年，他在 DeepMind 實習，參與深度強化學習團隊的工作。
目前，在 Google Scholar 上，Karpathy 的論文引用數達到了 66426。其中，引用第二多、他作為一作的論文《Large-scale Video Classification with Convolutional Neural Networks》被收錄為 CVPR 2014 Oral。Karpathy 是 OpenAI 的創始成員和研究科學家。在 OpenAI 創立僅一年多後，2017 年，Karpathy 接受馬斯克的邀請加入特斯拉，接替了當時的特斯拉 Autopilot 負責人、蘋果 Swift 語言、LLVM 編譯器之父 Chris Lattner。五年裡，Karpathy 一手促成了 Autopilot 的開發。隨著特斯拉從最開始的自動駕駛慢慢擴充套件到更廣泛的人工智慧領域，Karpathy 也被提為特斯拉的 AI 高階總監，直接向馬斯克彙報工作。事實上，在此前的職業生涯變動間隙，Karpathy就已經表現出了對「投身教育事業」的興趣。Karpathy 於 2022 年 7 月離開特斯拉。在後續的訪談中，他說這是一個艱難的決定。雖然特斯拉還未完全實現自動化駕駛，但研發團隊已經可以自行發展。這次離職也給他一個機會，去重新審視自己對於人工智慧、開源和教育的熱愛。離職八個月後，2023 年 2 月，Karpathy 宣佈自己再次加入 OpenAI。在此期間，Karpathy 除了完成 OpenAI 的研究工作，還做了一些個人專案，包括錄製教育影片、開發關於 Llama 2 的開源專案 ——llama2.c 等。在今年2月份，OpenAI內部鬥爭事件之後，Karpathy再次從OpenAI離職，並一直致力於一些開源課程。如今，算是正式投身於自己熱愛的教育事業。我們可以期待，Karpathy將為AI領域帶來更多優秀的課程資源。關於Karpathy的更多課程專案，可見擴充套件閱讀。《五年後的今天，訓練 GPT-2 只需不到 700 刀、24 小時，Karpathy 又整新活》《牆裂推薦！Karpathy 大模型培訓課 LLM101n 上線了，非常基礎》《Karpathy最新四小時影片教程：從零復現GPT-2，通宵執行即搞定》《離開 OpenAI 待業的 Karpathy 做了個大模型新專案，Star 量一日破千》《閒下來的 Andrej Karpathy 錄了個課程：保證學會，你聽不懂我吃鞋》《特斯拉前 AI 總監教你手搓 GPT 大模型，教學影片已出》《OpenAI 聯創 Karpathy 愛上羊駝：純 C 程式碼實現嬰兒 Llama2，MacBook 可執行，已攬 1.6k 星》《OpenAI 內鬥時，Karpathy 在錄影片：《大型語言模型入門》上線》