All in AI,現在開始算不算太晚?

Baihai_IDP發表於2023-05-08

編者按:目前大模型近乎可以幫助人類處理方方面面的事情,如對話、寫文章、寫程式碼等等。在大模型“狂飆”趨勢下,想要從事AI領域的小夥伴可能會猶疑: 現在進入AI領域會不會已經太晚了?

本文作者結合自身轉型經歷和對AI市場的研判,闡述了 進入人工智慧領域從來都不會太晚,There's no time like the present

本文還詳述了,在“AI滲透一切”的時代,如何快速掌握必要的AI知識,以及如何在AI時代找到自身職業定位。

以下是譯文,Enjoy!

作者 | swyx

編譯 | 嶽揚

我的一位開發者朋友最近跟我說:“如果我現在是20歲,我會放下一切 all in 人工智慧。”但他已經花了十多年的時間去學習專業知識、積累社交人脈和良好的聲譽,已經達到他目前所在領域的最高水平。因此,他現在還得留在原來的領域。另一位較年長的大學時期朋友是一家上市科技初創公司的高管。他對現在的工作得心應手,擁有近乎完美的簡歷,他之前的職業經歷也是令人羨慕的崗位。然而,他現在正在轉變方向,因為正如他告訴我的那樣,"生命是短暫的",他不想在結束時想 "如果當時..."。

最近幾天,我同從事技術工作和非技術工作的朋友都有過類似上面這樣的對話。雖然我很想讓這篇文章關注具體的技術發展和分享飛速發展的技術,但我認為有必要花一期來 討論職業轉型話題,因為這正是我湊巧特別有資格能夠討論的話題。

01   三十多歲時的轉折期

我還記得在我30歲第一次進行職業轉型時有多麼可怕,當時我已經在金融行業工作了6-7年,我從16歲起就一直想要從事金融行業,穿梭於世界各地,向CEO們提問,並幫助管理一家對沖基金的10億美元資產。看起來我很厲害,但我深知我的內心並不滿足,這不是我的最終目標。與從無到有創造出一些東西相比,讓一些捐贈基金和養老金的數字變得更加大,就顯得微不足道了。 我決定從金融行業轉向軟體工程(和開發者關係) 。接下來發生的大家都已經知道了[1]。

六到七年後,我又一次轉變了我的職業。 我認為從軟體工程師(SWE)到人工智慧(AI)的轉變幾乎和從金融到軟體工程師的轉變一樣大,它們只是表面上看起來相似(都是計算機領域),但是需要大量的新知識和實踐經驗才能使工作變得有效率。我的轉變策略和上次一樣:儘可能開始的六個月每個晚上和週末學習,以確保我對要進入的領域擁有濃厚的興趣(註釋1,文末有解釋,後同),而且我能夠取得有意義的進步,然後就開始與過去say goodbye/破釜沉舟/全力以赴,並告訴大家我進入了這個領域[2](註釋2)。

但那只是適用於我自己的情況。每個人的情況可能都會不同。我相信如果你願意,可以找到如何做到成功轉行的方法。這篇文章面向的物件是那些想要獲得足夠自信去做出決定的人。

我認為,在科技職業的選擇中存在很多隱藏的年齡歧視(ageism)和沉沒成本誤區[3](sunk cost fallacy)。因此,以下是我快速列出的一些理由,可以說明你不會因為年齡問題而無法轉行

02 哪怕你年齡已經很大 仍應進入AI領域的原因如下

2.1 人工智慧極大的潛力/發展速度

  • 傑夫·貝索斯(Jeff Bezos)在30歲時辭去金融工作,創辦了亞馬遜。

  • 他這樣做是因為1994年網際網路使用量每年增長2300%。

  • 通用技術[4](general purpose technologies)(註釋3)的推廣需要數十年的時間。

  • 想象一下,如果你可以在2000年或2010年成為技術領域的“後浪”,卻得出結論認為“為時已晚”而沒有進入網際網路行業。

  • 自1月以來,ChatGPT的使用量增長了1000% [5](註釋4)。

2.2 上手AI需要的時間比我們想象的要短

  • 如果不是透過獲取博士學位的路徑進入機器學習領域,需要先參加 Andrew Ng (吳恩達)在 Coursera 上的課程[6]三個月左右,然後就會意識到仍需要數年的自學和實踐經驗才能在機器學習領域做出有趣的事情。

  • 但目前我們掌握生成式AI的學習路徑正在變得越來越簡單。(註釋5)

  • Jeremy Howard 的 fast.ai 課程[7]從 2016 年開始就宣稱讓學生在七週內進入人工智慧領域。到了 2022 年,他已經透過十節 90 分鐘的課程帶領學員重新實現 Stable Diffusion[8]。Suhail Doshi 在 2022 年 6 月參加了這門課程,到了 11 月就推出了 Playground.ai[9]。

  • 這在一定程度上是由2017年推出的 Transformer架構推動的,自那以後它幾乎進入了每個 AI 領域[10],並提供了一個強大並且靈活的 baseline,從而使 之前的架構知識變得可有可無。因此,沒有數十年的研究需要學習, 只需要學習最近五年的內容

All in AI,現在開始算不算太晚?

  • 有一些讀者詢問了關於AI涉及到的數學問題。AI 是否“只是使用了 矩陣乘法(matrix multiplication)” [11]存在爭議,如果你願意,可以在大學線性代數和微積分課程中學習矩陣乘法,但我的回答是你不必這樣做,現在的那些AI開發框架(比如 Pytorch) 可以幫助你進行任何反向傳播(backpropagation)和矩陣操作(matrix manipulations)。

  • 當然, 走捷徑並不能讓你變成能夠推動技術發展的博士。 但看看最頂尖AI研究員的職業生涯,你也可以瞭解需要多長時間才能達到最高水平。 Yi Tay 在 Google 貢獻或領導完成了許多最新的 LLM 成果,但你可能會驚訝地發現他才獲得博士學位約 3.3 年的時間。 Ashish Vaswani 在發表 Transformer 論文時距離博士畢業也只有 3 年,而  Alec Radford 發表 GPT 和 GPT-2 論文時剛本科畢業 2 年。

  • 類似這樣的職業軌跡在物理、數學、醫學等更成熟的領域不會發生,因為它們的 “FOOM(Fast Onset of Overwhelming Mastery) ” 年代[12]已經過去了幾個世紀,而 AI 的“foom” 正在明顯地發生。

  • 這些話都是為了說明: 這仍然是一個非常年輕的領域,在20年後,沒有人可能會關心你覺得自己“晚入行”。

2.3 除了成為專業的機器學習領域的研究員,還有許多領域可以選擇

  • Prompt和大模型能力研究: Riley Goodside[13] 的職業生涯在 2022 年急劇變化,透過在推特上釋出GPT-3的使用技巧,他從 Grindr 的資料科學家變成了 世界上第一位high-level Prompt工程師[14],他還發現並普及[15]“ 提示注入(prompt injection) ”這種重要的 LLM 安全問題。自那以後,許多人已經意識到尋找 GPT-3 和 GPT-4 的有趣使用案例在社交媒體上很受歡迎。

  • 軟體工程領域: 最近, Whisper.cpp 和 LLaMA.cpp 激發了許多人對在使用者終端上執行大型模型的興趣[16]。我聽了 Georgi Gerganov 在 Changelog 上的採訪[17],並得知他在 2022 年 9 月自稱“非 AI 信仰者”,只是為了好玩而將 Whisper 移植到了 C++。 LLaMA.cpp 的發展速度比 Stable Diffusion 還要快[18],而 Stable Diffusion 已經是有史以來增長最快的開源專案之一[19]。儘管沒有進行模型訓練,但 Georgi 的軟體工程專業知識使得這些基礎模型更加易於接入。Harrison Chase 的  Langchain[20] 透過構建第一個面向所有開發人員的提示工程框架,將Prompt和軟體的改進融合到預訓練的LLM模型中,吸引了大量關注。從 Guardrails 到 Nat.dev 的一系列 LLM 工具都有助於彌合這些模型從學術界到商業應用的差距。ChatGPT本身在很大程度上是與GPT 3.5系列模型一起交付的使用者體驗創新,這對前端/UI開發者來說是個好訊息。

  • AI技術產品化: 說到 Stable Diffusion, Emad Mostaque 直到 2019 年都是一名對沖基金經理[21],似乎除了為他的兒子進行“literature review of autism and biomolecular pathway analysis of neurotransmitters[22]”相關的研究之外之前並沒有任何 AI 經驗。但他在 2020 年參加 EleutherAI 社群後意識到 Stable Diffusion 這樣的東西是可能存在的,並找到了海德堡大學 CompVis 組[24]的 Patrick 和 Robin[23],提供了大約 60 萬美元來訓練和交付了2022年第二或最重要的AI產品。沒有人想去審查誰做了什麼,但一個前對沖基金經理透過發現機會並將財務(和組織架構)槓桿應用於時機已到的想法(ideas whose time had come)而獲得大量回報是有道理的。 Nat Friedman 已經公開表示, 多年的研究造成的能力過剩[25] 還沒有被足夠多的創業公司消化,看起來像 Dave Rogenmoser 這樣願意早早跳上這班車的創業人,在兩年內將 Jasper 的 ARR(會計收益率) 從零增長到了 7500 萬美元[26],將會獲得不成比例的回報。

現有企業和各個垂直領域的創業公司都在擁抱人工智慧,這表明 未來將是“AI滲透一切”的時代,因此 理解基礎模型可能是達到目的(利用它們)的一種手段,而不是目的本身(訓練模型或對安全性和感知能力進行思考)少想一點你自己和你未來的潛在方向,不是“轉行研究AI”,而是在你已經感興趣或精通的領域 "學習如何利用它"。

我最後一個與年齡相關的呼籲是通用的——挑戰自己對大腦是有益的。人們普遍認為神經可塑性(Neuroplasticity)在25歲以後就會停止,但這是有爭議[27]的。更為廣泛的共識是, 持續學習有助於建立認知儲備(cognitive reserve) ,有助於避免像痴呆和阿爾茨海默病這樣的惡性神經退行性疾病。

你是否正在處理任何類似於瞭解AI的工作,並想方設法將其運用於實際應用中的挑戰?

03  我是如何學習人工智慧的

我已經完成了fast.ai的課程內容,但也在 持續關注我自己篩選的Twitter列表中的從業者[28],並將筆記放入我的公開地GitHub AI倉庫[29]和Latent Space Discord中[30]。大多數比較重要的 新論文 在它們被髮布的那周我就開始閱讀,我還儘可能地 執行獲得很多點讚的專案和產品的程式碼或閱讀它們的程式碼。我們即將在播客上釋出“Fundamentals 101”系列內容,其中包括AI基礎知識,這迫使我去閱讀更多論文並瞭解一些我們今天認為理所當然的事情的歷史(註釋6)。

All in AI,現在開始算不算太晚?

%20AI%20Podcasts%20and%20Newsletters.md

註釋:

  1. 在兩次職業轉型中,我都並不是從零開始 - 我在13歲時就接觸過BASIC程式設計,在26歲時作為期權交易員工作時,寫了一些極其簡單的自然語言處理程式碼來解析經紀商的定價 - 我希望我能向你展示,但已經過去太久了,這些內容已經找不到了。

  2. 在社群中公開發表學習過程內容可以達到人類最快的學習速率 - L((PN)^2)![31]

  3. 這股AI浪潮是如此之大。不要相信我的話,聽聽比爾·蓋茨的話[32],他說這是自圖形使用者介面以來最重要的技術進步。

  4. 寒冬將至。在某一天,這個AI盛夏將結束,AI寒冬[33]將再次到來。瞭解這股AI浪潮的重要性在於它可能會在任何寒冬中存活下來,就像2001年經濟衰退後網際網路行業只是短暫地停頓了一下。

  5. 強制使用生成式AI(Generative AI) 這個術語會讓我們感到不愉快,因為我們都認為它被過度炒作了[34]...但是目前還沒有找到更好的替代詞。

  6. 再次強調,在公開的社群發表學習內容很重要,因為擔心影響我的個人名譽,我會盡可能正確,並讓我在犯錯時感受到額外的壓力。

END

參考資料

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]%22just%20matrix%20multiplication%22&src=typed_query&f=top

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]https://www.goodtherapy.org/blog/change-is-a-choice-nurturing-neuroplasticity-in-your-life-0930154

[28]

[29]

[30]

[31]

[32]

[33]

[34]

本文經原作者授權,由Baihai IDP編譯。如需轉載譯文,請聯絡獲取授權。

原文連結


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70018536/viewspace-2950600/,如需轉載,請註明出處,否則將追究法律責任。

相關文章