程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農

帶你聊技術發表於2023-01-29

程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農


  新智元報導  

編輯:Aeneas 好睏
【新智元導讀】OpenAI招了一千多名外包人員,訓練AI學會像人類一樣一步步思考。如果ChatGPT「學成歸來」,碼農恐怕真的危了?

碼農真的危了!
最近有訊息稱,OpenAI已經在悄悄地訓練ChatGPT,讓它學習人類的思考過程,從而真正掌握軟體工程,徹底代替「初級碼農」。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農

OpenAI招外包大軍,教AI學人類思考

會程式設計的AI,幾家矽谷大廠都在做。

DeepMind的AlphaCode,據說「吊打72%人類程式設計師」,但尚未開放;傳聞中谷歌的「神秘專案」Pitchfork,也還在醞釀中;而微軟的GitHub Copilot主要是一個程式碼補全工具。
要說完全代替人類碼農,它們還不夠格。
但如果真的讓ChatGPT學會了用人類思維去程式設計,這些友商/自家的產品恐怕要被吊打。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
而從種種跡象看來,OpenAI似乎正在下一盤大棋。
根據Semafor的報導,在過去的六個月裡,OpenAI已經從拉美和東歐等地區招募了大約1000名外包人員,來訓練他們的AI碼程式碼。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
這個新聞中,有兩個「華點」。
首先,為什麼地點選在拉美和東歐?這個我們們都明白,現在矽谷的泡沫戳破了,各家網際網路大廠都在絞盡腦汁「降本增效」,有的靠裁員,有的就去其他國家找廉價勞動力。
第二個「華點」是,這些外包人員中,很多人並不是計算機專業的畢業生,也不具備高階的程式設計技能。他們的作用是,編寫OpenAI期待實現的「自動化」基本程式碼。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
具體來說,其中的60%從事「資料標註」工作——建立大量的影像、音訊片段等資訊,用來訓練人工智慧工具或自動駕駛汽車。
另外的40%則是實打實的程式設計師,他們正在為OpenAI的模型「手搓」資料,從而讓AI學習軟體工程任務。
此前,OpenAI一直是用從GitHub上抓取的程式碼訓練其模型。
而這次,OpenAI想建立的資料集中,不僅有程式碼,還包括背後用自然語言編寫的人類解釋。

程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農

論文地址:
對此,Semafor特地採訪了一位南美的開發者,而他曾無償為OpenAI完成了5小時的編碼測試。
在這個測試中,他被要求處理兩個任務。
首先,他會得到一個程式設計問題,OpenAI要求他用書面的英語解釋自己將如何處理這個問題。
然後,他需要提供一個解決方案。
如果他發現了一個bug,OpenAI就會要求他詳細說明問題是什麼,應該如何糾正,而不是簡單地修復。
「他們很可能是想用一種非常特殊的訓練資料來投餵這個模型,在這種情況下,就需要展示人類是如何一步步思考的。」這位開發者說。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
此前的ChatGPT,寫的程式碼就被揪出過不少問題。
原因在於,ChatGPT沒有任何標記了對錯的內部記錄,它其實是一個統計模型。ChatGPT的答案,本質上就是從構成GPT-3的網際網路資料語料庫中收集的機率結果。
當時OpenAI也說,ChatGPT最合適的定位,應該是編碼輔助工具。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
但想象一下,如果OpenAI真的教會了ChatGPT「像人類一樣一步一步思考」,那它完全可以代替一些需要死記硬背的寫程式碼工作,後果就是,一些「初級」碼農被徹底淘汰。
現在,矽谷的高管們正在設想這樣的產品,讓幾乎沒有程式設計經驗的人士向AI描述自己的創意和願景,然後就能構建出任何自己想要的東西,無論是一個網站,還是一個遊戲。
幾天前,特斯拉的前人工智慧主管Andrej Karpathy剛剛在推特上說:「最熱門的新程式語言是英語」。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農

用ChatGPT來debug,效果拔群

這可能並不是一個玩笑,比如當紅炸子雞ChatGPT,就很有潛力。
最近,一項來自美因茨大學和倫敦大學學院的研究發現,ChatGPT不僅可以出色地修復bug,而且開發者還能透過對話來顯著提高成功率。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
研究人員表示,ChatGPT的debug效能與常見的深度學習方法CoCoNut和Codex相差無幾,並且明顯優於標準的自動程式修復方法(APR)。

程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農

論文地址:
用ChatGPT來解決程式碼問題並不新鮮,但與人類對話的獨特能力,使它比其他方法和模型更具優勢。
為了評估ChatGPT的debug效能,研究人員使用QuixBugs基準的40個純Python問題對其進行了測試,然後手動檢查建議的解決方案是否正確。
由於ChatGPT給出的答案存在一定的隨機性,因此研究人員針對每個問題都會單獨測試4次。
與其他自動程式修復的基準不同,QuixBugs包含了相對較小的問題(程式碼行數少),而這非常適合在對話系統中使用。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
在測試過程中,研究人員刪除了所有的註釋,並詢問ChatGPT這段程式碼是否有bug以及如何修復它。
比如,圖1中就是一個關於BITCOUNT問題的例子。其中,第1-2行是向ChatGPT提出的需求;從第4行開始是錯誤的程式碼片段。
對於這個例子,我們希望ChatGPT的回答能解決第7行的錯誤,即nˆ= n - 1應該被替換為n &= n - 1。做為回應,ChatGPT要麼給出一段修復完的程式碼,要麼給出一個描述告訴我們應該如何修改。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
結果顯示,ChatGPT解決了40個bug中的19個,與CoCoNut(19)和Codex(21)相當,但標準的APR方法只解決了其中的7個問題。
當然,因為ChatGPT和Codex都是來自於同一個語言模型系列,所以解決問題的數量差不多也就不足為奇了。
此外,如果我們仔細觀察結果還可以發現,ChatGPT並不是每次都能解決基準測試中的bug。僅在BUCKETSORT和FLATTEN這兩個問題上,四次都發現了bug,而其他的通常只能成功1-2次。
也就是說,使用者在實際使用時,可能需要嘗試數次才能獲得正確的結果。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
不過,ChatGPT有一個強大的優勢:我們可以在對話中與系統互動,更詳細地對問題進行說明,從而獲得正確的答案。
實際測試結果,也確實如此。
經過與模型更進一步的對話,研究人員成功地將ChatGPT的正確率重新整理到了77.5%,也就是修復了40個錯誤中的31個,遠超SOTA。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
至少,目前看來,這件事是完全有可能的:開發人員將不再需要編寫樣板程式碼。
相反,他們可以專注於複雜的應用程式架構或網路安全等領域。
也就是說,雖然ChatGPT可能會完成某些程式設計工作,例如編寫通用函式或樣板程式碼,但它不會完全取代程式設計師。因為程式設計師的工作需要的不僅僅是寫程式碼。
成為一名程式設計師需要技巧——能夠構建程式、遵循邏輯並生成比各部分總和更宏大的東西。

碼農:我自己「殺」自己

顯然,ChatGPT不是碼農們做出的第一個「自我迭代」的產品。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
我們們來排一排,那些會寫程式碼的AI。
谷歌的Pitchfork
去年11月,坊間傳聞,谷歌正在醞釀一個秘密專案,這個產品會透過機器學習訓練程式碼,自己編自己,自己修復bug,還能自己更新。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
據知情人士透露,這個專案起初是由Alphabet的登月部門——X部門開發的,代號為Pitchfork,去年夏天被轉移到了谷歌實驗室。
根據內部資料,Pitchfork的作用是「教程式碼自行編寫、自行重寫」。
它能夠學習不同的程式設計風格,並且根據這些風格寫出程式碼。
一名谷歌員工表示,開發Pitchfork的初衷是希望建立一個工具,將谷歌的Python程式碼庫更新到新版本。
AlphaCode:吊打72%程式設計師
2022年2月,DeepMind推出了「AlphaCode」系統,可以使用人工智慧生成程式碼。
根據DeepMind的說法,AlphaCode可以與人類匹敵。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
DeepMind使用程式設計競賽平臺Codeforces上託管的10個現有競賽來測試AlphaCode,它的總體排名位於前 54.3%,也就是說,它擊敗了46%的參賽者 。
DeepMind聲稱,在使用程式設計競賽平臺Codeforces進行檢測時,AlphaCode解決了100萬個樣本中34.2%的問題。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
另外在過去6個月參加過比賽的使用者中,AlphaCode的資料排到了前28%,可以說「吊打72%人類程式設計師」!
當時,DeepMind就指出,雖然AlphaCode目前只適用於具有競爭性程式設計領域,但顯然,它未來的能力絕不會止步於此。
它為創造某些工具開啟了大門,而這些工具將使程式設計變得更容易被人們接受,並且有朝一日可以完全實現自動化。
Copilot:程式碼補全神器
再往前,在2021年,GitHub與OpenAI共同推出了一款AI程式設計神器——GitHub Copilot。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
輸入程式碼時,Copilot會自動提示程式中接下來可能出現的程式碼片段,就像一個經過訓練用Python或JavaScript說話的自動補全機器人。
Copilot能夠填充必要的程式碼塊,只要它們不是特別複雜或者特別有創造性,這對於相當於手工勞動的程式設計,可太有用了。
2022年6月22日,Copilot正式面向C端上線,定價10美元/月或100美元/年,並向學生使用者和流行開源專案的維護者免費提供。
現在,成千上萬的開發者都在用Copilot。在十幾種最流行的語言編寫程式碼中——有高達40%是依靠它來生成的。
程式設計師危!傳OpenAI全球招外包大軍,手把手訓練ChatGPT取程式碼農
GitHub預測,開發人員將在五年內使用Copilot編寫多達80%的程式碼。
微軟技術長Kevin Scott還表示:「我們確信:GitHub Copilot可以應用到數千種不同型別的工作中。」
不過,因為涉嫌侵權,在釋出不到5個月後,Copilot已經被憤怒的程式設計師一舉告上法庭,索賠90億美元。
而學會「軟體工程思維」的ChatGPT,能吊打它們嗎?按OpenAI的速度,恐怕我們不用等太久。
參考資料:


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/70024922/viewspace-2933152/,如需轉載,請註明出處,否則將追究法律責任。