GPT-3為什麼懟起了前老闆?馬斯克:和OpenAI道不同不相為謀

AIBigbull2050發表於2020-09-30

GPT-3長大了,會說風涼話了,最近還為馬斯克做了一首詩,詩中懟起馬斯克的言行毫不含糊。


有馬斯克這個「宇宙網紅」在的地方總有口水和笑料。


最近,以他的形象為靈感來源,AI把他徹徹底底地諷刺了一通。

據《經濟學人》報導,總部位於舊金山的 OpenAI 在7月中旬向藝術家 Arram Sabeti 等人提供了 GPT-3語言的早期版本,測試他的效能。

Sabeti 使用這個演算法生成了這首詩,題目叫做「Elon Musk by Dr. Seuss」,

詩中寫道:

證券交易委員會說: 「馬斯克,你的推特是個汙點。如果你晚上不停止發個沒完,真的會讓你丟掉飯碗/... 」

馬斯克喊道,「為什麼?/我寫的推文不刻薄/我沒全用大寫/我的推文乾乾淨淨,無懈可擊。」

「但是你的推特可以影響市場/這就是為什麼我們很惱火。你可能是個天才/也是個億萬富翁,但這不意味著你可以這麼無聊! 」

感覺不押韻?讀讀英文原版你再試試?好像rap的節奏已經躍然紙上...

The sec said, Musk,/your tweets are a blight./They really could cost you your job,/if you don’t stop/all this tweeting at night./…


Then Musk cried, Why?/The tweets I wrote are not mean,/I don’t use all-caps/and I’m sure that my tweets are clean./


But your tweets can move markets/and that’s why we’re sore./You may be a genius/and a billionaire,/but that doesn’t give you the right to be a bore!

說起馬斯克和Open AI其實頗有淵源,只是最近他的關注重心都在特斯拉和SpaceX身上。

2015年,馬斯克與幾個企業家共同創立了 OpenAI,其中包括前 Y Combinator 總裁Sam Altman。馬斯克去年2月表示,他已經有一年多沒有與 OpenAI「密切合作」了。他還說他「不同意 OpenAI 團隊的一些想法。」

看來GPT-3對這個前老闆很是不滿啊。


  • 少年「GPT-3」之煩惱:讀的越多,知道的就越多


GPT-3長大了,都會說風涼話了。

「你讀的越多,你知道的東西就越多。」這句話似乎既適用於機器,也適用於蹣跚學步的孩子。

孩童對事物的理解來源於對現實世界和大人話語的模仿。模仿是語言習得最重要的方式之一。模仿不僅僅是針對字詞本身,更是對風格的模仿。

諷刺馬斯克發推的這首詩,就來自於藝術家Adam Sabeti的測試。當然不是所有的情況都是一把成,有些任務他反覆試了幾次,然後選了最好的一版。「我通常不需要費什麼功夫就可以讓他在一個簡單的提示下寫出令人驚訝的連貫的文字。」

GPT-3為什麼懟起了前老闆?馬斯克:和OpenAI道不同不相為謀

成果相當驚人,包括劇本和歌詞在內生成的作品竟然頗具文學欣賞價值。

下面是一部黑色電影劇本,由Raymond Chandler(著名推理小說家)執導的,關於巫師少年哈利 · 波特的故事:


哈利 ·波特,《私家偵探》。

GPT-3為什麼懟起了前老闆?馬斯克:和OpenAI道不同不相為謀

場景: 一個昏暗的小辦公室,清晨,救世軍的傢俱。有種令人骯髒的氣氛。哈利 · 波特,穿著破爛的斜紋軟呢西裝,沒熨過的襯衫,沒有擦亮的鞋子,坐在桌子後面,看上去非常憔悴、有些皺巴巴的,一副內心充滿怨恨的樣子。

在辦公室的一角,一片七零八落的陰影在外面的狂風中嘎嘎作響。哈利把一根長長的食指放在一把38手#槍的槍托上,看著面前的一張照片。這張照片裡面是一位身穿晚禮服的金髮美女。她一手拿著雞尾酒,一手沉思地看著另一隻手裡的香菸。她的面頰上掛著一滴眼淚。哈利看了她好一會兒,嘆了口氣,然後放下槍站了起來。

他整理好衣服,撓撓頭,然後好像下定決心似地轉過身,拿起手#槍,離開了辦公室。他穿過前面的房間,從髒兮兮的窗戶往外看。一位老婦人正在用拖把清洗外面的人行道。一個穿著灰色雙排扣西裝的年輕人靠在大樓上。哈利又嘆了口氣,走出了門。他走向那個年輕人,粗魯地給了他下巴一拳。

是不是有內味兒了?一個成年暗黑版的哈利波特躍然紙上。

再來看看GPT-3寫的黴黴版「哈利波特之歌」


哈利他戴著眼鏡

一雙明亮的綠眼睛

女孩子們總是不停尖叫

因為他有波特的秀髮

即使在他超級緊張的時候

他仍然有著那「超音速」的顴骨

我不驚訝他們為你拍了一部電影

因為我隨時都想看到你

是的,哈利,寶貝,你是我最喜歡的角色

我要走一千英里

就為能見到你

哈利,哈利,你真好

我為你身心顫動

每當你微微一笑

我很樂意做你的女朋友

歌詞真的黴黴「本黴」了。

GPT-3為什麼懟起了前老闆?馬斯克:和OpenAI道不同不相為謀

當然也有很多生成的產物只是表層資訊的模仿,並沒有真正地理解。又回到了當時抨擊GPT-3無法理解人類話語的例子,「太陽有幾隻眼睛?」GPT-3回答「有一隻」,而沒有意識到這個問題的荒謬本質。

其實舉一個不太恰當的例子,好比浙江省高考滿分作文,堆砌了全部的華麗辭藻和高階詞彙,但是卻有些「冷僻難懂」,詞彙包括沒幾個大人能認識的「嚆」、「翮」、「嚆矢」、「濫觴」、「振翮」幾個生詞。評論紛紛稱有故弄玄虛之嫌。然而仔細想來,18歲的少年,可能不會深刻知曉什麼萬物至理,無外乎是從書籍和閱讀中習得,才寫得一手好文章。


三聯撰文寫道,「浙江高考滿分作文,別用文學的標準苛求它」同樣地,GPT-3的文章也不要用人類理解能力的標準來苛責。

與此同時,GPT-3學習的過程,就和讓孩童咿呀學語的過程一樣,也要規避一定的風險性。比如說,不應該讓孩子們看到不該看的東西,GPT-3也一樣。

網際網路上的資訊林林總總,當中肯定有大量「少兒不宜」的資訊,Open AI是不希望GPT-3隨意習得的。比如「黑人」、「猶太人」、「女人」和「gay」等提示語往往連帶著產生種族主義、反猶太主義、厭女症和恐同等的內容。這也是由於GPT-3基於統計方法的認知過程,及其根本性的理解缺失。研究指出,像「女人」這樣的詞經常與歧視女性的內容聯絡在一起,而且很多時候這種聯絡會在文字中不經意間重新出來。

GPT-3為什麼懟起了前老闆?馬斯克:和OpenAI道不同不相為謀

這同時也是人工智慧研究中的一個熱點問題。例如,眾所周知,很多面部識別系統對白人面孔的識別效果要好於對黑人面孔的識別,因為白人面孔在他們的訓練集中更為常見。去年,IBM 釋出了一組訓練圖片,其中包含了更多樣化的人臉組合。

Open AI本身就是為了研究如何減輕人工智慧系統帶來的風險而成立的,這使得GPT-3可能引發的失誤更加值得人們注意。它的前身GPT-2於2019年釋出過一個過濾器,透過限制模型談論敏感話題的能力,試圖掩蓋偏見的問題。


  • Open AI:自馬斯克走後,我開始賺錢


GPT的初代版本其實早在2018年就已經問世了,當時包含1.17 億個引數。


用業界專家的話說,「應試成績還不錯,但是對於很多科目都需要監督式學習,東家 OpenAI 對此並不滿意,成績也沒有在業界引起特別的反響。」


正是GPT-1 開創了「先預訓練、後微調」的教學先河。


2019年,第二代已經初具自由寫作的能力,驚豔世人;如今第三代的表現更是震驚四座。


而且,大熱的GPT-3將成為OpenAI的第一個商業產品,Reddit也已經註冊成為第一個客戶。

遙想在五年前,OpenAI還是個非營利組織呢!

OpenAI由Elon Musk、Sam Altman、Ilya Sutskever、Greg Brockman、Wojciech Zaremba和John Schulman共同創立,他們共同捐贈了10億美元。

2018年,OpenAI透過部落格宣佈,馬斯克將離開董事會,但仍將擔任顧問和捐贈者。

當時很多人猜測,馬斯克離開OpenAI的真正原因是利益衝突。知情人士表示,「我認為他離開的主要原因是利益衝突他挖走了OpenAI的頂級科學家Andrej Kaparthy,讓他成為特斯拉的自動駕駛部門的負責人。」

GPT-3為什麼懟起了前老闆?馬斯克:和OpenAI道不同不相為謀

不過呢,馬斯克也似乎把OpenAI的「初心」帶走了。他離開後,OpenAI開始「大轉型」,從非營利組織變為營利性組織 。

GPT-3為什麼懟起了前老闆?馬斯克:和OpenAI道不同不相為謀

一年後,擔任SpaceX和特斯拉執行長的馬斯克在推特上證實,他在一年多的時間裡沒有「密切」參與OpenAI。

不過馬斯克似乎沒趕上好時候。就在他走後不久,也就是在2019年,OpenAI開始盈利,並從微軟公司又籌集了10億美元來資助其研究。這是總部位於舊金山的研究實驗室從其AI模型中獲利的第一步。


  • 培養GPT-3 花了460萬美元,未來訓練GPT-4會越來越便宜


用GPT-3開始盈利似乎也合乎常理,畢竟訓練他可是花了460萬美元!


經濟學人的文章認為,不久之後,GPT-3很可能會被一個更加複雜和資料飢渴的模型所取代。

GPT-3為什麼懟起了前老闆?馬斯克:和OpenAI道不同不相為謀

有人對GPT的未來進行了描繪。「GPT-4 將會比人類寫得更好,而且,當它對自己的答案不確定時,還可以進行研究。」GPT-4作為進階版,將更有鑽研精神。

此前Open AI的論文中曾經提到,自2012年以來,要訓練一個人工智慧模型在基準測試ImageNet影像分類任務中達到同等的分類效果,所需的算力每16個月就會減少1/2。演算法演進速度吊打摩爾定律。

也就是說,在過去的7年內,訓練神經網路的效率每16個月就會翻一番。照這個速度,新一代的GPT或許會cheap&good!

MIT研究員Lex Fridman預測,訓練GPT-4預計會花費26億美元。2024年,訓練GPT-4只需要花費4000萬美元,到2032年,估計只需要花費500萬美元。

GPT-3為什麼懟起了前老闆?馬斯克:和OpenAI道不同不相為謀

看來之後,Open AI這筆生意還挺划算...







來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69946223/viewspace-2725281/,如需轉載,請註明出處,否則將追究法律責任。

相關文章