文 | AI國際站 唐恩
編 | 艾娃
本文由AI國際站 原創出品，未經許可，任何渠道、平臺請勿轉載，違者必究。
一個可以自動進行網站開發的程式。代表自然寫信的機器人。由AI撰寫的部落格，該部落格在Hacker News上流行。這些只是關於GPT-3的最新故事，這是人工智慧研究實驗室OpenAI的最新成果。GPT-3是有史以來最大的語言模型，它引發了關於AI如何迅速改變許多行業的許多討論。
OpenAI的CTO Greg Brockman（左）和OpenAI的執行長Sam Altman（右）
但是，很少討論的是GPT-3如何改變了OpenAI本身。在建立有史以來最成功的自然語言處理系統的過程中，OpenAI已逐漸從一個非盈利性AI實驗室演變為一家出售AI服務的公司。該實驗室處於不穩定的境地，陷入相互矛盾的目標之間：開發有利可圖的AI服務和追求人類級AI造福所有人。保持平衡是OpenAI成立的使命。
OpenAI結構的變化
2019年3月，OpenAI宣佈它將從非營利實驗室轉變為“上限盈利”公司。這為從投資者和大型科技公司籌集資金開闢了道路，但要注意的是，他們的回報將以投資額的100倍為上限（談論上限！）。但是為什麼結構發生變化？該公司在一篇文章中宣佈，此舉旨在“迅速增加我們在計算和人才方面的投資，同時包括制衡，以實現我們的使命。”
這裡的關鍵詞是“計算和才能”。
人才和計算成本是AI研究的兩個主要挑戰。OpenAI從事這類研究的人才庫非常小。鑑於對商業AI的興趣日益濃厚，大型科技公司之間在為自己的專案獲取AI研究人員之間存在激烈的競爭。這引發了科技巨頭之間的軍備競賽，每個巨頭都提供更高的薪水和津貼以吸引AI研究人員。
谷歌和Facebook設法搶走了三門深度學習先驅者Geoffrey Hinton和Yann LeCun。伊恩·古德費洛（Ian Goodfellow）是一位受人尊敬的AI研究人員，是生成對抗網路（GAN）的發明者，他在Apple工作。另一個AI天才安德烈·卡帕蒂（Andrej Karpathy）在特斯拉工作。
對學術和科學研究仍然有足夠的興趣，但是隨著大多數AI人才被吸引到能夠提供出色薪水的公司吸引，非盈利性AI實驗室發現很難填補他們的職位，除非他們能夠匹配這些薪水。根據《紐約時報》 2018年發表的一篇文章，一些OpenAI的研究人員每年的收入超過100萬美元。另一家AI研究實驗室DeepMind報告稱，2018年向700名員工支付了超過4.83億美元。
深度學習演算法的主要組成部分- 人工神經網路的計算需求進一步增加了AI研究的成本。在他們可以執行任務之前，必須在許多示例上訓練神經網路，此過程需要昂貴的計算資源。在過去的幾年中，OpenAI參與了多個非常昂貴的AI專案，包括解決Rubik魔方的機器人手，擊敗Dota 2冠軍的遊戲機器人以及一群玩過捉迷藏500 的AI代理。
根據一項估算，培訓GPT-3 至少需要花費460萬美元。需要明確的是，訓練深度學習模型並不是一個乾淨的一次性過程。大量的反覆試驗和超引數調整可能會使成本增加幾倍。OpenAI並不是第一個採用商業模型的AI研究實驗室。面對類似的問題，DeepMind在2014年接受了Google提出的6.5億美元的收購提議。
OpenAI領導層的轉變
OpenAI執行長兼聯合創始人Sam Altman
OpenAI在該組織的聯合創始人之一薩姆·奧特曼（Sam Altman）的領導下開始了市場投資者的工作，薩姆·奧特曼（Sal Altman）從著名的加速器Y Combinator的總裁一職卸任，成為OpenAI的執行長。在Altman之前，Greg Brockman是該組織的代表。Brockman是OpenAI的聯合創始人兼CTO，是一位經驗豐富的科學家和工程師。
但是在技術投資領域，聲譽和產品管理技能比科學天才更受重視。而奧特曼正是這種投資者信任他們的錢的人。在Y Combinator任職期間，他幫助創立了許多成功的公司，包括Airbnb和Dropbox。在2019年5月接受TechCrunch採訪時，奧特曼說：“我們從未獲得任何收入。我們目前沒有賺錢的計劃。我們不知道我們一天怎麼能創收。”
但這並沒有妨礙投資者將資金投入OpenAI。微軟在七月份向該公司投資了10億美元，因為他知道奧特曼會以某種方式找到使投資獲利的方法。
OpenAI任務的改變
但是，技術投資公司與諸如OpenAI之類的科研實驗室之間存在根本的衝突。OpenAI的既定使命是確保人工智慧（AGI）“主要是透過嘗試構建安全的AGI並與世界分享利益，來造福全人類。”
但是AGI是一個崇高的目標，根據專家估計，它至少有幾十年的路程。科技投資者以其數十年的耐心而聞名。如果他們在幾年之內沒有獲得投資回報，他們就會感到疲倦（看看過去幾年來，儘管釋出了機器人的病毒式YouTube影片，著名的波士頓動力公司如何在投資者之間進行交易）。
OpenAI如何在AGI研究與使資助者滿意之間取得適當的平衡？
“ OpenAI正在產生一系列功能越來越強大的AI技術，這需要大量資金才能獲得計算能力。支付成本的最明顯方法是製造產品，但這將意味著改變我們的關注重點。相反，我們打算許可我們的一些AGI之前的技術，而Microsoft則成為我們將其商業化的首選合作伙伴。” OpenAI在宣佈微軟投資的部落格文章中寫道。但是有明顯跡象表明，OpenAI至少部分地成為了一家產品公司。
GPT-3的商業版本
2020年5月，微軟宣佈 “與OpenAI合作並專門為OpenAI建立世界排名前五的超級計算機”。因此，微軟利用OpenAI的才能來建立Altman所說的“我們的夢想系統”。該超級計算機將幫助OpenAI訓練其深度學習模型，但還將為Microsoft Azure雲端計算平臺的其他客戶提供服務。
不到兩週後，GPT-3論文的第一版在arXiv預印伺服器上釋出。與之前的GPT-2不同，GPT-3不會向公眾釋出。相反，OpenAI選擇了商業版本，開發人員可以在其中透過應用程式程式設計介面（API）購買對GPT-3的訪問。該OpenAI API公佈，被做了6月11日，雖然一些開發商給予提前獲得了技術。
這使GPT-3與Microsoft的Cognitive Services異常相似，後者是一個基於黑盒子的基於雲的AI平臺，可為開發人員提供API訪問計算機視覺，自然語言處理和其他AI功能的功能，而無需提供在後臺執行的模型的實際細節。 。
這至少將幫助OpenAI返還Microsoft在公司中進行的一些投資。微軟也將從合作伙伴關係中受益匪淺，因為它可能會更深入地使用該技術，並將能夠將其與Bing，Office 365，Outlook.com和Teams等產品整合。
GPT-3的商業發行使OpenAI成為AI產品公司更近了一步。這距非盈利性AI科學研究僅一步之遙。
淡化AI警告
當他們開發GPT-2時，由於擔心 “技術的惡意應用”（例如傳播垃圾郵件和虛假新聞），OpenAI團隊決定不向公眾釋出AI 。相反，他們採用了分階段的方法，釋出了較小版本的AI模型並評估了結果，然後才釋出較大的模型。雖然我當時認為效能良好的語言模型不足以造成假新聞衝擊，但我也支援在釋出技術之前暫停和思考技術後果的總體思路。
GPT-3比GPT-2大三個數量級。深度學習語言模型中的關鍵問題之一是記憶體範圍。隨著AI生成的文字變長，AI開始失去連貫性。實驗表明，較大的神經網路通常具有較長的記憶體跨度，這意味著GPT-3中被濫用的可能性比GPT-2大得多。
然而，這一次，OpenAI並沒有為GPT-3成為製造垃圾郵件機器人和假新聞生成器的武器而大聲疾呼。相反，OpenAI高管試圖淡化有關GPT-3的警告。7月，薩姆·奧特曼（Sam Altman）在一條推文中取消了“ GPT-3炒作”。GPT-3的宣傳太多了。令人印象深刻（感謝您的讚美！），但仍然存在嚴重的弱點，有時還會犯非常愚蠢的錯誤。人工智慧將改變世界，但是GPT-3只是很早的一瞥。我們還有很多事情要解決。
奧特曼的評論基本上是正確的，因為人工智慧在達到人類智慧之前還有一段路要走。GPT-3的許多實驗表明，儘管取得了令人著迷的進步，但語言模型仍然難以解決一些表徵智慧的基本任務。但是，儘管如此，奧特曼的評論具有公司高管向投資者保證一切都在控制之下的特點。
OpenAI作為產品公司
自發布以來，GPT-3受到了技術界的廣泛好評。許多開發人員和企業家都發布了GPT-3推文，生成了詩歌，模因，推文和網站模型。
一位開發人員甚至設法使用GPT-3生成用於深度學習模型的Python程式碼。
我只是使用GPT-3為機器學習模型生成程式碼，僅透過描述資料集和所需的輸出即可。這是無程式碼AI的開始,這些帖子中有許多隻是有趣的實驗。GPT-3不太可能很快取消任何工作。AI研究人員和科學家指出，深度學習模型顯然無法解決人類容易解決的抽象認知問題。
但是GPT-3具有明顯的優勢，並可能成為AI業務的轉折點。深度學習系統的關鍵限制之一是它們是狹窄的AI系統。他們在特定任務上表現良好，但在推廣到其他領域時表現不佳。要建立新的深度學習應用程式，您必須從頭訓練模型或使用轉移學習對引數進行微調，以適應新任務的預訓練模型。
這種限制阻礙了AI服務作為平臺的部署。儘管GPT-3仍然處於狹窄的AI領域，但事實證明，它可以對許多工執行零擊學習。這意味著您可以使其適應許多新應用程式，而無需重新調整其引數。
這種功能已經催生了許多使用AI模型建立新服務的想法。Debuild.co是使用GPT-3建立Web應用程式的公司。這是描述Google主頁外觀的句子，這是GPT-3幾乎完美地為其生成程式碼的句子。幫助租戶研究潛在房東的公司Augrented，正在探索使用GPT-3總結法律宣告或其他純英語版本的資訊的方式，以幫助租戶捍衛自己的權利。
另外，OthersideAI正在使用GPT-3向使用者提供創意工具。GPT-3將改變您的工作方式。介紹OthersideAI的快速響應.只需編寫您想傳達的要點，即可自動以您的個人風格編寫電子郵件。
GPT-3最終可能會成為一個新平臺，在此平臺上將建立新的業務和生態系統。這對於Altman是成功的，但是它將進一步將OpenAI吸引到成為產品/服務公司的領域。這與釋出開源AI模型並讓開發人員使用它來做自己的事情完全不同。
現在，OpenAI必須滿足客戶需求，擴充套件其基礎架構，處理合規性問題等等。隨著AI模式成為新誕生的初創公司的生死攸關的力量，OpenAI還必須應對經營深度學習業務的一些具體挑戰。OpenAI仍然必須處理諸如消除有害偏差和處理模型衰減之類的問題。這些都是昂貴的任務，尤其是在處理1750億引數的深度學習模型時。
而且OpenAI仍然必須弄清楚如何做所有這些事情，同時還要保持盈利。儘管奧特曼（Altman）是一位非常成功的企業家，但他將無法獨自經營公司的運營。隨著OpenAI進一步涉足產品管理領域，它將需要Microsoft的更多幫助。
OpenAI已經依靠Microsoft的雲基礎架構來訓練和執行其模型。但是它可能很快需要技術巨頭的幫助來處理合法性，客戶支援，隱私和安全性，產品擴充套件性等等。
OpenAI的未來
舊金山OpenAI總部
OpenAI的故事描繪了科學AI研究的挑戰。目前，人們普遍認為，更大的深度學習模型將導致更先進的AI系統。這意味著AI研究實驗室將需要大量資金來獲得人才並訓練他們日益龐大的深度學習模型。目前，唯一願意發放此類現金的組織是大型高科技公司。但是技術投資者也希望獲得投資回報，這迫使研究實驗室不得不使用其部分資源來創造有利可圖的產品。隨著時間的流逝，較大的公司可能會完全將實驗室納入自己的商業目標。
在Google收購DeepMind 之後，我們已經看到了這種現象。AI實驗室必須將資源分配給AGI研究部門和致力於創造可盈利產品的“應用AI”部門。但是該公司尚未將其所有者承擔的成本平攤。
至於OpenAI，該公司現在走的很好。該公司越是將其AI服務商業化而陷入困境，堅持原定使命的難度就越大。它是否會堅持人類人工智慧研究的透明，開放原始碼性質，還是會傾向於採用商業實體的圍牆式方法，將其研究作為公司的機密和智慧財產權予以嚴密保護？它是否會堅持其“ 對人類的主要信託義務 ”，還是投資者（以及潛在的未來所有者）的滿意將成為其主要關注點？時間會證明一切。