深度學習“壟斷”!分析17萬篇AI頂會論文,他們首次揭示了計算資源貧富分化的證據

大資料文摘發表於2020-11-23

深度學習“壟斷”!分析17萬篇AI頂會論文,他們首次揭示了計算資源貧富分化的證據

“權力、專家、資料,正在向少數幾家巨頭公司彙集。”

2019年,當圖靈獎得主Yoshua Bengio說出這句話的時候,所有人其實都早有感知

深度學習“壟斷”!分析17萬篇AI頂會論文,他們首次揭示了計算資源貧富分化的證據

 的確,深度學習時代,學術界計算能力的不平等正在進一步加劇不平等。但最近,第一次有學者將“人工智慧資源的壟斷”作為研究物件進行了詳細的分析,並且將結果用論文呈現了出來。

這一研究來自弗吉尼亞理工大學和西方大學的人工智慧研究人員。作為“非精英大學”的代表,他們分析了60場全球頂級人工智慧峰會(包括ACL, ICML, and NeurIPS )的171394篇論文後得出結論,學術界算理的不平等正在加劇,特別是排名中下的大學,學術資源每年都在被蠶食。

論文給出了幾個有意思的結論:

  • 自2012年深度學習的意外增長以來,公司,尤其是大型技術公司和精英大學增加了對主要AI會議的參與;這裡的精英大學指的是在QS世界大學排名中排名1-50的大學;

  • 此外,研究人員發現了兩種策略,可以透過這些策略來提高公司在人工智慧研究領域中的影響力:首先,公司為單獨發表人的論文研究釋出數量在逐年增多;其次,公司主要與精英大學合作進行論文研究。因此,公司和精英大學在人工智慧研究中的不斷增長,擠佔了排名中等(QS排名201-300)和排名靠後(QS排名301-500)大學的資源。

  • 此外,研究還發現,大批研究人員正離開大學,從事高薪產業工作,這正在對學術界造成重要影響。

深度學習“壟斷”!分析17萬篇AI頂會論文,他們首次揭示了計算資源貧富分化的證據
論文地址:

https://arxiv.org/pdf/2010.15581.pdf

深度學習壟斷”:中低排名高校的研究資源正在被蠶食

 
Nur Ahmed和Muntasir Wahed在一篇題為《人工智慧的去民主化:人工智慧研究中的深度學習和計算鴻溝》的論文中表達了對於“深度學習壟斷”的看法。這篇論文最近發表在arXiv上,並於10月底在戰略管理學會(Strategic Management Society)一個商業研究研討會上發表。

論文分析了近60個全球人工智慧研討會,包括171394篇論文。這些研討會都是人工智慧領域最有影響力的峰會,比如ACL、ICML和NeurIPS,領域涉及計算機視覺資料探勘機器學習和NLP。

人工智慧越來越受到少數參與者的影響,並且這些參與者大多隸屬於大型技術公司或精英大學。要真正讓人工智慧實現‘民主化’,需要政策制定者、學術機構和企業層面的參與者共同努力,解決計算鴻溝問題。”
 
事實上,富裕的大學和大公司在深度學習方面具有優勢,這一點並不奇怪。像AlphaGoZero和GPT-3這樣的大型現代網路需要數百萬美元用於算力的訓練,並且2019年12月的一份分析報告將谷歌、史丹佛大學、麻省理工學院、卡內基梅隆大學、加州大學伯克利分校和微軟列為引領人工智慧研究研討會的前六大貢獻者。
 
與此同時,規模較小的學校往往缺乏資金來顧及深度學習的應用,這種侷限性可以定義學術界研究人員探索的人工智慧的種類,或者加速學術界人才流失。近期,大量學術人才正湧向有足夠資金的大型科技公司。
 
該論文透過資料分析證實了這一“機會差距”,論文稱自深度學習興起以來,QS排名排名301-500位的“低等大學”在人工智慧研究會議上發表的論文,每年平均減少6篇;
深度學習“壟斷”!分析17萬篇AI頂會論文,他們首次揭示了計算資源貧富分化的證據
與此相對,與《財富》500強企業、大型科技領袖和精英大學的論文釋出量一直居高不下。
深度學習“壟斷”!分析17萬篇AI頂會論文,他們首次揭示了計算資源貧富分化的證據

AI研究壁壘:計算資源和資料增加知識生產成本

 
這也是第一次直接有證據表明,對專業資源、社備的需求增加會導致科學領域的貧富差距。論文稱,深度學習的興起大大增加了計算和資料的重要性,而這反過來又增加了知識生產成本,從而增加了進入壁壘。
 
研究人員表示,他們的研究揭示了一系列社會斷層線導致的“計算鴻溝”。精英大學往往擁有更多富有的學生,但其多樣性通常較少。同樣的情況其實也存在於大型科技公司,其同樣缺乏多樣性,尤其是在工程師、產品設計人員和人工智慧研究方面。
 
由於人工智慧已經成為影響商業、公共服務和私人生活各個方面的通用技術,這種人口上的單一性造成了廣泛的後果。
 
在分析這一趨勢時,Ahmed和Wahed將人工智慧的歷史分為兩個時代。他們將第一次定義為從1960年代到2012年,那時通用硬體被用來訓練人工智慧。在第二個時代,深度學習和GPU這樣的專業硬體已經定義了這個產業,因為在ImageNet影像分類競爭中,這兩類因素可以有效地提高計算機視覺
深度學習“壟斷”!分析17萬篇AI頂會論文,他們首次揭示了計算資源貧富分化的證據
在第二個時代,如上圖所示,500強科技企業對人工智慧的投入進入了一個爆發期:他們在頂會發布的論文數量每年以極高的速度增長。

解決方案:建立全國性的“人工智慧研究雲” 


當談到解決方案時,研究者稱他們的發現提供了“具體的證據”,來證明學術機構需要一個全國性的“人工智慧研究雲”。
 
今年6月,美國各大大學、科技公司和美國參議院議員支援了美國建設國家人工智慧研究雲的構想,共享的公共資料集可以幫助訓練和測試人工智慧模型,這對資源受限的組織尤其有利。
深度學習“壟斷”!分析17萬篇AI頂會論文,他們首次揭示了計算資源貧富分化的證據
這篇論文最後提議,美國政府應該透過擴充套件共享的公共資料集和其他資源來幫助大學。像國防創新委員會(Defense Innovation Board)和美國國家安全委員會(National Security Commission on AI,NSCAI)這樣的組織建議五角大樓和國會增加公私合作伙伴關係、政府基金以及與遠端工作的開發者的聯絡,以此來吸引非傳統背景的人才。
 
在接下來的幾個月裡,或許我們將很快看到進展,美國新當選總統拜登之前曾做出承諾,將投資3000億美元用於5G人工智慧等領域的研發。
 
Ahmed和Wahed的發現也得到了最近其他論文的支援,例如,一篇名為《人工智慧、人力資本與創新》的論文發現,在2004年至2018年期間,人工智慧造成了學術界前所未有的人才流失,導致200多人離開大學到產業就職。這篇發表於2019年秋季並於上月更新的論文中發現,頂尖大學、博士生和深度學習的初創企業都是從當前人工智慧人才短缺中受益最多的。分析還發現,卡內基梅隆大學、麻省理工學院和史丹佛大學在校友們繼續創辦人工智慧創業公司的大學中排名最高。此外,最近還有不少論文評估了人工智慧生態系統,以及該技術在使學術界和產業界更緊密聯絡方面的作用。
 
除了頂會論文的資料分析,Ahmed和Wahed的論文還是基於對高校計算機系主任的採訪後寫出的。受計算機研究協會(CRA)委託,他們對200多名高校電腦科學系主任進行的關於產業對學術界影響進行了調查採訪,這項研究確定了學術界和產業界密切合作的積極和消極結果,包括計算機研究人員正在向產業工作流失。
 
一份關於調查的白皮書寫道:“這種轉變有可能對所做研究的種類、研究質量、電腦科學系的文化以及本科生和研究生的培養產生負面影響,需要特別關注與系文化、潛在利益衝突、智慧財產權相關的問題,並確保學生繼續得到足夠的教師指導和聯絡,為他們的職業生涯做好準備。”
 
相關報導:

https://venturebeat.com/2020/11/11/ai-research-finds-a-compute-divide-concentrates-power-and-accelerates-inequality-in-the-era-of-deep-learning/

https://cra.org/cra-committee-on-industry-academia-interactions-releases-report/

相關文章