讀不懂NeurIPS 2018的艱深論文?我們已經為你劃好了重點

naojiti發表於2018-12-05

AI的火爆,讓今天在加拿大蒙特利爾開幕的第32屆神經資訊處理系統大會(NeurIPS 2018),就成為了各國研究組織和企業刷存在感的香餑餑。

有多火呢?

據說,今年的參會人數有9000人,大會門票在11分鐘內被一搶而空。官方自己都吐槽,只比碧昂絲演唱會賣的慢一點。

讀不懂NeurIPS 2018的艱深論文?我們已經為你劃好了重點


之所以一票難求,還是因為到場的學術界、產業界大佬太多。谷歌、亞馬遜、Facebook、微軟是不會缺席的,華為、騰訊、阿里、百度等為代表的中國隊也斬獲頗豐。值得一提的是,今年還冒出了很多中美歐之外的新面孔,印度、XXX也都有機構獲得了非常不錯的成績。

當然,學術會議核心的還是論文,NeurIPS 2018 今年也是收了個盆滿缽滿,一共收到 4856 篇投稿,創下了歷年來的最高記錄,最終被錄取的論文有 1011 篇,其中有44% 的論文作者放出了程式碼,42% 將公佈資料,無疑讓整場大會顯得乾貨十足。

情況介紹的差不多了,接下來該上“硬貨”了。但學術名詞和論文推理讀起來都有點反人類。因此,我們從自己的觀察中,為大家梳理了一下NeurIPS 2018可能是最重要的三大趨勢,幫助大家瞭解一下,學術界都發現了哪些新東西,又將給明年的AI帶來哪些新機會。

下面請大家系好安全帶,收起小桌板,準備好瓜子花生肥宅快樂水,我們開始吧。

趨勢一:深度學習依然是“最強王者”

今年NeurIPS 2018評審的 4856篇論文中,深度學習、強化學習、分散式學習等等領域依然是大熱門。

以獲得最佳論文獎的四篇論文為例,來自加拿大多倫多大學Vector Institute,通過一種新的深度神經網路模型,採取自適應來構建歸一性,無需對對資料進行分類或排序,就可以使用黑盒ODE求解器進行端到端訓練。

第二篇最佳論文的第一作者為加拿大麥克馬斯特大學Hassan Ashtiani,則通過新的相關分佈壓縮來進行分散式學習,解決了表徵學習分佈類的樣本複雜性。

第三篇則是來自華為諾亞方舟實驗室擔任一作的研究,在兩種情況下研究了分散式優化的最優收斂速度,並提出了第一個最優分散演算法:多步原始對偶(MSPD)。

第四篇的作者全部來自Google AI,提出了新的策略一致性概念,結合多項資料集,解決大規模強化學習的妄想偏見問題。

除了獲獎的四篇,收錄的1011篇論文中還有不少是深度學習方向的文章(大約25%左右),還能在“王座”的位置上待一陣子。

不過,即便是深度學習也並不是在炒冷飯。顯然,學術界也在積極反思深度學習存在的一些效率、黑箱性等問題,很多研究都是圍繞著對其進行優化展開的。

在NeurIPS 2018的論文集中搜尋“optimization”,得到了61個結果。由此可見,通過底層優化演算法,用更好的模型讓AI以更小的資料代價,更精準地解決問題,正在成為集體做功的方向。

讀不懂NeurIPS 2018的艱深論文?我們已經為你劃好了重點


趨勢二:一超多強,難以跨越的谷歌和美帝?

有機構對NeurIPS2018的論文集進行了資料分析,發現Google(包括Deepmind)仍然是毋庸置疑的AI“霸主”,以 137 篇論文成功斬獲第一名,甚至將美國同行遠遠地甩在了身後。

此外,谷歌不但開始向頂會反向輸送人才(今年大會的主席Samy Bengio就是來自谷歌的科學家 ),還開始藝高人膽大地開始探討很多極端領域命題。

比如通過Mesh-TensorFlow實現超級計算機的深度學習。利用一種分散式深度神經網路(DNN),對一些由於記憶體限制而無法訓練的超大模型,進行高效分批處理。

谷歌利用512個TPU訓練出了多達50億個引數的變壓器模型。這種基於大型資料叢集的高效並行模型演算法,足以讓其在處理航空、軍事、智慧城市等極端算力需求時,依然能保持穩定高效實時處理。

另外,“美國勢力”還有不少強隊,其中MIT(68篇)與史丹佛(57篇)領銜學術界,Microsoft(46篇)和Facebook(13 篇)領銜工業界。

Facebook在機器視覺領域提出的不少新方式,像是“雙注意力網路”、分塊座標搜尋演算法、能夠對抗無聊的新推薦系統、SING音訊合成器等等,目測都將在來年給大眾早已“審美疲勞”的社交娛樂帶來不少新意。

讀不懂NeurIPS 2018的艱深論文?我們已經為你劃好了重點


總而言之,經過幾年的激烈近身肉搏,人工智慧技術競爭格局的基本面目前已經沒有爭議了,那就是谷歌的霸主地位幾乎難以撼動,不過其他戰隊也出手不凡找到了各自的差異化突破路徑。

畢竟,谷歌還有不少純燒錢的技術,學術會議上再多的成功,未必真能在現實中凝結出商業的果實。這麼想想,吃到了酸葡萄的大家心裡想必好受了點。

趨勢三:中國身影與新晉黑馬

在這樣的競爭格局下,自然有人不願讓“美國勢力”專美。這次NeurIPS 2018,中國隊伍可謂是集體為國爭光了。

先說四篇最佳論文(Best paper awards),華人科學家陳天琦,以及華為的諾亞方舟實驗室,就分別以第一作者的身份摘得殊榮,佔據了半壁江山。

華人學者也表現不俗,清華大學有 21 篇論文被收錄,論文數量排名第十。來自南京大學的張利軍就有 3 篇論文被收錄,周志華等人提出了無組織惡意攻擊檢測演算法UMA,CMU的教授邢波和微軟研究院的朱澤園也有多篇論文榜上有名。

中國的科技企業巨頭也紛紛實力炫技。華為捧回最佳論文獎,阿里iDST(資料科學與技術研究院)就霸氣演示了全中文demo,騰訊AI Lab則以 17 篇文章被收錄的實力與美國AI軍團一較高下。

總體而言,中國軍團的學術水準體現出了不容忽視的力量感。

本屆大會一共釋出了86篇論文,數量上接近10%,遠超英法等國。質量上AI那些關鍵領域一個都沒有遺漏,產學研各個層面都在進入技術加速並肩甚至超越的黃金週期。

不過,人工智慧的狂飆突進也並不是只有中美在互相搶分。今年的最佳論文及作者,都有加拿大幾所大學的相關背景,加拿大在人工智慧領域的存在感和影響力,比我們以為的要強得多。

在NeurIPS的AutoML挑戰賽中,來自印度的團隊Autodidact.ai 也成功出道,取得競賽第一名(清華、中南大學等隊伍摘得亞季軍)。

讀不懂NeurIPS 2018的艱深論文?我們已經為你劃好了重點


(NeurIPS 2018 AutoML for Lifelong Machine Learning 競賽結果以及團隊成員名單)

總而言之,在接下來的短時間內,來自美國的企業和高校(谷歌/MIT)等依然代表著最強大的“科研勢力”,但其話語權是否也能進一步擴張?還真是未知數。

因為其他各國的優勢也越來越多,黑馬不斷湧現,而美國對AI也變得越來越敏感和防備(無處不在的政治正確、貿易戰下的嚴苛簽證策略),這些都正在悄無聲息地改變看似已經被框定的AI世界。

那麼,在感受谷歌“有技術就是可以為所欲為”的打擊之外,或許我們可以一起期待一下,未來的中國速度、印度速度、楓葉國現象……


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/31561483/viewspace-2284315/,如需轉載,請註明出處,否則將追究法律責任。

相關文章