圖靈獎背後:他們 30 年前就選對了賽道,押對了場景

超神經HyperAI發表於2019-04-03

獲得圖靈獎的必要條件之一,就是對於計算機領域有著重大的研究突破,和對社會的重要貢獻。三位前輩之所以能夠讓獲獎實至名歸,也是因為他們不僅在科研上取得了巨大的學術突破,同樣在現實場景問題的實踐解決上,走在了最前端。

圖靈獎自 1966 年設立以來,多數獎勵了為計算機事業作出重要貢獻的個人,

深度學習領域內的三位大佬 ,收穫了 2018 年計算機行業最高榮譽——圖靈獎。對於他們的獲獎,稱得上是實至名歸。在經歷了深度學習的不被理解和不受重視,到如今幾乎遍地開花的應用,他們在這項技術的革新和推動上,有著功不可沒的影響力。 

關於他們的報導和成就,在此就不予贅述,我們從幾個小的場景,看一看這三位頂級的研究者,是怎麼一路披荊斬棘的。 

LeCun 的當家技術,緣起銀行支票

促使 LeCun 投身手寫識別,其實是一個基於機緣巧合的專案。當時正當壯年的 LeCun 正在貝爾實驗室(當時還從屬於 AT&T 公司旗下)擔任小組負責人,AT&T 作為當時最頂尖的通訊技術企業,計劃於美國的各大銀行合作盡行新的研究專案。

其中最令銀行頭疼的就是,如何識別大量手寫的支票與票據。在當時的年代,識別手寫的字元是一項艱難的挑戰,傳統的方法很慢而且識別率不高。 

Lecun 將反向傳播演算法融入卷積神經網路( CNN ),利用美國郵局提供的近萬個手寫數字樣本來訓練系統,最終在實際測試的過程中,錯誤率只有 5 % 。 

將手寫字元通過變換轉化成規整的影象

緊接著,這一創新性的技術,被用在多家銀行 ATM 的支票識別系統,在 20 世紀 90 年代末期,這個系統處理了美國 10% 到 20% 支票的識別。 

Lecun 的這個研究首次提出了 CNN ,在當時的環境下,取得了商用級別的正確率。證明了深度神經網路在影象處理上具有天然的優勢。 

但當時的技術和硬體上,深度網路的發展仍有很多的弊病,比如算力跟不上。儘管該演算法取得巨大的成功,但是它在資料集上訓練時間長達三天。 

在此後的一段時間裡, AI 又遭遇了冷遇,加上支援向量機( SVM )的易用性,深度學習並沒有被重視起來,反而是被視作旁門左道的技術。

論文地址:http://yann.lecun.com/exdb/publis/pdf/lecun-89e.pdf

LeCun 又尋自動駕駛新場景

直到 2006 年,在 Yoshua Bengio , Yann LeCun, Geoffrey Hinton 等人長期的堅持和推動下,加上一些新的觀點和方法融入,這個原本不被大多數人看重的技術,慢慢的在綻放自己的光芒。 

2006 也被稱為深度學習元年,Hinton 解決了之前遇到的難題:深層網路中的梯度消失問題。 

跳躍到 2009 至 2010 年,Lecun 和紐約大學合作了一項實驗,通過深度學習的技術,從圖片中識別出建築,天空,道路,行人以及車輛。 

成果展示

影象識別的關鍵步驟是場景解析,包括標記影象中每個元素與它相對應的類別,然後是劃分割槽域和標記。這個步驟的挑戰是,它結合了傳統的檢測問題,分割和多標籤識別處理。 

為了達到良好的視覺分類以及準確性,他們使用卷積神經網路。在研究中,論證了一個前饋卷積網路,通過受監督的端到端訓練方式,從大尺寸圖向中提取原始畫素的多種尺度,在標準場景解析資料集上得到了當時最領先的水平。 

成果展示

值得一提的是,這個模型沒有依靠特徵工程,而是使用監督式學習,從完全標記的影象進行訓練以適當學習低階和中級功能。 

論文地址:http://yann.lecun.com/exdb/publis/pdf/farabet-pami-13.pdf

谷歌的最佳公關:Hinton 和糖網病

如果說從 2006 年,深度學習逐漸吸引了更多的研究者,那麼進入 2012 年之後,它的發展正式進入了快速的模式。

2012 年,Hinton 帶領的團隊在 ImageNet 大賽上,用深度神經網路的方法,在圖片識別上一騎絕塵。

2016 年,基於深度學習的 AlphGo 擊敗李世石,深度學習也讓 AI 被很多人所熟知。在沉寂了多年之後,深度學習正式進入爆發期,它在視覺處理,語音識別等多個領域的潛力完全彰顯了出來。 

一個很小的例子:在 2017 年, Geoffrey Hinton 帶領谷歌大腦用一種新的分類方法,輔助醫療診斷。通過給個體標籤建模來提高分類能力,同時也展示了通過採用這種標記方法,提升了計算機輔助診斷糖尿病導致視網膜病變的準確度。 

不同類別的樣本影象

這種創新的方法,用來處理那些數量巨大的、需要藉助專家來標記標籤的現實資料。 

在當時,給資料集進行標記的任務通常是由許多專家分工完成,每位專家只標記其中一小部分資料而同一個資料點又包含有多位專家所標記的標籤。 

這樣的做法有助於減少個人工作量,還有助於揭開資料中難以發現的真相。當專家們對同一個資料點的標籤存在不同意見時,標準的做法是將獲得更多專家支援的標籤作為正確的標籤,或者將正確的標籤進行建模以獲得分佈狀態。 

但是,這樣的做法忽視了有關於哪些專家標記了哪些標籤這一潛在的有效資訊。比如有獨特專長的專家發現的情況,可能因為別人都不知曉而最終被演算法忽略。 

谷歌大腦團隊提出要單獨對專家進行建模,然後學習平均權重以組合這些資訊,比如說可能是以樣本特定的方式進行組合。通過這種方法,就能給更可靠的專家分配更多的權重,並利用個別專家的獨特優勢來對某些特定型別的資料進行分類。 

不同的神經網路示意圖

通過對深度神經網路的應用,他們將這個分類方法,改善了通過視網膜診斷糖尿病的診斷方式,想比於其他方法,他們提供的演算法效能也更加優異。 

選對賽道,離圖靈獎更近一些

2019 年 3 月 27 日,2018 年的圖靈獎公佈,深度學習的三位長期耕耘者 Yoshua Bengio,  Geoffrey Hinton 和 Yann LeCun  獲獎,理由是:他們對深度神經網路的發展起到了至關重要的作用。 

誠然,在深度學習的發展道路上,他們三人的貢獻諸多不勝列舉,文中所列舉的三個場景,僅僅是他們成功的契機之一。我們能看到得獎後的光榮,但對於他們,最珍貴的應該是對自己所相信的賽道與技術,幾十年如一日的投入和熱忱。

點選閱讀原文

相關文章