剛剛,我們詳細對比了吳恩達和Udacity的深度學習課程,你們感受下...

AI科技大本營發表於2019-03-03

​相信吳恩達公佈新專案之一——線上課程已經刷遍朋友圈了,順帶的,連他的生平背景也順便給縷了一個遍了,AI科技大本營就不湊這個熱鬧了。


不過,本著一絲不苟出產乾貨的原則,今天,我們要來扒一扒,這個課程到底腫麼樣?

剛剛,我們詳細對比了吳恩達和Udacity的深度學習課程,你們感受下...

吳恩達親自上陣授課


欲知真相如何,總得對比著來看。那我們就把大火的Udacity搬出來對比一下。


我們採訪到了一位此前參與了Udacity “深度學習奈米學位”的資深學員,正好他也剛剛體驗完吳恩達推出的深度學習課程,他從視訊質量及練習題質量等方面對兩者進行了詳細的對比。


Udacity VS Deeplearning.AI


我今年三月份報名參加了 Udacity 的深度學習奈米學位,經過幾個月的學習,基本瞭解了神經網路、CNN、RNN、GAN 的概念,並且通過五個專案的聯絡,具備了一定的動手能力。我的體會是,Udacity 的這個奈米學位課程,精華在於專案。


坦率的說,他們家的視訊課程的理論講授部分本身並不是很出色,很多內容我聽得雲裡霧裡,比如CNN和 RNN的理論介紹部分,說真的有走過場的感覺。但是這個奈米學位的專案作業的設計不得不點贊。五個大專案,每一個都有詳細的目標和完備的 Notebook。Notebook 的內容之清晰,考慮之周到,在我參加過的線上培訓課程中無出其右。所有的專案作業都由 Udacity 的老師手工批改,這一點尤其令人感動,批改細緻,不但告訴你對不對,還告訴你為什麼,有什麼更好的做法。更有趣的是,這些改卷的老師還經常跟我說一些鼓勵的話,讓我很有成就感。


按照 Notebook 的要求,你必須反覆聽課,甚至要參考很多課外資料才能把題目做出來。如果說我從這個過程中學到了一點東西,90%是被專案逼出來的,不是靠聽課聽出來的。


在五個必做專案之外,其實課程本身還示範了上十個專案,比如文字生成、股票價格預測等等,我知道有些同學超級認真,也超級有時間,所有這些示範專案也都完成了,想必學到的東西和程式設計功力會遠在我之上。


另外一個要點讚的是這個課程的論壇,非常活躍,超級有愛。


現在吳恩達的課程一上線,我馬上就註冊了,看了幾節課,更重要的是看了一下專案的設計。我曾經上過吳恩達的機器學習課程,對他講授理論的水平超級欽佩,看上去很複雜的問題,他抽絲剝繭、舉重若輕的就給講明白了。


在這個新的深度學習課裡,我非常激動的感到,吳恩達繼續保持了他強大的腦波發射力,真的能幫我把理論上的很多不足和坑填上。


從內容來說,其實兩個課程覆蓋的東西差不多,但吳恩達的課程在結構上明顯更具匠心,比如說把 dropout、Mini-batch 這些技術都歸於 Optimization 之下,就非常容易幫我搞清楚它們的定位和關係。而我學習 Udacity 課程時,搞了半天都不知道這兩個技術的目的是什麼,還是參考了很多第三方資料才有所理解。


再比如吳恩達課程裡專門把超參調校拎出來作為一個模組來講,這個太重要了。有人說,認為深度學習只是調超參的人,實際上一定是連超參都不會調,所以調超參背後的理論,真的是太重要了。


現在很多技術類課程都以“實戰”為榮,以“理論”為恥。我覺得這個態度在深度學習這門課裡絕對要不得,因為理論太重要了。理論如果不搞懂,你照貓畫虎做幾個例子就以為自己掌握了,但一遇到新的問題立刻就會抓瞎。從這個意義上來說,吳恩達的課程如果能夠延續自己之前在《機器學習》課程中的理論教授水平,那毫無疑問對我們學習者來說是一個巨大的福利。


再談談練習層面。我看了這個課程當中的一些練習,感覺相比於 Udacity 還是略有進步。


第一是可以線上練習、線上訓練、線上提交。Coursera 開了一個伴侶網站叫做 coursera-notebooks.org,這個課程的作業以線上 notebook 的形式放在這個伴侶網站上,我們在這個網站上昨晚練習之後,點一個鍵就可以提交了。而 Udacity 的作業需要自己在本機上做完之後,打包成 zip 檔案上傳,或由 Github 方式提交,比較麻煩。在這方面吳恩達課程是有優勢的。


現在我還不知道當做 CNN、RNN 的時候,Coursera 課程是否會自動分配 GPU 資源。在 Udacity 上,我們需要自己去找 GPU 資源(課程官方推薦了一個 GPU 雲,但是得自己去註冊使用),如果 Coursera-notebooks.org 能夠在背後自動動態配置 GPU 資源給學員,那就太牛了。


第二是專案練習的題目質量,我覺得目前評價還為時尚早。因為吳恩達課程的第四、第五門,也就是 CNN 和 RNN 的課還沒推出來,看不到他會給學生設計怎樣的練習題。但是 Udacity 的習題還是不錯的,特別是,我再強調一遍,Udacity 的批改老師真的很負責。


總之,最近這段時間學習深度學習的朋友們心情大爽,前有 Udacity 的深度學習奈米學位,後有《深度學習》花皮書,現在又來了吳恩達的課程。深度學習者的盛宴時代開始了,酷!


此外,魯朗軟體(北京)有限公司聯合創始人,花伴侶團隊機器學習負責人,AI科技大本營智庫專家智亮老師第一時間看到吳恩達課程大綱後,也分享了他的看法:


從課程大綱來看,這次的五節內容最大的特點是兩個:


一個是比較新,思路清晰,且全面,基本上涵蓋了學術界最新的進展,雖然還屬於比較基礎和通用的部分,但是和吳恩達原來的機器學習課程相比,已經算是和學術界的state-of-the-art接軌了。


第二個特點就是偏工業,目標比較明確,可以培養工業適用的經濟適用型程式猿,它的實戰專案確實都非常貼近近期的工業焦點,如自動駕駛、醫療等。習題和專案做完之後,確實足夠去做相關行業的工作了。


吳恩達有將複雜問題抽絲剝繭講得很明白的實力,以及他對工業的瞭解,很可能再次成為一個爆款課程。


那麼,吳恩達的課程內容有哪些?課程結構如何?有哪些練習題?


以下是本次吳恩達即將開啟的線上深度學習專項課程的詳細介紹,AI科技大本營在第一時間將其全部翻譯完畢,來看看吳恩達到底會給想要學習AI的程式猿們帶來什麼驚喜?


課程詳細介紹


目標:


通過這5門課程,你將學會深度學習的基礎,弄懂如何搭建神經網路,並掌握如何組織起一個成功的機器學習專案。


具體技能:


  • 你將會學到卷積網路、RNN、LSTM、Adam、Dropout、BatchNorm、Xavier/He initialization等;

  • 瞭解並學習深度學習在醫療、自動駕駛、手語識別、音樂生成、自然語言處理等領域的真實案例;通過這一“機器學習飛行模擬器”的學習,特別是通過其中具體案例的研究,你將獲得接近於真實的“行業經驗”,併為面向工業界的機器學習研究做好準備;

  • 學到Python和TensorFlow,並親手打造最先進的深度學習模型。


剛剛,我們詳細對比了吳恩達和Udacity的深度學習課程,你們感受下...


此外,每一門課,你都將能聽到來自深度學習頂級專家們的分享,他們會講講自己的深度學習故事,併為你的深度學習之路提一些建議。


目前,deeplearning.ai會同英偉達的深度學習研究院(Deep Learning Institute)在一些專門的深度學習高等話題上合作,為學生的程式設計作業提供GPU運算。你將有機會在最先進的工業級環境中打造自己的深度學習專案。


▌第一課 神經網路與深度學習


  • 即將開課的班次:8月15日—9月18日

  • 課程學習時間:4周,每週3-6小時

  • 字幕:英語

剛剛,我們詳細對比了吳恩達和Udacity的深度學習課程,你們感受下...

  • 課程概述:如果你想學習最前言的AI知識,本門課程剛好能幫到你。深度學習工程師正受到高度熱捧,掌握深度學習相關知識會為您帶來無數的全新機遇。深度學習還是一種全新的“超能力”,能讓你做出幾年前不可能實現的人工智慧系統。

在本課程中,您將學到深度學習的基礎知識。學習完本課程,您將:


  • 理解推動深度學習的主要技術趨勢

  • 能夠構建、訓練和應用全連線深度神經網路

  • 知道如何實現高效(向量化)神經網路

  • 瞭解神經網路架構中的關鍵引數


本課程還會帶你瞭解深度學習事實上的運作機制,而非僅提供粗略或表層的描述。 完成本課程後,你將能把深度學習應用到你自身的領域之中。如果您想尋求一份與AI相關的工作,學完本課程,您將能夠回答一些基本的面試問題。


這是深度學習專項課程的的第一門課。


  • 第1周:深度學習介紹


這部分主要介紹推動深度學習興起的主要趨勢,瞭解當下深度學習應用的具體方面,以及如何來應用它。


吳恩達視訊採訪:Geoffrey Hinton

剛剛,我們詳細對比了吳恩達和Udacity的深度學習課程,你們感受下...

吳恩達通過視訊採訪Geoffrey Hinton截圖


  • 第2周:神經網路基礎


這一部分我們將學習如何用神經網路來解決機器學習問題,學會如何用向量化來加速模型。

剛剛,我們詳細對比了吳恩達和Udacity的深度學習課程,你們感受下...

  • 圖片擷取自第二週課程的Binary Classification專題線上課程


吳恩達視訊採訪:Pieter Abbeel


  • 第3周:淺層神經網路


這一部分我們將學習使用前向傳播和反向傳播構建一個帶有隱含層的神經網路。


吳恩達視訊採訪:Ian Goodfellow

剛剛,我們詳細對比了吳恩達和Udacity的深度學習課程,你們感受下...

擷取自吳恩達面對面採訪Ian Goodfellow的視訊


  • 第 4 周:深度神經網路


在這部分,你將瞭解深度學習中的關鍵計算,使用它們來構建和訓練深度神經網路,並將其應用於計算機視覺。


▌第二課 改進深層神經網路:超引數調優、正則化與最優化


  • 即將開課的班次:8月15日—9月11日

  • 課程學習時間:3周,每週3-6小時

  • 字幕:英語

  • 課程概述:本課程教你的將是如何把深度學習用得更好的“魔法”。深度學習的內部過程不該是個黑箱,您應當理解效能表現背後的因素,進而更為系統地各種優秀結果。 您還將學會TensorFlow。


通過3周的學習,您將:

  • 理解打造深度學習應用的行業最佳實踐;

  • 能夠有效地利用普通神經網路的“技巧”,包括初始化、L2和退出正則化、Batch歸一化、梯度校驗;

  • 能夠實現和運用各種優化演算法,小型Batch梯度下降,Momentum,RMSprop和Adam,並能檢驗它們的收斂性;

  • 理解深度學習時代設定 訓練/開發/測試 資料集並分析 誤差/方差 的全新最佳實踐;

  • 能夠在TensorFlow中實現神經網路。


這是深度學習專項課程的第二門課。


  • 第1周:深度學習實踐


吳恩達視訊採訪:Yoshua Bengio


  • 第2周:演算法優化


吳恩達視訊採訪:林元慶


  • 第3周:超引數調優、Batch歸一化與程式設計框架


▌第三課 構建機器學習專案


  • 即將開課的班次:8月15日—9月4日

  • 課程學習時間:2周,每週3-4小時

  • 字幕:英語

  • 課程概述:您將學會如何打造出一個成功的機器學習專案。如果您渴望成為AI領域的技術領導者,並想弄懂如何團隊工作設定方向,本課程將為指明道路。


本門課程的多數內容來自我開發和推廣深度學習產品的經驗,其他任何地方均從未有教授。本課程還設有兩個用於練習機器學習專案領導決策的“飛行模擬器”,能夠提供給你只有經歷數年機器學習工作實踐才能獲取到的“行業經驗”。

通過2周的學習,您將:


  • 弄懂如何診斷機器學習系統中的錯誤

  • 有能力篩選出最有希望降低錯誤的工作方向

  • 理解複雜的機器學習設定,如 訓練/測試 資料集的不配備,並能對比 和/或 實現超越人類水平的表現

  • 弄懂如何應用端對端學習、遷移學習和多工學習


我遇到過僅僅因為不理解一些機器學習原則而而浪費數月甚至數年時間的團隊,所以我要用一門課程來教授這裡的原則,希望這個為期兩週的課程能幫您省下這些時間。


本課程是一門獨立課程,只要具備基本的機器學習知識就可以參加。這是深度學習專項課程的第三門課。


  • 第1周:深度學習策略 (1)


吳恩達視訊採訪:Andrej Karpathy


  • 第2周:深度學習策略 (2)


吳恩達視訊採訪:Ruslan Salakhutdinov


▌第四課 卷積神經網路


  • 課程內容及時間安排將在數週內公佈

  • 字幕:英語

  • 課程概述:本課程將教您如何構建卷積神經網路並用它來處理影象資料。在深度學習的驅動下,計算機視覺近兩年來取得了巨大的進步,從安全的自動駕駛到精確的面部識別再到醫學放射影像的自動讀取,出現了無數激動人心的應用研究成果。


您將:


  • 理解如何構建卷積神經網路,包括它最新的變體,如殘差網路。

  • 弄懂得如何用卷積神經網路來完成視覺檢測和識別任務。

  • 弄懂如何用風格轉換器創造藝術影象。

  • 能用這些演算法來處理各種各樣的影象、視訊,以及其他2D或3D資料。


這是深度學習專項課程的第四門課。


▌第五課 序列模型


  • 課程內容及時間安排將在數週內公佈

  • 字幕:英語

  • 課程概述:本課程將教會你為自然語言、音訊和其他序列資料構建模型。在深度學習的驅動下,序列演算法近兩年來取得了巨大的進步,語音識別、音樂合成、聊天機器人、機器翻譯、自然語言理解等領域湧現出無數激動人心的成果。


您將:


  • 弄懂如何構建並訓練遞迴神經網路(RNN)及其常用的變體,如GRU、LSTM。

  • 能用序列模型解決自然語言問題,包括文字合成問題。

  • 能用序列模型實現音訊應用,包括語音識別和音樂合成。


這是深度學習專項課程的第五門課,也是最後一門。


課程相關資訊


國外媒體稱吳恩達此次的線上深度學習專案“Deep Learning Specialization”是迄今為止,最全面、系統和容易獲取的深度學習線上課程。登陸Coursera可以觀看。


日前,5門課程中,前3門課已經就緒,由吳恩達親自出鏡授課。


課程將按月費收費,每月49美元。不過,根據Coursera的規則,使用者申請的線上課程,前7天裡可以無限量訪問。

剛剛,我們詳細對比了吳恩達和Udacity的深度學習課程,你們感受下...

目前,7天的免費試用已經開啟,感興趣的小朋友可以火速前往課程圍觀。


剛剛,我們詳細對比了吳恩達和Udacity的深度學習課程,你們感受下...


不過,這個線上課程在中國大陸無法正常觀看,有需要的小夥伴...(你懂的)


附:Udacity 深度學習奈米學位課程大綱


部分 1:神經網路


神經網路是深度學習的基石。在這部分課程中,你將學習神經網路的基本原理,並在實戰專案中從頭開始構建一個神經網路。


部分 2:卷積神經網網路


卷積神經網路是解決視覺問題的標準答案。 在無人駕駛車,面部識別,醫學影像等領域,都有它的應用。在這部分課程中,你將瞭解卷積神經網路的基本原理,並在實戰專案中用它來解決圖片分類問題。


部分 3:迴圈神經網路


迴圈神經網路對預測音樂和文字等有序資料非常有用。利用這個神經網路,你可以生成新音樂,翻譯文字,或通過腦電圖預測癲癇發作。在這部分課程中,我們將教你如何搭建和訓練一個迴圈神經網路。


部分 4:生成對抗網路


生成對抗網路是無監督學習的一種。在生成對抗網路中,兩個神經網路相互競爭,通常可用於生成影象資料。在這部分課程中,你將學習如何搭建自己的生成對抗網路,並讓兩個神經網路互相競爭。


相關連結

https://www.coursera.org/specializations/deep-learning

https://medium.com/@andrewng/deeplearning-ai-announcing-new-deep-learning-courses-on-coursera-43af0a368116



相關文章