1.1 深度學習簡介
⽬前的機器學習和深度學習應⽤共同的核⼼思想：我們可以稱其為“⽤資料程式設計”。函式的形式通常通過我們的知識來對針對特定問題選定：例如我們使⽤⼀個⼆次函式來判斷影像中是否含有貓。但是像⼆次函式係數值這樣的函式引數的具體值則是通過資料來確定。
通俗來說，機器學習是⼀⻔討論各式各樣適⽤於不同問題的函式形式，以及如何使⽤資料來有效地獲取函式引數具體值的學科。深度學習是指機器學習中的⼀類函式，它們的形式通常為多層神經⽹絡。近年來，仰賴於⼤資料集和強悍的硬體，深度學習已逐漸成為處理像影像、⽂本語料和聲⾳訊號等複雜⾼維度資料的主要⽅法。
我們現在正處於⼀個程式設計越來越多得到深度學習的幫助的時代。這可以說是電腦科學歷史上的⼀個分⽔嶺。舉個例⼦，深度學習已經在你的⼿機⾥：拼寫校正、語⾳識別、認出社交媒體照⽚⾥的好友們等等。
1.1.1 起源
雖然深度學習似乎是最近⼏年剛興起的名詞，但它基於的⽤資料程式設計和神經⽹絡的核⼼思想已經被研究了數百年。⾃古以來，⼈類就⼀直渴望能從資料中分析出預知未來的竅⻔。實際上，資料分析正是⼤部分⾃然科學的本質，我們希望從⽇常的觀測中提取規則，並找尋不確定性。
早在 17 世紀，雅各⽐·伯努利（1655–1705）提出了描述只有兩種結果的隨機過程（例如拋擲⼀枚硬幣）的伯努利分佈。⼤約⼀個世紀之後，卡爾·弗⾥德⾥希·⾼斯（1777–1855）發明了今⽇仍⼴泛使⽤在從保險計算到醫學診斷等領域的最小⼆乘法。概率論、統計學和模式識別等⼯具幫助⾃然科學的實驗學家們從資料迴歸到⾃然定律，從而發現瞭如歐姆定律（描述電阻兩端電壓和流經電阻電流關係的定律）這類可以⽤線性模型完美表達的⼀系列⾃然法則。
克勞德·⾹農（1916–2001）的資訊理論以及阿蘭·圖靈（1912–1954）的計算理論也對機器學習有深遠影響。圖靈在他著名的論⽂《計算機器與智慧》中提出了“機器可以思考嗎？”這樣⼀個問題。在他所描述的“圖靈測試”中，如果⼀個⼈在使⽤⽂本互動時不能區分他的對話物件到底是⼈類還是機器的話，那麼即可認為這臺機器是有智慧的。時⾄今⽇，智慧機器的發展可謂⽇新⽉異。
另⼀個對深度學習有重⼤影響的領域是神經科學與⼼理學。既然⼈類顯然能夠展現出智慧，那麼對於解釋並逆向⼯程⼈類智慧機理的探究也在情理之中。最早的演算法之⼀是由唐納德·赫布（1904–1985）正式提出的。在他開創性的著作《⾏為的組織》中，他提出神經是通過正向強化來學習的，即赫布理論 [2]。赫布理論是感知機學習演算法的原型，併成為⽀撐今⽇深度學習的許許多多的隨機梯度下降演算法的基⽯：強化合意的⾏為、懲罰不合意的⾏為，最終獲得優良的神經⽹絡引數。
來源於⽣物學的靈感是神經⽹絡名字的由來。這類研究者可以追溯到超過⼀世紀前的亞歷⼭⼤⻉恩（1818–1903）和查爾斯·斯科特·謝靈頓（1857–1952）。研究者們嘗試組建模仿神經元互動的計算電路。隨著時間發展，神經⽹絡的⽣物學解釋被稀釋，但仍保留了這個名字。時⾄今⽇，絕⼤多數神經⽹絡都包含以下的核⼼原則：
- 交替使⽤線性與⾮線性處理單元，經常被稱為“層”
- 使⽤鏈式法則（即反向傳播）來更新⽹絡的引數
本作品採用《CC 協議》，轉載必須註明作者和本文連結