深度學習day1（第一章：什麼是深度學習？）

1.1 人工智慧，機器學習和深度學習

關係：

【1】人工智慧

努力將通常由人類完成的智力任務自動化，包括了機器學習與深度學習

【2】機器學習

在經典的程式設計（即符號主義人工智慧的正規化）中，人們輸入的是規則（即程式）和需要根據這些規則進行處理的資料，系統輸出的是答案
利用機器學習，人們輸入的是資料和從這些資料中預期得到的答案，系統輸出的是規則。這些規則隨後可應用於新的資料，並使計算機自主生成答案。

機器學習系統是訓練出來的，而不是明確地用程式編寫出來的。將與某個任務相關的許多
示例輸入機器學習系統，它會在這些示例中找到統計結構，從而最終找到規則將任務自動化。

【3】從資料中學習表示

1.機器學習三要素

1. 輸入資料點。
   你的任務是語音識別，那麼這些資料點可能是記錄人們說話的聲音檔案。如果你的任務是為影像新增標籤，那麼這些資料點可能是影像。
2. 預期輸出的示例
   對於語音識別任務來說，這些示例可能是人們根據聲音檔案整理生成的文字。對於影像標記任務來說，預期輸出可能是“狗”“貓”之類的標籤。
3. 衡量演算法效果好壞的方法。
   這一衡量方法是為了計算演算法的當前輸出與預期輸出的差距。

2.例子

考慮 x 軸、y 軸和在這個 (x, y) 座標系中由座標表示的一些點，如圖所示。可以看到，圖中有一些白點和一些黑點。假設我們想要開發一個演算法，輸入一個點的座標 (x, y)，就能夠判斷這個點是黑色還是白色。在這個例子中：

1. 輸入是點的座標
2. 預期輸出是點的顏色；
3. 衡量演算法效果好壞的一種方法是，正確分類的點所佔的百分比。
   這裡我們需要的是一種新的資料表示，可以明確區分白點與黑點。
   
   在這個新的座標系中，點的座標可以看作資料的一種新的表示。用一條簡單的規則就可以描述黑 / 白分類問題：“x>0 的是黑點”或“x<0 的是白點”
   這個過程類似於深度學習

【4】深度學習之“深度”

理解深度學習與機器學習關係

深度學習是機器學習的一個分支領域：它是從資料中學習表示的一種新方法，強調從連續
的層（layer）中進行學習，這些層對應于越來越有意義的表示。“深度學習”中的“深度”指
的並不是利用這種方法所獲取的更深層次的理解，而是指一系列連續的表示層。資料模型中
包含多少層，這被稱為模型的深度（depth）。這一領域的其他名稱包括分層表示學習（layered
representations learning）和層級表示學習（hierarchical representations learning）

神經網路

在深度學習中，這些分層表示幾乎總是通過叫作神經網路（neural network）的模型來學習得到的。神經網路的結構是逐層堆疊。
【1】多層網路如何對數字影像進行變換

這個網路將數字影像轉換成與原始影像差別越來越大的表示，而其中關於
最終結果的資訊卻越來越豐富。資訊穿過連續的過
濾器，其純度越來越高（即對任務的幫助越來越大）

【5】深度學習的工作原理

【1】總：
機器學習是將輸入（比如影像）對映到目標（比如標籤“貓”）
【2】
神經網路中每層對輸入資料所做的具體操作儲存在該層的權重（weight）中，其本質是一串數字。用術語來說，每層實現的變換由其權重來引數化。權重有時也被稱為該層的引數（parameter）。一個深度神經網路可能包含數千萬個引數
【3】流程圖

想要控制神經網路的輸出，就需要能夠衡量該輸出與預期值之間的距離。這是神經網路損失函式（loss function）的任務，該函式也叫目標函式（objective function）。損失函式的輸入是網路預測值與真實目標值（即你希望網路輸出的結果），然後計算一個距離值，衡量該網路在這個示例上的效果好壞。

深度學習的基本技巧是利用這個距離值作為反饋訊號來對權重值進行微調，以降低當前示例對應的損失值。這種調節由優化器（optimizer）來完成，它實現了所謂的反向傳播演算法，這是深度學習的核心演算法。