作者 | Dave Smith
譯者 | 劉暢
編輯 | 阿司匹林、Jane
出品 | AI科技大本營
【導讀】人臉識別技術已經有了非常廣泛的應用，國內大規模監控系統背後運用的技術就是人臉識別。
與大家常規見到的搭建人臉識別的神經網路方法不同，本文作者 Dave Smith 走了一次不同尋常路，他在 Excel 中用 9 步就搭建了一個人臉識別的CNN 神經網路，讓神探 Sherlock 識別出世界的終結者 “Elon”！在這篇文章中，作者試圖以直觀的視覺化方式呈現出程式碼背後發生的事情，希望可以幫助大家消除學習過程中的一些疑慮，
本文的目標就是為您提供一個簡單的機器學習入門，將涵蓋下圖所示的 9 個步驟。
補充工具：幫助大家瞭解如何在 30 秒左右的時間將任意一張圖片轉換為有條件格式的Excel 檔案
http://think-maths.co.uk/spreadsheet
終結者視角—在電子表格中建立卷積神經網路
背景
我們首先假設，在終結者的大腦中有一個名叫`Sherlock Convolution Holmes`的特殊偵探。他的工作就是仔細檢視證據（輸入影像）並使用敏銳的眼睛和推演能力（特徵檢測），預測圖片中的人物是誰以此來破案（正確分類影像）。
注：為了減少大家對後面內容的疑惑，首先劇透一點，這篇文章的“男主”其實是 Sherlock Convolution Holmes 。作者可能是神探夏洛克的粉絲，整篇文章都是圍繞 Sherlock 是如何破案來展開的。
我們將用電子表格模型來檢視圖片，分析畫素值,並預測它是否是 Elon Musk，Jeff Bezos 或者 Jon Snow,顯然這三個人是 Skynet 最大的威脅。用影像化來比喻，CNN就像 Sherlock Holmes。這個過程中會使用到一些數學公式，我們在這裡給出了參考連結，方便大家學習。
參考連結：
https://drive.google.com/open?id=1TJXPPQ6Cz-4kVRXTSrbj4u4orcaamtpGvY58yuJbzHk
以下9個步驟中的每個步驟都是這個影像化比喻的一部分。
卷積神經網路體系結構
第一步
▌輸入：一張圖片就像是成千上萬的數字
下面是我們的輸入圖片，我們是如何對這張照片進行操作的呢？
將數碼照片看作3個電子表格（1個紅色，1個綠色，1個藍色）堆疊在一起，每個電子表格都是一個數字矩陣。拍攝照片時，相機會測量每個畫素的紅色，綠色和藍色光量。然後，按 0-255 的等級對每個畫素進行排名，並將它們記錄在電子表格中：
在上面的 28×28 影像中，每個畫素由 3 行（1個紅色，1個藍色和1個綠色）表示，其值為 0-255。其中畫素已根據其值進行了格式化。
沒有看到真實的眼睛，看到的只是一堆數字
如果我們將每種顏色分成單獨的矩陣，就會得到 3 個 28×28 矩陣，而每個矩陣都是訓練神經網路的輸入：
模型輸入
▌訓練概述
在你剛出生的時候並不認識什麼是狗。但在你成長的過程中，你的父母會在書中，動畫片，現實生活中向你展示狗的照片，最終你可以指著那些四條腿毛茸茸的動物說“這是隻狗”。這是由於大腦中數十億神經元之間的聯絡變得足夠強大，讓你可以識別狗。
終結者也是以同樣的方式學會誰是 Elon。通過一個監督訓練的過程，我們給它展示成千上萬張 Elon Musk，Jeff Bezos 和 Jon Snow 的照片。起初，它有三分之一的機會猜中，但就像一個小孩，隨著時間的推移這個機率會提高。網路的連線或“權重/偏差”就會隨著時間更新，使得它可以基於畫素級的輸入去預測圖片輸出。
那麼是什麼使卷積神經網路與普通神經網路不同呢？
5個字：平移不變性。讓我們來簡單解析它一下：
-
平移 = 從一個地方移動到另一個地方
-
不變性 = 保持不變
對於計算機視覺，這意味著無論我們把目標移動到哪個位置（平移），它都不會改變目標的內容（不變性）。
平移不變性（還可加上尺度不變性）
無論他在影像中什麼位置（平移），什麼大小（尺度不變），卷積神經網路經過訓練都能識別到 Elon 的特徵。CNN 擅長識別影像任何部分的模式，然後將這些模式疊加在一起，以構建更復雜的模式，就像人類一樣。
在普通神經網路中，我們將每個單獨的畫素視為我們模型的輸入（而不是3個矩陣），但這忽略了相鄰畫素是具有特殊的意義和結構。對於 CNN，我們關注彼此相鄰的畫素組，這允許模型學習像形狀，線條等的區域性模式。例如，如果 CNN 在黑色圓圈周圍看到許多白色畫素，它會將此模式識別為眼睛。
為了讓 CNN 實現 translation variance，他們必須依靠特徵檢測，也就是Sherlock Convolution Holmes 。
第二步
▌特徵檢測：遇見 Sherlock Convolution Holmes
Sherlock 使用放大鏡，仔仔細細地檢查每一張影像，找到該影像的重要特徵或“線索”。然後將這些簡單的線條和形狀特徵堆疊在一起，就可以開始看到像眼睛或鼻子這樣的面部特徵。
每個卷積層都會包含一堆特徵圖或相互構建的“線索”。在所有卷積完成過後，他將所有這些線索放在一起，就破解了案件並正確識別出目標。
每個特徵圖都像是另一個“線索”
網路的每個卷積層都有一組特徵圖，這些特徵圖使用分層方式來識別越來越複雜的圖案/形狀。CNN 使用數字模式識別來確定影像最重要的特徵。它使用更多的層將這些模式堆疊在一起，因此可以構建非常複雜的特徵圖。
卷積神經網路檢測特徵
讓人吃驚的是，CNN 他們可以自己學習到這些特徵，而不需要工程師編寫程式碼教他學習什麼是2隻眼睛，1個鼻子，嘴巴等等。
在這種方式下，工程師更像是建築師。他們告訴 Sherlock，“我給你 2 個空白特徵圖（“線索”）的堆疊（“卷積層”），你的工作是分析圖片並找到最重要的線索。第一個堆疊包含 16 個特徵圖（“線索”），第二個堆疊包含 64 個特徵圖.。接下來就可以利用這些偵探技巧去解決問題吧！”
第三步：
為了讓 Sherlock 找到案件中的“線索”（即“計算一張特徵圖”），他需要使用幾個工具，我們將一一介紹：
-
濾波器——sherlock 的放大鏡
-
卷積數學——濾波器的權重x輸入影像的畫素
-
步長——在輸入影像上移動濾波器
-
填充——像“犯罪現場的警戒線”，用來保護線索
▌Sherlock 的放大鏡（濾波器）
Sherlock 毫無疑問非常敏銳且具有極高的洞察能力。但如果沒有他的特殊放大鏡或“濾波器”，他就無法完成他的工作。因此他使用不同的放大鏡來幫助他填充每個空白特徵圖的細節。 所以，如果他有 16 張特徵圖，他就會用 16 個放大鏡。
每個放大鏡由多層玻璃組成，每層玻璃重量不同。玻璃層的數量，也就是我們的“濾波器深度”，總是與觀察的神經網路層的深度相匹配。
一開始，Sherlock查 看的輸入影像，它有3層，紅色，綠色和藍色。所以，我們的放大鏡也有 3 層。當我們構建 CNN時，隨著層深度增加，我們的放大鏡也會變得更厚。
為了建立 1 個特徵圖或“線索”，Sherlock 首先取出 1 個放大鏡並將其放在輸入影像的左上部分。紅色玻璃層只能看到紅色輸入影像，綠色玻璃看到綠色影像，而藍色玻璃看到的是藍色影像。
接下來是進行數學計算。
▌卷積數學
我們特徵圖中的每個畫素都是線索的一部分。為了計算每個畫素，Sherlock 必須運用一些基本的乘法和加法。
在下面的例子中，我們將使用 5x5x3 的輸入影像和 3x3x3 的濾波器，每個畫素點需要 27 次乘法：
-
3 層 x 每層 9 次卷積= 27
-
將 27 個數字加在一起。
-
將 27 個計算結果加在一起之後，我們再加上1個數字—也就是偏置(bias)。
卷積計算——建立特徵地圖
讓我們放大來看。一個畫素由27次乘法組成，下面圖片顯示了 27次 乘法中的 9 次：
就偏置而言，您可以將其視為每個放大鏡的手柄。與權重一樣，它是模型的另一個引數，每次訓練都會調整這些引數以提高模型的準確性並更新特徵圖。
濾波器權重——在上面的例子中，將權重保持在1 和 0 是為了計算更方便; 但是，在正常神經網路中，可以使用隨機較低的值來初始化權重，如使用（0.01）和（0.1）之間的鐘形曲線或正態分佈型別方法。
元素乘法—用來計算1條線索
▌步長：移動放大鏡
在計算了特徵圖中的第一個畫素後，Sherlock 會怎樣移動他的放大鏡？
答案就是步長引數。作為神經網路的建築師/工程師，在 Sherlock 計算特徵圖下一個畫素之前，我們必須告訴他應該向右移動多少畫素。在實踐中，2 或 3 的步長是最常見的，為了便於計算我們這裡設定步長為 1。這意味著 Sherlock 將他的放大鏡向右移動 1 個畫素，然後再執行與之前相同的卷積計算。
當放大鏡到達輸入影像的最右邊時，他會將放大鏡向下 1 個畫素並移動到最左邊。
▌為什麼步長會超過 1？
優點：通過減少計算和快取，使模型訓練速度更快。
缺點：步長大於 1 時，你會因為跳過一些畫素從而導致丟失圖片的資訊，並可能錯過一些學習模式。
但是設定步幅為 2 或 3 也是合理的，因為緊鄰的畫素通常具有相似的值，但是如果它們相距 2-3 個畫素，則更有可能是對於特徵圖/模式更重要的畫素值變化。
▌如何防止資訊丟失（丟失線索）
為了破解這個案子，Sherlock 在一開始的時候就需要很多線索。在上面的例子中，我們採用了一張 5x5x3 影像，也就是 75 位畫素的資訊（75 = 5 x 5 x 3）。在第一個卷積層後，我們只得到了一個 3x3x2 影像，也就是 18 位畫素（18 = 3 x 3 x 2）。這意味著我們丟失了部分證據，這將會讓他的搭檔John Watson 非常生氣。
在 CNN 的前幾層中，Sherlock 會看到很多細微的模式，這是一個增加線索的過程。而在後面的層中，可以通過“下采樣”的方法來減少線索，Sherlock會將細微的線索堆積起來以便檢視更清晰的模式。
▌那麼我們如何防止資訊丟失呢？
1：填充：我們必須在影像周圍進行“填充”來保護犯罪現場。
在我們的例子中，在到達右邊緣之前需要移動濾波器 3 次，從上到下都是一樣的。這意味著我們得到的輸出高度/寬度為 3×3，那我們從左到右時丟失了2 個畫素，而從上到下移動時我們又損失了 2 個畫素。
為了防止這種資訊丟失，通常用零填充原始影像（稱為“零填充”或“相同填充”），就像犯罪現場佈置的警戒線一樣，來保證沒有人篡改線索。
在填充之後，如果 Sherlock 再次使用相同的放大鏡，那他的 2 個特徵圖將是 5×5 而不是 3×3。這意味著我們將留下 50 個畫素的資訊，因為這個卷積的新輸出是 5x5x2 = 50。50 畫素比 18 畫素要好。但是，我們是從 75 畫素開始的，所以我們仍然丟失了一些線索。
除此之外我們還能做些什麼呢？
2：使用更多的濾波器—通過在卷積層中新增至少 1 個特徵圖，為 Sherlock提供更多線索
我們模型的特徵圖或“線索”數量是沒有限制，這是一個可以控制的引數。
如果我們將特徵圖從 2 增加到 3（5x5x2 到 5x5x3），那麼總輸出畫素（75）與輸入畫素（75）剛好匹配，可以確保沒有資訊丟失。如果我們將特徵圖增加到 10，那麼就會有更多的資訊（250畫素= 5 x 5 x 10）讓Sherlock 篩選以找到線索。
總之，前幾層中的總畫素資訊通常高於輸入影像，是因為我們希望為Sherlock 提供儘可能多的線索/模式。在我們網路的最後幾層中，通常做法是下采樣得到少量的特徵。因為這些層是用來識別影像更明確的模式。
第四步
▌ReLU：非線性模式識別
給 Sherlock 提供充足的資訊是非常重要的，但現在是時候進行真正的偵探工作了——非線性模式識別！像識別耳廓或鼻孔等。
到目前為止，Sherlock 已經做了一堆數學來構建特徵圖，但每個計算都是線性的（取輸入畫素並對每個畫素執行相同的乘法/加法），因此，他只能識別畫素的線性模式。
為了在 CNN 中引入非線性，我們使用稱為 Relu 的啟用函式。從第一個卷積計算我們的特徵圖之後，啟用函式會檢查每個值來確認啟用狀態。如果輸入值為負，則輸出變為零。如果輸入為正，則輸出值保持不變。ReLU 的作用類似於開/關，每個特徵圖的畫素值經過 Relu 後，就得到了非線性的模式識別。
回到我們最初的 CNN 示例，我們將在卷積後立即應用 ReLU：
雖然有許多非線性啟用函式可用於將非線性引入神經網路（比如 sigmoids，tanh，leakyReLU 等），但 ReLU 是 CNN 中最常用的，因為它們計算效率高，並可以加速訓練過程。
第五步
▌Max Pooling：保留關鍵的少數資訊在大腦中
現在，Sherlock 已經有了一些特徵圖或“線索”，那麼他如何確定哪些資訊是不相關的細節，哪些是重要的？答案就是最大池化！
Sherlock 認為人腦就像一個記憶宮殿。傻瓜會儲存各種各樣的資訊，最終有用的資訊卻在雜亂無章中丟失了。而聰明人只儲存最重要的資訊，這些資訊可以幫助他們迅速做出決定。Sherlock 採取的方法就是 Max Pooling，使他只保留最重要的資訊，從而可以快速做出決定。
最大池化就像Sherlock Holmes 記憶宮殿
通過最大池化，他可以檢視畫素的鄰域並僅保留“最大”值或“最重要”的證據。
例如，如果他正在觀察 2×2 的區域（4個畫素），那隻保留最高值的畫素並丟掉其他 3 個。這種技術使他能夠快速學習還有助於歸納出可以儲存和記憶未來影像中的線索。
與之前的放大鏡濾波器類似，我們還可以控制最大池化的步長和池的大小。在下面的示例中，我們假設步長為 1，最大池化為 2×2：
最大池化—在定義的值鄰域中選擇“最大”值
在最大池化做完之後，我們就完成了 1 輪卷積 / ReLU / 最大池化的過程。
在典型的CNN中，進入分類器之前，我們一般會有幾輪卷積 / ReLU / 池的過程。每一輪，我們都會在增加深度的同時擠壓高度/寬度，這樣我們就不會丟失一些證據。
前面的這 1-5 步，重點就是收集證據，接下來就是 Sherlock 檢視所有線索並破案的時候了：
第六步
當 Sherlock 訓練迴圈結束時，他有很多零散的線索，然後他需要一個方法可以同時看到全部的線索。其實每條線索都對應一個簡單的二維矩陣，但是有成千上萬條這樣的線索堆積在一起。
現在他必須獲得的全部線索都收集並組織起來，以便在法庭上展示給陪審團。
拉平前的特徵圖
他採用了 Flatten Layer 來完成這項工作（Flatten Layer 常用在從卷積層到全連線層的過渡），簡單來說這個技術的做法就是：
-
每個 2 維畫素矩陣變成 1列畫素
-
將 2 維矩陣進行疊加
下圖展示了人眼識別的示例：
回到我們的例子，下面是計算機看到的
現在 Sherlock 已經組織完了他的證據，接下來他需要讓陪審團相信他的證據最終都指向同一個嫌疑人。
第七步
在全連線層中，我們將證據與每個嫌疑人相連。換句話說就是我們在展示證據與每個嫌疑人之間的聯絡。
全連線層—連線證據與每個嫌疑人
以下是計算機看到的內容：
全連線層
在 Flatten Layer 和 3 個輸出的每個證據之間是權重和偏差。與網路中的其他權重一樣，當我們首次開始訓練 CNN 時，這些權重將以隨機值初始化，並且隨著時間的推移，CNN 會“學習”如何調整這些權重/偏差來得到越來越準確的預測結果。
現在是 Sherlock 破解案件的時候了！
第八步
在 CNN 的影像分類器階段，模型的預測結果就是最高分數的輸出。
這個評分函式有兩部分：
-
Logit Score：原始分數
-
Softmax：每個輸出的概率在 0-1 之間。所有分數的總和等於 1。
▌第1部分：Logits ——邏輯分數
每個輸出的 logit 分數是基本的線性函式：
Logit分數 =（證據x權重）+ 偏差
每一個證據乘以連線證據與輸出的權重。所有這些乘法都加在一起，然後在末尾新增一個偏差項，得到的最高分就是模型的猜測。
Logit 分數計算
為什麼得到了最高分數卻不是最終結果？ 有 2 個直觀的原因：
-
Sherlock 的置信水平：我們想知道 Sherlock 有多麼自信。當他很自信並且結果是對的時候，我們可以對他進行獎勵；但當信他很自信，結果卻是錯誤的時候，我們要對他進行懲罰。當我們在最後計算損失（“Sherlock的準確性”）時，Sherlock 會獲得相應的獎勵/懲罰。
-
Sherlock 的置信加權概率：我們希望用一種簡單的方法，通過 0 到 1 之間的概率來描述這些結果，並得到與實際輸出（0或1）相同的預測分數。正確匹配的影像（Elon）為 1，其他不正確的影像（Jeff和Jon）為 0。將正確輸出轉換為 1 並將錯誤輸出轉換為 0 的過程稱為獨熱編碼。
Sherlock 的目標是讓他的預測儘可能接近 1，以此獲得正確的輸出。
▌第2部分：Softmax——Sherlock 的置信度加權概率分數
2.1．Sherlock 的置信水平：
為了找到 Sherlock 的置信水平，我們取字母 e（等於2.71828）為底，並計算 logit 得分做冪運算。讓高分值越高，而低分值越低。
在進行冪運算中還保證了沒有負分數。由於 logit 分數“可能”為負數，所以下圖是置信度曲線：
置信度曲線
2.2. Sherlock 的置信加權概率：
為了找到置信加權概率，我們將每個輸出的置信度量除以所有置信度得分的總和，就可以得到每個輸出影像的概率，所有這些加起來為 1。用 Excel 示例如下：
Softmax
這個 softmax 分類器非常直觀。Sherlock 認為，終結者看到的照片是 Elon Musk 的機率是97％（置信度加權）。我們模型的最後一步是計算損失。損失值告訴我們偵探 Sherlock 的辨識能力究竟有多好（或者多差）。
第九步
損失函式
每個神經網路都有一個損失函式，我們將預測結果與實際情況進行比較。當訓練 CNN 時，隨著網路權重/偏差的調整，我們的預測結果會得到改善（Sherlock的偵探技能變得更好）。
CNN 最常用的損失函式是交叉熵損失函式。在 Google 上搜尋交叉熵會出現很多希臘字母的解釋，很容易混淆。儘管描述各不相同，但它們在機器學習的背景下都是相同的，我們將覆蓋下面最常見的3個。
-
比較正確類（Elon，1.00）的概率與 CNN 預測 Elon （his softmax score，0.97）的概率
-
當CNN的預測接近1時，獎勵 Sherlock
-
當CNN的預測接近0時，懲罰 Sherlock
以上得到的答案都相同！存在 3 種不同的解釋
▌解釋 1：實際概率與預測概率之間距離的度量
直覺是，如果我們的預測概率接近 1，則我們的損失接近 0。如果我們的預測接近於 0，那麼將受到嚴厲的懲罰。目標是最小化預測結果（Elon，0.97）與實際概率（1.00）之間的“距離”。
交叉熵 1.距離解釋
▌解釋 2：最大化對數似然或最小化負對數似然
在 CNN 中，“log” 實際上意味著“自然對數（ln）”，它是在 softmax 的步驟1中完成的“指數/置信度”的倒數。
我們不是用實際概率（1.00）減去預測概率（0.97）來計算損失，而是通過log 來計算損失，當 Sherlook 的預測結果離 1 越遠的時候，損失是指數級增長的。
交叉熵 2.對數損失解釋
▌解釋 3：KL 散度（Kullback–Leibler divergence）
KL 散度是用來衡量預測概率（softmax得分）與實際概率的差異程度。
該公式分為兩部分：
-
實際概率不確定的數量。在監督學習的不確定量始終為零。我們 100％ 肯定訓練影像是 Elon Musk。
-
如果我們使用預測概率，會損失多少的“資訊”。
交叉熵 3.KL散度解釋
總結
在偵探 Sherlock Holmes 的幫助下，我們給了終結者一雙眼睛，所以他現在有能力尋找並摧毀自由世界的保護者 Elon Musk。（Sorry Elon！）
雖然，我們只訓練終結者來辨別 Elon，Jeff 和 Jon，但是 Skynet 擁有無限多的資源和訓練影像，它可以利用我們構建的網路去訓練終結者來識別世間萬物！
原文連結：
https://towardsdatascience.com/cutting-edge-face-recognition-is-complicated-these-spreadsheets-make-it-easier-e7864dbf0e1a