《Pattern Recognition and Machine Learning》第一章1. INTRODUCTION

尋找資料中的模式的問題是一個根本之一，有著悠久而 成功的歷史。第谷的情況下，大量的天文觀測 布拉赫在16世紀使開普勒發現的經驗性規律 行星運動，從而提供了一個跳板，經典力學的發展。同樣，在原子光譜規律的發現起到了 在二十世紀早期的開發和驗證量子物理學的關鍵作用。模式識別的領域是通過使用計算機演算法，並與使用的涉及規律性的自動發現在資料 這些規律採取諸如資料分類成不同的類別的動作。 考慮承認手寫的數字，在圖1.1所示的例子。 每個數字對應一個28×28畫素的影像，因此可以用向量來表示 點¯x含有784的實數。我們的目標是打造一臺機器，將採取這樣的 向量x作為輸入，並且將產生的位0的身份，...，9為輸出。 這是一個平凡的問題，由於手寫的很大的可變性。它可以是用手工製作的規則或啟發式區分數字解決基於 筆劃的形狀，但在實踐中這種方法導致的擴散 規則和例外規則等，並不約而同地給出了差的結果。 更好的結果可通過採用機器學習的方法來獲得 其中一個大組N個數字{X1，...，X N}稱為訓練集被用來調諧 的自適應模型引數。的數字在訓練集中的類別 預先已知的，一般是通過單獨和手工標記檢查他們 它們。我們可以表達一個數字的類別使用目標向量t，佔 相應的數字身份。用於表示cate-合適的技術 在載體方面gories將在後面討論。請注意，有一種這樣的目標 向量t的每個數字影像的X軸。 執行的機器學習演算法的結果，可表示為 函式y（X），它需要一個新的數字影像的X軸作為輸入，並生成一個輸出 向量y，編碼方式相同的目標向量。的確切形式 函式y（x）的在訓練階段期間被確定，也被稱為學習 階段中，訓練資料的基礎上。一旦模型被訓練就可以再設計器 termine的新的數字影像，這被說成包括一個測試組的身份。該 進行分類，從那些用於培訓相差正確的新例項的能力 ING被稱為泛化。在實際應用中，輸入的變異性 向量會是這樣的訓練資料可以包含所有的只是一小部分 可能的輸入向量，所以概括是模式識別的中心目標。 對於大多數實際應用中，原始輸入變數通常前原 處理，以將其轉化為變數的地方，希望一些新的空間， 模式識別問題會更容易解決。例如，在數字recogni- 化的問題，對數字影像通常翻譯和規模，使每個 數字是包含在一個方框內有固定的大小。這大大降低了變異 每個數位類中，因為所有的數字的位置和規模是現在的 同樣，這使得用於隨後的模式識別演算法更容易 不同類別之間進行區分。這種預處理階段是有時 也稱為特徵提取。請注意，新的測試資料必須使用預處理 相同的步驟訓練資料。 前處理也可以加快運算執行。對於 例如，如果目標是實時的人臉檢測中的高解析度視訊流 電腦必須每秒處理的畫素數量龐大，而且提出這些 直接把一個複雜的模式識別演算法可以計算infeasi- BLE。相反，目的是要找到有用功能，這些功能的快速計算，但該還保留有用歧視性資訊，使面加以區別 從非面孔。這些特徵隨後被用作輸入到所述模式識別 演算法。例如，在影像亮度超過一個矩形的平均值 分割槽域可以評價極為有效（中提琴和Jones，2004），和一組 這樣的特徵可以證明是非常有效的快速人臉檢測。因為數 這樣的特徵是比畫素的數目較小，這種預處理表象的 貨物內降維的一種形式。但必須預先過程中要採取 因為常常資訊將被丟棄，並且如果該資訊是重要的 該問題的解決方案，則該系統的整體精度受到影響。 應用，其中所述訓練資料包括輸入向量的例子 連同它們相應的目標向量被稱為監督學習概率 題。例如數字識別的例子，其中的目的是要分配的每個 輸入向量的離散類別的數量有限之一，被稱為分類 的問題。如果所需的輸出由一個或多個連續的變數，然後 任務被稱為迴歸。的迴歸問題的一個例子是預 產率的化學制造過程中，其中，輸入包括詞 反應物的濃度，溫度和壓力的。 在其它模式識別問題中，訓練資料包括一系列輸入的 向量x沒有任何對應的目標值。在這種無監督的目標 學習的問題可能是，發現在資料中的類似的例子基， 其中它被稱為聚類，或確定輸入內資料的分佈 空間，稱為密度估計，或從高維專案中的資料 空間下降到二維或三維視覺化的目的。 最後，學習（1998薩頓和巴託，）的加固技術是CON- 擔心與尋找合適的行動，採取在特定情況下的問題 為了最大限度的獎勵。這裡的學習演算法沒有給出示例 最佳輸出，而相比之下，監督學習，而必須發現他們 通過試驗和錯誤的過程。通常情況下存在狀態和動作的順序 該學習演算法是與其環境互動。在許多情況下，該 目前的行動不僅影響了立即回報，但也對重新產生影響 病房在所有隨後的時間步驟。例如，通過使用適當的加固 學習技術的神經網路可以學習五子棋的遊戲玩到 高標準（特索羅，1994）。在這裡，網路必須學會接受董事會的位置 作為輸入，還有一個骰子的投擲結果，併產生強烈的舉動為 輸出。這是通過對自身的副本在網路遊戲的也許是做 百萬遊戲。一個主要挑戰是，遊戲步步高可能涉及幾十個 的移動，但它是僅在遊戲的獎勵的端部，在形式 勝利實現。獎勵然後必須適當地歸因於所有的 移動導致它，即使一些動作會一直好的等 少一些。這是一個債權轉讓問題的一個例子。重的一般特徵 加固學習是勘探之間的折衷，其中，所述系統的嘗試 出新種類的動作，看看他們是如何有效和剝削，其中 該系統利用了已知能產生高報酬的行為。太強大了 重點不是勘探或開採會產生糟糕的結果。加固 學習仍然是機器學習研究的活躍領域。然而，詳細的治療在於超出了本書的範圍。 雖然這些任務都需要自己的工具和技術，許多 ，鞏固他們主要的想法是所有這些問題。其中一個主要的 本章的目的是介紹，在一個相對非正式的方式，幾個最 重要的概念，並用簡單的例子來說明它們。後來在 在本書中，我們將看到這些相同的想法重新出現在更精密完善的背景下 cated模型，適用於現實世界的模式識別應用。這 本章還提供了一個自足的介紹三個重要工具， 貫穿全書，即概率論，決策論，Infor公司使用 息理論。雖然這些聽起來像是望而生畏的話題，它們實際上是 簡單，其中有一個清晰的理解是，如果機器學習必備 技術都可以用於在實際應用中效果最好。