邱錫鵬 神經網路與深度學習課程【十三】——無監督學習和概率圖模型1

無監督學習

定義：只從無標籤的資料中學習出一些有用的模式

典型的無監督學習：深度學習中只考慮前兩個問題即可

無監督特徵學習：

主成分分析（Principal Component Analysis PCA） 一種最常用的資料降維方法，使得在轉換後的空間中資料的方差最大

 (線性)編碼

給定一組基向量A=[a_1, ..... , a_m] 將輸入樣本x表示為這些基向量的線性組合

 完備性和稀疏編碼：

過完備基向量是指：基向量個數遠遠大於其支撐空間維度，因此這些基向量一般不具備獨立、正交等性質

稀疏編碼：找到一組“過完備”的基向量(即M>D) 來進行編碼 ，這樣有無窮多解，找到大多數為0，少數有值的向量 具有壓縮性

 求稀疏編碼: 還是利用GD的方式來求解

 訓練方法:使用交替優化的方法進行

 優點：

自編碼器(Auto-Encoder)：

編碼器和解碼器

稀疏自編碼器：

 降噪自編碼器：

概率密度估計

分為：

引數密度估計

正態分佈

 多項分佈

 引數密度估計一般存在的問題：

非引數密度估計

計算過程

 計算方法：

直方圖方法：

 核密度估計：

 K近鄰方法：

 小結：

 

 概率圖模型1

如何表示高維隨機變數的概率密度 通過發現一些變數是條件獨立的 可以大大減少變數的數量

當引數很多的時候，使用數學公式表示並不直觀，所以需要圖模型來表示。

概率圖模型：

定義：概率圖模型是指一種用圖結構來描述多元隨機變數之間的條件獨立關係的概率模型

 分類

模型表示：

有向圖 貝葉斯網路 信念網路

有向圖的概念

 例子：

 判斷兩個變數是否為條件變數 ：區域性馬爾可夫性質

 條件獨立性：