Stanford機器學習課程筆記——神經網路的表示
Stanford機器學習課程筆記——神經網路的表示
1. 為什麼要引入神經網路
其實這個問題等價與神經網路和之前的迴歸模型有什麼區別,如果你沒有學過其他機器學習演算法的話。這個問題可以通過一個例子來說明:如果樣本都是60*60的影像,那麼每個樣本的特徵維數都是3600個,使用前面講的線性迴歸模型,那麼需要建立的引數個數就有3600的;如果是非線性迴歸模型,還要考慮高次項的情況,需要求解的引數就更加多了。此時的迴歸模型將會變得異常複雜,故我們需要其餘比較高效的模型來解決這些實際的問題。這個時候我們就引入了神經網路。
2. 神經網路的表示形式
一般而言,神經網路由3部分組成:輸入層、中間層和輸出層。如下:
其中輸入層我們一般用x_1, x_2, x_3,...來表示;中間層我們使用a_j_i來表示第j層的第i個元素。如下:
其中的theta_j(暫且讀作theta吧。。。)是第j層到第j+1層的權重矩陣。其矩陣的維數為:
那麼中間層的每個元素都可以由輸出層x和權重矩陣theta求得。
其實形式就是每個元素都是前面一層的輸入和對應的權重相乘再疊加的過程。根據這個思想,我們也可以得到最後輸出層的假設,如下:
不知道有沒有發現,疊加之後的括號外面還有一個函式巢狀,就是g(),這個前面LR迴歸中的sigmod函式,也就是說中間層a(2,j)是輸入層線性組合的sigmod值,輸出又是中間層線性組合的sigmod值。
其實上面那個假設的形式和LR迴歸還是很接近的,同樣的都是每個元素前面乘以對應的係數theta,然後疊加,然後放在sigmod函式中。當時不同的是,和引數相乘的不再是原始特徵,而是中間層的最後一層元素,也就是說神經網路不直接使用原始特徵來構建假設,而是根據前面中間層的“過濾學習”得到的特徵來構建假設。
這裡講到的構建神經網路的順序都是input->activation->output的順序,這個是前向傳遞。
3. 如何用神經網路實現邏輯表示式AND,OR,XNOR
這部分Coursera課程中講的比較好,畫圖也豐富,後面給出的Rahcel Zhang的連結也不錯,我就直接參考過來吧。。。
邏輯與AND:
邏輯或OR:
我們發現,其實神經網路實現不同的邏輯表示式就是在每一層到下一層的權重矩陣不同而已。說明這個權重矩陣對神經網路的功能至關重要。
邏輯同或XNOR:
參考:
http://blog.csdn.net/abcjennifer/article/details/7749309
Coursera機器學習筆記
相關文章
- Stanford機器學習課程筆記——神經網路學習機器學習筆記神經網路
- Stanford機器學習課程筆記——SVM機器學習筆記
- 【機器學習】搭建神經網路筆記機器學習神經網路筆記
- Andrew Ng機器學習課程筆記(四)之神經網路機器學習筆記神經網路
- 我的作業筆記:吳恩達的Python機器學習課程(神經網路篇)筆記吳恩達Python機器學習神經網路
- 【菜鳥筆記|機器學習】神經網路筆記機器學習神經網路
- 吳恩達《神經網路與深度學習》課程筆記(4)– 淺層神經網路吳恩達神經網路深度學習筆記
- 吳恩達《神經網路與深度學習》課程筆記(5)– 深層神經網路吳恩達神經網路深度學習筆記
- 吳恩達《卷積神經網路》課程筆記(1)– 卷積神經網路基礎吳恩達卷積神經網路筆記
- 吳恩達機器學習筆記——八、神經網路吳恩達機器學習筆記神經網路
- Stanford機器學習課程筆記——多變數線性迴歸模型機器學習筆記變數模型
- 吳恩達《序列模型》課程筆記(1)– 迴圈神經網路(RNN)吳恩達模型筆記神經網路RNN
- 機器學習課程筆記機器學習筆記
- 吳恩達機器學習筆記 —— 9 神經網路學習吳恩達機器學習筆記神經網路
- 吳恩達《卷積神經網路》課程筆記(3)– 目標檢測吳恩達卷積神經網路筆記
- 吳恩達《神經網路與深度學習》課程筆記(2)– 神經網路基礎之邏輯迴歸吳恩達神經網路深度學習筆記邏輯迴歸
- Stanford機器學習課程筆記——單變數線性迴歸和梯度下降法機器學習筆記變數梯度
- 吳恩達《卷積神經網路》課程筆記(4)– 人臉識別與神經風格遷移吳恩達卷積神經網路筆記
- 機器學習整理(神經網路)機器學習神經網路
- 吳恩達《神經網路與深度學習》課程筆記(3)– 神經網路基礎之Python與向量化吳恩達神經網路深度學習筆記Python
- 吳恩達《優化深度神經網路》課程筆記(2)– 優化演算法吳恩達優化神經網路筆記演算法
- 吳恩達《神經網路與深度學習》課程筆記(1)– 深度學習概述吳恩達神經網路深度學習筆記
- 吳恩達《卷積神經網路》課程筆記(2)– 深度卷積模型:案例研究吳恩達卷積神經網路筆記模型
- 《深度學習Ng》課程學習筆記01week3——淺層神經網路深度學習筆記神經網路
- Stanford機器學習課程筆記——LR的公式推導和過擬合問題解決方案機器學習筆記公式
- 吳恩達《優化深度神經網路》課程筆記(1)– 深度學習的實用層面吳恩達優化神經網路筆記深度學習
- 吳恩達《最佳化深度神經網路》課程筆記(2)– 最佳化演算法吳恩達神經網路筆記演算法
- Andrew NG 深度學習課程筆記:神經網路、有監督學習與深度學習深度學習筆記神經網路
- 資源 | 多倫多大學“神經網路與機器學習導論”2017年課程表神經網路機器學習
- 卷積神經網路學習筆記——Siamese networks(孿生神經網路)卷積神經網路筆記
- 吳恩達《最佳化深度神經網路》課程筆記(1)– 深度學習的實用層面吳恩達神經網路筆記深度學習
- 【Stanford CNN課程筆記】4. 反向傳播演算法CNN筆記反向傳播演算法
- 深度學習筆記------卷積神經網路深度學習筆記卷積神經網路
- 深度學習卷積神經網路筆記深度學習卷積神經網路筆記
- 全連線神經網路學習筆記神經網路筆記
- CNN筆記:通俗理解卷積神經網路CNN筆記卷積神經網路
- 機器學習之多類別神經網路:Softmax機器學習神經網路
- 機器學習——BP神經網路演算法機器學習神經網路演算法