神經網路

一、概念

神經網路分類1：

神經網路分類2：

按照對生物神經系統的不同組織層次和抽象層次的模擬，可分為：

（1）神經元層次模型

研究工作主要集中在單個神經元的動態特性和自適應特性，探索神經元對輸入資訊選擇的響應和某些基本存貯功能的機理。

（2）組合式模型

它由數種相互補充、相互協作的神經元組成，用於完成某些特定的任務。如模式識別、機器人控制等。

（3）網路層次模型

它是由許多相同神經元相互連線而成的網路，從整體上研究網路的集體特性。

（4）神經系統模型

一般由多個不同性質的神經網路構成，以模擬生物神經的更復雜或更抽象的性質。

（5）智慧型模型

這是最抽象的層次，多以語言形式模擬人腦資訊處理的執行、過程、演算法和策略。這些模型試圖模擬如感知、思維、問題求解等基本過程且與AI相關。

神經網路分類3：

（1）按照網路的效能分：連續型與離散型網路；確定型與隨機型網路。

（2）按照網路的結構分：前饋網路；反饋網路。

（3）按照學習方式分：有教師指導的網路；無教師指導的網路。

（4）按照連線突觸的性質分：一階線性關聯網路；高階線性關聯網路。

人工神經是指模擬人腦神經系統的結構和功能，運用大量的處理部件，由人工方式構造的網路系統。

神經網路理論突破了傳統的、線性處理的數位電子計算機的侷限，是一個非線性動力學系統，並以分散式儲存和並行協同處理為特色，雖然單個神經元的結構和功能極其簡單有限，但是大量的神經元構成的網路系統所實現的行為卻是極其豐富多彩的。

神經網路由三層組成：輸入層、中間層、輸出層。神經網路主要用於分類。

神經網路又有另一個名稱：多層感知器（MLP）。MLP（Multi-LayerPerceptron）的名稱起源於50-60年代的感知器（Perceptron）。由於在感知器之上又增加了一個計算層，因此稱為多層感知器。雖然叫“多層”，MLP一般都指的是兩層（帶一個隱藏層的）神經網路。

MLP這個術語屬於歷史遺留的產物。現在一般就說神經網路，以及深度神經網路。前者代表帶一個隱藏層的兩層神經網路，也是EasyPR目前使用的識別網路，後者指深度學習的網路。

人工神經網路分為前饋神經網路和反饋神經網路這兩種。兩者的區別是結構圖不同。我們可以把結構圖看作是一個有向圖。其中神經元代表頂點，連線代表有向邊。對於前饋神經網路中，這個有向圖是沒有迴路的。而對於反饋神經網路中，結構圖的有向圖是有迴路的。反饋神經網路也是一類重要的神經網路。其中Hopfield網路就是反饋神經網路。深度學習中的RNN也屬於一種反饋神經網路。

設計一個神經網路時，輸入層與輸出層的節點數往往是固定的，中間層則可以自由指定.

具體到前饋神經網路中，有三個網路：單層神經網路，雙層神經網路，以及多層神經網路。深度學習中的CNN屬於一種特殊的多層神經網路。另外，在一些Blog中和文獻中看到的BP神經網路是使用了反向傳播BP演算法的兩層前饋神經網路。也是最普遍的一種兩層神經網路。

深度學習的概念源於人工神經網路的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特徵形成更加抽象的高層表示屬性類別或特徵，以發現資料的分散式特徵表示。

深度學習的概念由Hinton等人於2006年提出。基於深信度網(DBN)提出非監督貪心逐層訓練演算法，為解決深層結構相關的優化難題帶來希望，隨後提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網路是第一個真正多層結構學習演算法，它利用空間相對關係減少引數數目以提高訓練效能。

深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋資料，例如影象，聲音和文字。

同機器學習方法一樣，深度機器學習方法也有監督學習與無監督學習之分．不同的學習框架下建立的學習模型很是不同．例如，卷積神經網路（Convolutional neural networks，簡稱CNNs）就是一種深度的監督學習下的機器學習模型，而深度置信網（Deep Belief Nets，簡稱DBNs）就是一種無監督學習下的機器學習模型。

深度學習是大資料下最熱門的趨勢之一，這項技術將對自然語言處理和影象識別等前沿領域提供支援。Gigaom.com網站整理了一個指南：深度學習領域的快速發展，鼓舞著越來越多在自然語言處理和影象識別等領域的初創企業去研究它。同時，包括Google、微軟、IBM、Facebook和雅虎在內的科技巨頭，在深度學習方面的投入也在提高。也有不少高校的研究機構也在該領域在做著前沿的研究。

二、神經元模型

1.M-P神經元模型

2.線性加權模型

3.閾值邏輯模型

其中：

三、常用神經元狀態轉移函式

1.階躍函式

2.準線性函式

3.Sigmoid函式

4.雙曲正切函式

四、備註

不一致的說法：

這個最明顯的代表就是損失函式loss function，這個還有兩個說法是跟它完全一致的意思，分別是殘差函式error function，以及代價函式cost function。loss function是目前深度學習裡用的較多的一種說法，caffe裡也是這麼叫的。cost function則是Ng在coursera教學視訊裡用到的統一說法。這三者都是同一個意思，都是優化問題所需要求解的方程。

再來就是權重weight和引數parameter的說法，神經網路界由於以前的慣例，一般會將訓練得到的引數稱之為權重，而不像其他機器學習方法就稱之為引數。那就是非偏置節點連線上的值稱之為權重，而偏置節點上的值稱之為偏置，兩者統一起來稱之為引數。

另外一個同義詞就是啟用函式activefunction和轉移函式transfer function了。同樣，他們代表一個意思，都是疊加的非線性函式的說法。

由於神經網路發展歷史已經有70年的漫長曆史，因此在研究過程中，必然有一些研究分支屬於被遺忘階段。這裡麵包括各種不同的網路，例如SOM（Self-Organizing Map，自組織特徵對映網路），SNN（Synergetic Neural Network，協同神經網路），ART（AdaptiveResonance Theory，自適應共振理論網路）等等。

無反饋ANN：無教師指導學習

無反饋ANN：有教師指導學習

前向ANN：有教師指導學習

神經網路處理資訊的特點

神經網路系統與現代數字計算機有如下不同：

(1)以大規模模擬並行處理為主，而現代數字計算機只是序列離散符號處理；

(2)具有很強的魯棒性和容錯性,善於聯想、概括、類比和推廣,任何區域性的損傷不會影響整體結果；

（3）具有很強的自學能力。系統可在學習過程中不斷地完善自己，具有創新特點，這不同於AI中的專家系統，後者只是專家經驗的知識庫，並不能創新和發展；

（4）它是一個大規模自適應非線性動力學系統，具有集體運算的能力，這與本質上是線性系統的現代數字計算機迥然不同。