深度學習和神經網路的七大顯著趨勢

神經網路的基本思想是模擬計算機“大腦”中的多個互連細胞，使它能夠從環境中學習，識別不同的模式，通俗一點來說就是模仿人類的思維模式進行決策。

一個基本神經網路包含數百萬個被稱為單元的人工神經元。這些單元分層排列，每一層都互相連線。

單元劃分為如下幾部分：

1.     輸入單元——用於接受外部環境的資訊。

2.     隱藏單元——最終輸入到輸出單元。每個隱藏單元都是其輸入的壓縮線性函式。

3.     輸出單元——這些訊號表示網路應如何響應最近獲取的資訊。

大多數神經網路都是互相連線的，這意味著每個隱藏單元和每個輸出單元都連線到層另一邊的每個單元上。每個單元之間的連線稱為“重量”。重量可以是正的，也可以是負的，這取決於它對另一單元的影響程度。較高的權重對互連單元具有更高的許可權。

當神經網路被訓練時，或者在訓練之後剛開始執行時，使用不同的輸入單元將不同的資訊模式饋送到網路中。這些資訊將觸發隱藏組的層，然後到達輸出單元。這被稱為前饋網路，是常用的設計之一。

當您使用訓練模型對神經網路進行了充分訓練後，它會達到一個階段，在該階段會呈現一組全新的輸入，這些輸入在訓練階段沒有遇到，且它可以預測出令人滿意的輸出。

以下是當今神經網路和深度學習的一些重要趨勢。

膠囊網路（Capsule Networks）

膠囊網路是深度神經網路的一種新興形式。它模仿人類大腦的方式處理資訊。這意味著膠囊網路可以維持層次關係。

這與卷積神經網路形成對比。儘管卷積神經網路是迄今為止使用最廣泛的神經網路之一，但它們沒有考慮簡單及複雜物件之間存在的關鍵空間層次結構，這導致了高錯誤率。

在進行簡單的識別任務時，膠囊網路能夠降低錯誤率，實現了更高的準確度，同時它們也不需要大量的培訓模型資料。

卷積神經網路（CNN）

卷積神經網路已存在很多年，是一種前饋神經網路。它啟發於生物的發展過程，特別是人類大腦對眼睛裡接收到的訊號的理解過程。目前，現有技術的視覺識別系統使用CNN演算法來執行影像分類，定位和物件檢測。

隨著社會發展，人們對卷積神經網路的興趣也發生了轉移，目前它被廣泛應用於智慧監控系統、社交網路圖片標記和影像分類、機器人、無人機和自動駕駛汽車。谷歌，亞馬遜，Facebook等資料科學家使用它來進行各種影像過濾和分類。

與卷積神經網路密切相關的領域是計算機視覺的深度學習，兩個常見的應用：條形碼掃描器、面目識別。為了深入學習計算機視覺，市場上也相繼出現了大量的平臺，例如Google的Vision API，Allegro.ai，Missinglink.ai等。

深度強化學習（DRL）

深度強化學習是神經網路的一種形式，深度強化學習將深度學習的感知能力和強化學習的決策能力相結合，可以直接根據輸入的影像進行控制，是一種更接近人類思維方式的人工智慧方法。一個著名的成功應用案例就是AlphaGo圍棋機器人，AlphaGo是第一個擊敗人類職業圍棋選手、第一個戰勝圍棋世界冠軍的人工智慧機器人。

DRL是開發業務應用程式中的通用技術之一。對於訓練模型，它需要更少的資料。且它的另一個優點是可以透過模擬來訓練它，這完全消除了對標記資料的需求。

精益學習

到目前為止，機器學習，特別是深度學習最大的障礙就是用於訓練神經模型的大量標記資料的可用性問題。這兩種技術可以幫助解決這個問題——合成新資料並將任務A和訓練模型轉移到任務B。

像轉移學習（將學習從一個任務轉移到另一個任務）或單次學習（在只有一個或沒有相關示例的情況下進行學習）這樣的技術使它們成為精益資料學習技術。同樣，當使用插值或模擬來合成新資料時，它有助於獲得更多訓練資料。ML專家通常將此稱為增加現有資料來改進學習的方法。

此類技術可用於解決更廣泛的問題，尤其是較少歷史資料的情況下。

監督模型

監督模型是一種學習形式，其從先前標記的訓練資料推斷出特定功能。它使用監督學習演算法，該演算法包含一組帶有相應標記正確輸出的輸入。

標記的輸入和標記的輸出進行比較。鑑於兩者之間的差異，您可以計算錯誤值，然後使用演算法來學習輸入和輸出之間的對映。

這裡的最終目標是近似對映函式，如果接收到新的輸入資料，則可以預測準確的輸出資料。類似於教師監督學習過程，當演算法達到令人滿意的效能或準確度時，學習過程停止。

具有記憶體模型的網路

人類和機器的一個重要的區別就是謹慎工作和思考的能力。毫無疑問，計算機可以預先程式設計，以極高的精度完成特定的任務。但是，如果您將計算機放於不同的環境中工作，相應的問題就會出現。

想要提升機器對環境的適應能力，神經網路必須能夠在不遺忘的情況下連續學習任務。神經網路必須能夠利用許多不同的強大架構來克服災難性遺忘。包括：

1.     長期記憶體網路：可以處理和預測時間序列

2.     彈性權重合並演算法，可以根據先前完成的任務定義的優先順序減慢學習速度

3.     不受災難性遺忘影響的漸進式神經網路能夠從已經學過的網路中提取有用的特徵，以用於新的任務。

混合學習模型

各種型別的深度神經網路，包括GAN和DRL，在涉及其效能和不同型別資料的廣泛應用方面已表現出很不錯的發展前景。也就是說，深度學習模型無法以貝葉斯或機率方法的方式對不確定性進行建模。

混合學習模型可以將這兩種方法結合並利用每種方法的強度。這種混合模型的一些示例包括貝葉斯GAN和貝葉斯條件GAN。

混合學習模型可對解決業務問題的領域進行擴充套件，包括不確定性的深度學習。這將提高效能和模型的可解釋性，獲得更廣泛的應用。