讓我們來看一個經典的神經網路。這是一個包含三個層次的神經網路。紅色的是輸入層，綠色的是輸出層，紫色的是中間層（也叫隱藏層）。輸入層有3個輸入單元，隱藏層有4個單元，輸出層有2個單元。後文中，我們統一使用這種顏色來表達神經網路的結構。
在開始介紹前，有一些知識可以先記在心裡：
- 設計一個神經網路時，輸入層與輸出層的節點數往往是固定的，中間層則可以自由指定；
- 神經網路結構圖中的拓撲與箭頭代表著預測過程時資料的流向，跟訓練時的資料流有一定的區別；
- 結構圖裡的關鍵不是圓圈（代表“神經元”），而是連線線（代表“神經元”之間的連線）。每個連線線對應一個不同的權重（其值稱為權值），這是需要訓練得到的。
除了從左到右的形式表達的結構圖，還有一種常見的表達形式是從下到上來表示一個神經網路。這時候，輸入層在圖的最下方。輸出層則在圖的最上方，如下圖：
從左到右的表達形式以Andrew Ng和LeCun的文獻使用較多，Caffe裡使用的則是從下到上的表達。在本文中使用Andrew Ng代表的從左到右的表達形式。