07_利用pytorch的nn工具箱實現LeNet網路

二十三歲的有德發表於2021-04-22
PyTorch

07_利用pytorch的nn工具箱實現LeNet網路

目錄

pytorch完整教程目錄：https://www.cnblogs.com/nickchen121/p/14662511.html

一、引言

首先再次安利一篇文章，這篇文章詳細介紹瞭如果使用一個深度神經網路去實現人臉識別，這裡面對卷積、池化、全連線、啟用函式都有一個較為詳細的解釋，看完這篇文章，再來看這篇文章，相信會有一種醍醐灌頂之效：06-01 DeepLearning-影像識別

上一篇文章我們介紹了實現反向傳播的 autograd 這個工具，但是如果直接用這個來寫深度學習的程式碼，對於神經網路中各種層的定義就足夠讓人頭疼了，所以還是有一點複雜。

因此在 torch 中，torch.nn 的出現就是專門為神經網路設計的模組化介面，nn 構建與 autograd 之上，可以用來定義和執行神經網路。其中 nn.Module 是 nn 中最重要的類，可以把它看作是一個網路的封裝，包含網路中各層的定義和 forward 方法，呼叫 forward(input) 方法，可以輕鬆的實現前向傳播。

接下來我們將以卷積神經網路 LeNet 網路為例，看看如何用 nn.Module 實現，其中 LeNet 網路架構如下圖所示：

07_利用pytorch的nn工具箱實現LeNet網路

上述圖示是一個基礎的前向傳播網路：接收輸入，經過層層傳遞運算，得到一個輸出。

當然，這篇文章的重心是告訴我們如何利用 nn 這個工具箱搭建一個基礎的神經網路架構，至於 nn 的具體用法將在未來的分享中詳細介紹，也就是說這一篇文章只是籠統的介紹 nn，只要看清楚本篇文章的大體脈絡即可，至於細節未來都會一一介紹。

二、定義網路

定義網路的時候需要繼承 nn.Module，並實現它的的 forward 方法，把網路中具有可學習引數的層放到建構函式 __init__ 中。如果某一層不具有可學習的引數，則即可以放在建構函式中，也可以不放入。

import torch as t
import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable as V


class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()  # nn.Module 子類的函式必須在建構函式中執行父類的建構函式

        # 卷積層
        self.conv1 = nn.Conv2d(1, 6,
                               5)  # '1'表示輸入圖片為單通道，‘6’表示輸出通道數，‘5’表示卷積核為 5*5
        self.conv2 = nn.Conv2d(6, 16, 5)

        # 仿射層/全連線層，y = Wx + b
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        # 卷積-》啟用-》池化
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)

        # reshape，‘-1’表示自適應
        x = x.view(x.size()[0], -1)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)

        return x


net = Net()
net

Net(
  (conv1): Conv2d(1, 6, kernel_size=(5, 5), stride=(1, 1))
  (conv2): Conv2d(6, 16, kernel_size=(5, 5), stride=(1, 1))
  (fc1): Linear(in_features=400, out_features=120, bias=True)
  (fc2): Linear(in_features=120, out_features=84, bias=True)
  (fc3): Linear(in_features=84, out_features=10, bias=True)
)

通過 nn.module 成功定義網路結構後，有3個點需要注意：

  1. 只要在 nn.Module 的子類中定義了 forward 函式，backward 函式就會自動實現
  2. 網路的可學習引數通過 net.parameters() 返回，net.named_parameters 可同時返回可學習的引數和名稱
  3. 只有 Variable 才有自動求導功能，因此forward 函式的輸入和輸出都是 Variable，所以在輸入時，需要把 Tensor 封裝成 Variable
params = list(net.parameters())
len(params)

10

for name, parameters in net.named_parameters():
    print(f'{name}: {parameters.size()}')

conv1.weight: torch.Size([6, 1, 5, 5])
conv1.bias: torch.Size([6])
conv2.weight: torch.Size([16, 6, 5, 5])
conv2.bias: torch.Size([16])
fc1.weight: torch.Size([120, 400])
fc1.bias: torch.Size([120])
fc2.weight: torch.Size([84, 120])
fc2.bias: torch.Size([84])
fc3.weight: torch.Size([10, 84])
fc3.bias: torch.Size([10])

input = V(t.randn(1, 1, 32, 32))  # 定義輸入
out = net(input)
out.size()  # 輸出的形狀

torch.Size([1, 10])

net.zero_grad()  # 所有引數的梯度清零
out.backward(V(t.ones(1, 10)))  # 反向傳播

注：torch.nn只支援 mini-batches，不支援一次輸入一個樣本。如果想一次輸入一個樣本，可以用 input.unsqueeze(0) 把 batch_size 設定為 1。例如，nn.Conv2d輸入必須是 4 維的，形如nSamples × nChannels × Height × Width，可以讓 nSample 設為 1，也就是 1 × nChannels × Height × Width`

三、損失函式

nn 實現了神經網路中大多數的損失函式，例如 nn.MSELoss 計算均方誤差，nn.CrossEntropyLoss 計算交叉熵損失。

output = net(input)  # net(input)的輸出的形狀是(1,10)
target = V(t.arange(0, 10)).view(1, 10).float()
criterion = nn.MSELoss()
loss = criterion(output, target)
loss

tensor(28.5546, grad_fn=<MseLossBackward>)

如果對 loss 進行反向傳播溯源（使用 grad_fn 屬性），可以看到它的計算圖如下：

input -> conv2d -> relu -> maxpool2d -> conv2d -> relu -> maxpool2d  
      -> view -> linear -> relu -> linear -> relu -> linear 
      -> MSELoss
      -> loss

當呼叫 loss.backward() 時，該圖會動態生成並自動微分，也會自動計算圖中引數的導數

# 執行.backward，觀察呼叫之前和呼叫之後的 grad
net.zero_grad()  # 把 net 中所有可學習引數的梯度清零
print(f'反向傳播之前conv1.bias 的梯度：{net.conv1.bias.grad}')
loss.backward()
print(f'反向傳播之後conv1.bias 的梯度：{net.conv1.bias.grad}')

反向傳播之前conv1.bias 的梯度：tensor([0., 0., 0., 0., 0., 0.])
反向傳播之後conv1.bias 的梯度：tensor([ 0.1055,  0.0943, -0.1617,  0.0416, -0.0787,  0.0285])

四、優化器

在反向傳播完成所有引數的梯度計算後，還需要使用優化方法更新網路的權重和引數。在 torch.optim 中實現了深度學習中絕大多數的優化方法，這裡不詳解介紹，未來會詳細介紹，目前能成為一個合格的調包俠即可。

import torch.optim as optim

# 新建一個優化器，指定要調整的引數和學習率
optimizer = optim.SGD(net.parameters(), lr=0.01)

# 在訓練過程中，先將梯度清零（和 net.zero_grad()效果一樣）
optimizer.zero_grad()

# 計算損失
output = net(input)
loss = criterion(output, target)

# 反向傳播
loss.backward()

# 更新引數
optimizer.step()

五、資料載入和預處理

在深度學習中資料載入和預處理是非常麻煩的，但是 torch 提供了一些列簡化和加快處理資料的工具，未來我們也都會詳解介紹。並且torch 也把一些常用的資料集都儲存在了 torchvision 中。

六、Hub模組簡介

上面給出了定義一個完整的神經網路的流程，但是還是太複雜了，如果你僅僅只是想使用一個神經網路模型完成自己的一個小demo，而不是自己費盡心思的寫一個模型出來，那麼hub模組就可以滿足你的要求，你可以從hub模組官網獲取任何一個已存的模組，然後丟入你的資料就可以獲得結果，而不需要自己巴拉巴拉寫一堆程式碼。也就是說，別人用輪子造航母，你直接把航母拿來用。

以下就是hub模組的大概用法，當然，更詳細的內容可以去官網查詢：

import torch 

model = torch.hub.load('pytorch/vision:v0.4.2', 'deeplabv3_resnet101', pretrained=True)  # 載入模型，第一次載入需要一點點時間
model.eval()  # 釋放模型

七、總結

上面籠統的介紹瞭如何利用 nn 這個工具箱去搭建一個神經網路，但是隻給出了一個流程，很多細節我們還沒有詳細解釋，但這已經足夠了。

下一篇文章我們就將詳細介紹 nn 工具箱的各種細節方面的東西，等你看完下一篇文章如果再跳回來看這篇文章，相信定會有醍醐灌頂之效。

相關文章