[PyTorch 學習筆記] 3.2 卷積層

本章程式碼：https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson3/nn_layers_convolution.py

這篇文章主要介紹了 PyTorch 中常用的卷積層，包括 3 個部分。

1D/2D/3D 卷積

卷積有一維卷積、二維卷積、三維卷積。一般情況下，卷積核在幾個維度上滑動，就是幾維卷積。比如在圖片上的卷積就是二維卷積。

一維卷積

二維卷積

三維卷積

二維卷積：nn.Conv2d()

nn.Conv2d(self, in_channels, out_channels, kernel_size, stride=1,
                 padding=0, dilation=1, groups=1,
                 bias=True, padding_mode='zeros')

這個函式的功能是對多個二維訊號進行二維卷積，主要引數如下：

• in_channels：輸入通道數
• out_channels：輸出通道數，等價於卷積核個數
• kernel_size：卷積核尺寸
• stride：步長
• padding：填充寬度，主要是為了調整輸出的特徵圖大小，一般把 padding 設定合適的值後，保持輸入和輸出的影像尺寸不變。
• dilation：空洞卷積大小，預設為 1，這時是標準卷積，常用於影像分割任務中，主要是為了提升感受野
• groups：分組卷積設定，主要是為了模型的輕量化，如在 ShuffleNet、MobileNet、SqueezeNet 中用到
• bias：偏置

卷積尺寸計算

簡化版卷積尺寸計算

這裡不考慮空洞卷積，假設輸入圖片大小為 $ I \times I$，卷積核大小為 $k \times k$，stride 為 $s$，padding 的畫素數為 $p$，圖片經過卷積之後的尺寸 $ O $ 如下：

$O = \displaystyle\frac{I -k + 2 \times p}{s} +1$

下面例子的輸入圖片大小為 $5 \times 5$，卷積大小為 $3 \times 3$，stride 為 1，padding 為 0，所以輸出圖片大小為 $\displaystyle\frac{5 -3 + 2 \times 0}{1} +1 = 3$。

完整版卷積尺寸計算

完整版卷積尺寸計算考慮了空洞卷積，假設輸入圖片大小為 $ I \times I$，卷積核大小為 $k \times k$，stride 為 $s$，padding 的畫素數為 $p$，dilation 為 $d$，圖片經過卷積之後的尺寸 $ O $ 如下：。

$O = \displaystyle\frac{I - d \times (k-1) + 2 \times p -1}{s} +1$

卷積網路示例

這裡使用 input*channel 為 3，output_channel 為 1 ，卷積核大小為 $3 \times 3$ 的卷積核nn.Conv2d(3, 1, 3)，使用nn.init.xavier_normal*()方法初始化網路的權值。程式碼如下：

import os
import torch.nn as nn
from PIL import Image
from torchvision import transforms
from matplotlib import pyplot as plt
from common_tools import transform_invert, set_seed

set_seed(3)  # 設定隨機種子

# ================================= load img ==================================
path_img = os.path.join(os.path.dirname(os.path.abspath(__file__)), "imgs", "lena.png")
print(path_img)
img = Image.open(path_img).convert('RGB')  # 0~255

# convert to tensor
img_transform = transforms.Compose([transforms.ToTensor()])
img_tensor = img_transform(img)
# 新增 batch 維度
img_tensor.unsqueeze_(dim=0)    # C*H*W to B*C*H*W

# ================================= create convolution layer ==================================

# ================ 2d
flag = 1
# flag = 0
if flag:
    conv_layer = nn.Conv2d(3, 1, 3)   # input:(i, o, size) weights:(o, i , h, w)
    # 初始化卷積層權值
    nn.init.xavier_normal_(conv_layer.weight.data)
	# nn.init.xavier_uniform_(conv_layer.weight.data)
    # calculation
    img_conv = conv_layer(img_tensor)

# ================ transposed
# flag = 1
flag = 0
if flag:
    conv_layer = nn.ConvTranspose2d(3, 1, 3, stride=2)   # input:(input_channel, output_channel, size)
    # 初始化網路層的權值
    nn.init.xavier_normal_(conv_layer.weight.data)

    # calculation
    img_conv = conv_layer(img_tensor)

# ================================= visualization ==================================
print("卷積前尺寸:{}\n卷積後尺寸:{}".format(img_tensor.shape, img_conv.shape))
img_conv = transform_invert(img_conv[0, 0:1, ...], img_transform)
img_raw = transform_invert(img_tensor.squeeze(), img_transform)
plt.subplot(122).imshow(img_conv, cmap='gray')
plt.subplot(121).imshow(img_raw)
plt.show()

卷積前後的圖片如下 (左邊是原圖片，右邊是卷積後的圖片)：

當改為使用`nn.init.xavier_uniform_()`方法初始化網路的權值時，卷積前後圖片如下：

我們通過`conv_layer.weight.shape`檢視卷積核的 shape 是`(1, 3, 3, 3)`，對應是`(output_channel, input_channel, kernel_size, kernel_size)`。所以第一個維度對應的是卷積核的個數，每個卷積核都是`(3,3,3)`。雖然每個卷積核都是 3 維的，執行的卻是 2 維卷積。下面這個圖展示了這個過程。

也就是每個卷積核在 input_channel 維度再劃分，這裡 input_channel 為 3，那麼這時每個卷積核的 shape 是`(3, 3)`。3 個卷積核在輸入影像的每個 channel 上卷積後得到 3 個數，把這 3 個數相加，再加上 bias，得到最後的一個輸出。

轉置卷積：nn.ConvTranspose()

轉置卷積又稱為反摺積 (Deconvolution) 和部分跨越卷積 (Fractionally strided Convolution)，用於對影像進行上取樣。

正常卷積如下：

原始的圖片尺寸為 $4 \times 4$，卷積核大小為 $3 \times 3$，$padding =0$，$stride = 1$。由於卷積操作可以通過矩陣運算來解決，因此原始圖片可以看作 $16 \times 1$ 的矩陣 $I_{16 \times 1}$，卷積核可以看作 $4 \times 16$ 的矩陣 $K_{4 \times 16}$，那麼輸出是 $K_{4 \times 16} \times I_{16 \times 1} = O_{4 \times 1}$ 。

轉置卷積如下：

原始的圖片尺寸為 $2 \times 2$，卷積核大小為 $3 \times 3$，$padding =0$，$stride = 1$。由於卷積操作可以通過矩陣運算來解決，因此原始圖片可以看作 $4 \times 1$ 的矩陣 $I_{4 \times 1}$，卷積核可以看作 $4 \times 16$ 的矩陣 $K_{16 \times 4}$，那麼輸出是 $K_{16 \times 4} \times I_{4 \times 1} = O_{16 \times 1}$ 。

正常卷積核轉置卷積矩陣的形狀剛好是轉置關係，因此稱為轉置卷積，但裡面的權值不是一樣的，卷積操作也是不可逆的。

PyTorch 中的轉置卷積函式如下：

nn.ConvTranspose2d(self, in_channels, out_channels, kernel_size, stride=1,
                 padding=0, output_padding=0, groups=1, bias=True,
                 dilation=1, padding_mode='zeros')

和普通卷積的引數基本相同，不再贅述。

轉置卷積尺寸計算

簡化版轉置卷積尺寸計算

這裡不考慮空洞卷積，假設輸入圖片大小為 $ I \times I$，卷積核大小為 $k \times k$，stride 為 $s$，padding 的畫素數為 $p$，圖片經過卷積之後的尺寸 $ O $ 如下，剛好和普通卷積的計算是相反的：

$O = (I-1) \times s + k$

完整版簡化版轉置卷積尺寸計算

$O = (I-1) \times s - 2 \times p + d \times (k-1) + out_padding + 1$

轉置卷積程式碼示例如下：

import os
import torch.nn as nn
from PIL import Image
from torchvision import transforms
from matplotlib import pyplot as plt
from common_tools import transform_invert, set_seed

set_seed(3)  # 設定隨機種子

# ================================= load img ==================================
path_img = os.path.join(os.path.dirname(os.path.abspath(__file__)), "imgs", "lena.png")
print(path_img)
img = Image.open(path_img).convert('RGB')  # 0~255

# convert to tensor
img_transform = transforms.Compose([transforms.ToTensor()])
img_tensor = img_transform(img)
# 新增 batch 維度
img_tensor.unsqueeze_(dim=0)    # C*H*W to B*C*H*W

# ================================= create convolution layer ==================================

# ================ 2d
# flag = 1
flag = 0
if flag:
    conv_layer = nn.Conv2d(3, 1, 3)   # input:(i, o, size) weights:(o, i , h, w)
    # 初始化卷積層權值
    nn.init.xavier_normal_(conv_layer.weight.data)
    # nn.init.xavier_uniform_(conv_layer.weight.data)

    # calculation
    img_conv = conv_layer(img_tensor)

# ================ transposed
flag = 1
# flag = 0
if flag:
    conv_layer = nn.ConvTranspose2d(3, 1, 3, stride=2)   # input:(input_channel, output_channel, size)
    # 初始化網路層的權值
    nn.init.xavier_normal_(conv_layer.weight.data)

    # calculation
    img_conv = conv_layer(img_tensor)

# ================================= visualization ==================================
print("卷積前尺寸:{}\n卷積後尺寸:{}".format(img_tensor.shape, img_conv.shape))
img_conv = transform_invert(img_conv[0, 0:1, ...], img_transform)
img_raw = transform_invert(img_tensor.squeeze(), img_transform)
plt.subplot(122).imshow(img_conv, cmap='gray')
plt.subplot(121).imshow(img_raw)
plt.show()

轉置卷積前後圖片顯示如下，左邊原圖片的尺寸是 (512, 512)，右邊轉置卷積後的圖片尺寸是 (1025, 1025)。

轉置卷積後的圖片一般都會有棋盤效應，像一格一格的棋盤，這是轉置卷積的通病。

關於棋盤效應的解釋以及解決方法，推薦閱讀Deconvolution And Checkerboard Artifacts。

參考資料

• 深度之眼 PyTorch 框架班

如果你覺得這篇文章對你有幫助，不妨點個贊，讓我有更多動力寫出好文章。