9 大主題卷積神經網路（CNN）的 PyTorch 實現

大家還記得這張圖嗎？

之前，紅色石頭髮文介紹過一份很不錯的資源：

52 個深度學習目標檢測模型彙總，論文、原始碼一應俱全！

深度系統介紹了 52 個目標檢測模型，縱觀 2013 年到 2020 年，從最早的 R-CNN、OverFeat 到後來的 SSD、YOLO v3 再到去年的 M2Det，新模型層出不窮，效能也越來越好！

上文聚焦於原始碼和論文，對於各種卷積神經網路模型的實現，本文將介紹它們的 PyTorch 實現，非常有用！

這份資源已經開源在了 GitHub 上，連結如下：

https://github.com/shanglianlm0525/PyTorch-Networks

先來個總結介紹，該系列的卷積神經網路實現包含了 9 大主題，目錄如下：

1. 典型網路

2. 輕量級網路

3. 目標檢測網路

4. 語義分割網路

5. 例項分割網路

6. 人臉檢測和識別網路

7. 人體姿態識別網路

8. 注意力機制網路

9. 人像分割網路

下面具體來看一下：

1. 典型網路（Classical network）

典型的卷積神經網路包括：AlexNet、VGG、ResNet、InceptionV1、InceptionV2、InceptionV3、InceptionV4、Inception-ResNet。

以 AlexNet 網路為例，AlexNet 是 2012 年 ImageNet 競賽冠軍獲得者 Hinton 和他的學生 Alex Krizhevsky 設計的。AlexNet 中包含了幾個比較新的技術點，也首次在 CNN 中成功應用了 ReLU、Dropout 和 LRN 等 Trick。同時 AlexNet 也使用了 GPU 進行運算加速。

AlexNet 網路結構的 PyTorch 實現方式如下：

import torch
import torch.nn as nn

def Conv3x3BNReLU(in_channels,out_channels,stride,padding=1):
    return nn.Sequential(
            nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=3, stride=stride, padding=1),
            nn.BatchNorm2d(out_channels),
            nn.ReLU6(inplace=True)
        )

def Conv1x1BNReLU(in_channels,out_channels):
    return nn.Sequential(
            nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=1, stride=1, padding=0),
            nn.BatchNorm2d(out_channels),
            nn.ReLU6(inplace=True)
        )

def ConvBNReLU(in_channels,out_channels,kernel_size,stride,padding=1):
    return nn.Sequential(
            nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=kernel_size, stride=stride, padding=padding),
            nn.BatchNorm2d(out_channels),
            nn.ReLU6(inplace=True)
        )

def ConvBN(in_channels,out_channels,kernel_size,stride,padding=1):
    return nn.Sequential(
            nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=kernel_size, stride=stride, padding=padding),
            nn.BatchNorm2d(out_channels)
        )

class ResidualBlock(nn.Module):
    def __init__(self, in_channels, out_channels):
        super(ResidualBlock, self).__init__()
        mid_channels = out_channels//2

        self.bottleneck = nn.Sequential(
            ConvBNReLU(in_channels=in_channels, out_channels=mid_channels, kernel_size=1, stride=1),
            ConvBNReLU(in_channels=mid_channels, out_channels=mid_channels, kernel_size=3, stride=1, padding=1),
            ConvBNReLU(in_channels=mid_channels, out_channels=out_channels, kernel_size=1, stride=1),
        )
        self.shortcut = ConvBNReLU(in_channels=in_channels, out_channels=out_channels, kernel_size=1, stride=1)

    def forward(self, x):
        out = self.bottleneck(x)
        return out+self.shortcut(x)