小熊飛槳練習冊-01手寫數字識別

小熊寶寶啊發表於2022-04-12

小熊飛槳練習冊-01手寫數字識別

簡介

小熊飛槳練習冊-01手寫數字識別，本專案開發和測試均在 Ubuntu 20.04 系統下進行。
專案最新程式碼檢視主頁：小熊飛槳練習冊
百度飛槳 AI Studio 主頁：小熊飛槳練習冊-01手寫數字識別
Ubuntu 系統安裝 CUDA 參考：Ubuntu 百度飛槳和 CUDA 的安裝

檔案說明

檔案 說明
train.py 訓練程式
test.py 測試程式
report.py 報表程式
get-data.sh 獲取資料到 dataset 目錄下
check-data.sh 檢查 dataset 目錄下的資料是否存在
mod/lenet.py LeNet 網路模型
mod/dataset.py MNIST 手寫資料集解析
mod/utils.py 雜項
mod/config.py 配置
mod/report.py 結果報表
dataset 資料集目錄
params 模型引數儲存目錄
log VisualDL 日誌儲存目錄

資料集

資料集來源於百度飛槳公共資料集：經典MNIST資料集

獲取資料

如果執行在本地計算機，下載完資料，檔案放到 dataset 目錄下，在專案目錄下執行下面指令碼。
如果執行在百度 AI Studio 環境，檢視 data 目錄是否有資料，在專案目錄下執行下面指令碼。

bash get-data.sh

檢查資料

獲取資料完畢後，在專案目錄下執行下面指令碼，檢查 dataset 目錄下的資料是否存在。

bash check-data.sh

網路模型

網路模型使用 LeNet 網路模型 來源百度飛槳教程和網路
LeNet 網路模型 參考： 百度飛槳教程

import paddle
import paddle.nn as nn
import paddle.nn.functional as F


# LeNet 網路模型
class LeNet(nn.Layer):
    def __init__(self, num_classes=10):
        super(LeNet, self).__init__()
        if num_classes < 1:
            raise Exception("分類數量 num_classes 必須大於 0: {}".format(num_classes))
        self.num_classes = num_classes
        self.conv1 = nn.Conv2D(
            in_channels=1, out_channels=6, kernel_size=5, stride=1)
        self.max_pool1 = nn.MaxPool2D(kernel_size=2, stride=2)
        self.conv2 = nn.Conv2D(
            in_channels=6, out_channels=16, kernel_size=5, stride=1)
        self.max_pool2 = nn.MaxPool2D(kernel_size=2, stride=2)
        self.conv3 = nn.Conv2D(
            in_channels=16, out_channels=120, kernel_size=4, stride=1)
        self.fc1 = nn.Linear(in_features=120, out_features=64)
        self.fc2 = nn.Linear(in_features=64, out_features=num_classes)

    def forward(self, x):
        x = self.conv1(x)
        x = F.relu(x)
        x = self.max_pool1(x)
        x = self.conv2(x)
        x = F.relu(x)
        x = self.max_pool2(x)
        x = self.conv3(x)
        x = F.relu(x)
        x = paddle.flatten(x, start_axis=1, stop_axis=-1)
        x = self.fc1(x)
        x = F.relu(x)
        x = self.fc2(x)
        return x

資料集解析

資料集解析方法來源百度飛槳教程和網路，和百度飛槳 MNIST 資料集稍有不同

import paddle
import os
import struct
import numpy as np


class MNIST(paddle.io.Dataset):
    """
    MNIST 手寫資料集解析, 繼承 paddle.io.Dataset 類
    """

    def __init__(self,
                 images_path: str,
                 labels_path: str,
                 transform=None,
                 ):
        """
        建構函式，定義資料集大小

        Args:
            images_path (str): 影像集路徑
            labels_path (str): 標籤集路徑
            transform (Compose, optional): 轉換資料的操作組合, 預設 None
        """
        super(MNIST, self).__init__()
        self.images_path = images_path
        self.labels_path = labels_path
        self._check_path(images_path, "資料路徑錯誤")
        self._check_path(labels_path, "標籤路徑錯誤")
        self.transform = transform
        self.images, self.labels = self.parse_dataset(images_path, labels_path)

    def __getitem__(self, idx):
        """
        獲取單個資料和標籤

        Args:
            idx (Any): 索引

        Returns:
            image (float32): 影像
            label (int64): 標籤
        """
        image, label = self.images[idx], self.labels[idx]
        # 這裡 reshape 是2維 [28 ,28]
        image = np.reshape(image, [28, 28])
        if self.transform is not None:
            image = self.transform(image)
        # label.astype 如果是整型，只能是 int64
        return image.astype('float32'), label.astype('int64')

    def __len__(self):
        """
        資料數量

        Returns:
            int: 資料數量
        """
        return len(self.labels)

    def _check_path(self, path: str, msg: str):
        """
        檢查路徑是否存在

        Args:
            path (str): 路徑
            msg (str, optional): 異常訊息

        Raises:
            Exception: 路徑錯誤, 異常
        """
        if not os.path.exists(path):
            raise Exception("{}: {}".format(msg, path))

    @staticmethod
    def parse_dataset(images_path: str, labels_path: str):
        """
        資料集解析

        Args:
            images_path (str): 影像集路徑
            labels_path (str): 標籤集路徑

        Returns:
            images: 影像集
            labels: 標籤集
        """
        with open(images_path, 'rb') as imgpath:
            # 解析影像集
            magic, num, rows, cols = struct.unpack('>IIII', imgpath.read(16))
            # 這裡 reshape 是1維 [786]
            images = np.fromfile(
                imgpath, dtype=np.uint8).reshape(num, rows * cols)
        with open(labels_path, 'rb') as lbpath:
            # 解析標籤集
            magic, n = struct.unpack('>II', lbpath.read(8))
            labels = np.fromfile(lbpath, dtype=np.uint8)
        return images, labels

配置模組

可以檢視修改 mod/config.py 檔案，有詳細的說明

開始訓練

執行 train.py 檔案，檢視命令列引數加 -h

python3 train.py

  --cpu             是否使用 cpu 計算，預設使用 CUDA
  --learning-rate   學習率，預設 0.001
  --epochs          訓練幾輪，預設 2 輪
  --batch-size      一批次數量，預設 128
  --num-workers     執行緒數量，預設 2
  --no-save         是否儲存模型引數，預設儲存, 選擇後不儲存模型引數
  --load-dir        讀取模型引數，讀取 params 目錄下的子資料夾, 預設不讀取
  --log             是否輸出 VisualDL 日誌，預設不輸出
  --summary         輸出網路模型資訊，預設不輸出，選擇後只輸出資訊，不會開啟訓練

測試模型

執行 test.py 檔案，檢視命令列引數加 -h

python3 test.py

  --cpu           是否使用 cpu 計算，預設使用 CUDA
  --batch-size    一批次數量，預設 128
  --num-workers   執行緒數量，預設 2
  --load-dir      讀取模型引數，讀取 params 目錄下的子資料夾, 預設 best 目錄

檢視結果報表

執行 report.py 檔案，可以顯示 params 目錄下所有子目錄的 report.json。
加引數 --best 根據 loss 最小的模型引數儲存在 best 子目錄下。

python3 report.py

report.json 說明

鍵名 說明
id 根據時間生成的字串 ID
loss 本次訓練的 loss 值
acc 本次訓練的 acc 值
epochs 本次訓練的 epochs 值
batch_size 本次訓練的 batch_size 值
learning_rate 本次訓練的 learning_rate 值

VisualDL 視覺化分析工具

  • 安裝和使用說明參考：VisualDL
  • 訓練的時候加上引數 --log
  • 如果是 AI Studio 環境訓練的把 log 目錄下載下來，解壓縮後放到本地專案目錄下 log 目錄
  • 在專案目錄下執行下面命令
  • 然後根據提示的網址，開啟瀏覽器訪問提示的網址即可
visualdl --logdir ./log

相關文章