AI學習筆記

1⃣️ 數學

2⃣️ 語言

?C++?

? 編譯相關

• ? cpp編譯過程

• ? C++靜態庫與動態庫

• ? gcc、cmake | gcc引數選項

• ? makefile手冊

• ? why make –> cmake

• ? CMake Tutorial | CMakeLists.txt格式 | CMake官方教程-英文 | CMake手冊-別人的blog |CMake Demo Github | Cmake Demo github2

• ? CMake 教程中文版

? 程式碼學習

• ? C++黑馬視訊–語法為主

• ? 侯傑C++學習教程

? 函式

• ? atof、…

• ? C++11 std::chrono庫詳解

• ? 詳解C++11智慧指標

• ? static_cast、dynamic_cast、const_cast和reinterpret_cast

• ? 庫的匯入（系統介紹）

• ? mutable

• ? Lambda

• ? 函式指標與指標函式

• ? C\C++中函式後面加const

• ? unique_ptr的使用和陷阱

? C++工具

• VS Code + UML ｜ 類圖語法參考

• UML類關係

? 演算法&資料結構

• ? 連結串列：

  • ? 反轉連結串列、連結串列操作、合併連結串列

• ? 堆

  • ? 最小K個數

• ? 操作

  • 增：

  • 刪：

  • 改：

  • 查：

  • 排序

?Python?

? 深度之眼?

• ? 第二章 Python基本語法元素.ipynb

• ? 第三章 基本資料型別.ipynb

• ? 第四章 組合資料型別.ipynb

• ? 第五章 程式控制結構.ipynb

• ? 第六章 函式.ipynb

• ? 第七章 類——物件導向的程式設計.ipynb

• ? 第八章 檔案、異常和模組.ipynb

• ? 第九章 有益的探索.ipynb

• ? 第十章 Python標準庫.ipynb

• ? 第十一章 Numpy庫.ipynb

• ? 第十二章 Pandas 庫.ipynb

• ? 第十三章 Matplotlib庫.ipynb

• ? 第十四章 scikit-learn 庫.ipynb

• ? 第十五章 再談程式設計.ipynb

? Numpy

• ? Axis

• ? argmax、…、11個函式

• ? 控制流程

? Matplotlib

• Matplotlib 唐宇迪

  • Matplotlib基本操作

  • 風格設定

  • 條形圖

  • 盒圖

  • 直方圖and散點圖

  • 3D圖

  • pie圖和子圖佈局

  • Pandas與sklearn結合例項

? Python函式

• ? Python下劃線

• ? 檢視型別、記憶體地址、佔用空間大小；…;等15個函式

• ? Python 類

• ? pdb除錯工具

• ? OS模組

• ? SYS模組

• ? Argparse模組

• ? logging 模組

• ? 多程式&多執行緒 –> 處理庫futures

• ? 型別轉換

• ? collections模組

• ? Map | Reduce

• ? 如何計算topk

• ? 按比例切分資料集

• ? 獲取當前檔案的路徑

• ? Python模組搜尋路徑

• ? Python glob

? Python封裝工具

• ? Python程式封裝為exe等

• ? Python程式封裝成wheel、setuptools

• ? Python pybind11

? Python GUI

• ? QT5

? Python 報錯

• ? docker容器python中文亂碼

1⃣️ GPUs

? GPU知識

• ? 深入GPU硬體架構及執行機制

• ? gpustat

• ? nvidia-smi命令

• ? NUMA & GPU

• ? GPU Direct

• ? GPU-Driver-Cuda- pytorch-tensorflow 對應關係

• ? CUDA Samples

? GPUs訓練環境安裝

• ? Driver安裝 Ubuntu16.04 ——-> CUDA、cuDNN安裝 Ubuntu16.04 | Windows10–> Docker–>NVDocker

• ? Horovod安裝–見pytorch分散式小節

? 推理環境安裝

• ? TensorRT Ubuntu – Windows10

2⃣️ Pytorch

?Pytorch分散式?

• ? 分散式概念介紹-MPI

• ? GPU&CUDA多機通訊-硬體、庫、框架三個層次 | 學習程式碼-需整理 | distributed + apex - 需整理

? Horovod搭建過程

• ? 整體日誌

• ? IPMI配置

• ? Ubuntu16.04 Server安裝

• ? Ubuntu16.04 配置IP

• ? Ubuntu16.04 修改APT源

• ? Ubuntu16.04 安裝NVIDIA驅動 【一、安裝440版本，可根據需求調換版本】

• ? Ubuntu16.04 安裝CUDA，cuDNN【二、安裝cuda10.2 和cudnn7.6.5，可根據需求調換版本】

• ? Ubuntu16.04安裝nccl & 測試【三、安裝nccl 2.6.4，可根據需求調換版本，apt-cache madison】

• ? Pytorch多機多卡【四、測試多機多卡，先測試無RDMA的。需安裝torch 1.2 torchvision0.4.0】

• ? 裝安IB驅動【五、裝IB，加速IB卡之間的RDMA】

• ? Pytorch多機多卡【六、再次跑多機多卡程式，與四的效果對比】

• ? 安裝NV_Peer_Memory【七、安裝nv_peer_memory, 加速GPURDMA】

• ? Pytorch多機多卡【八、再次跑多機多卡程式與四、六對比】

• ? 安裝OpenMPI【九、安裝OpenMPI，為Horovod做準備】

• ? 安裝Horovod【十、安裝Horovod，並測試程式，與四、六、八對比】

• ? Ubuntu16.04 安裝Docker【十一、安裝Docker】

• ? Ubuntu16.04 安裝NVIDIA Docker【十二、安裝NV-Docker】

• ? 在Docker中執行Horovod【十三、在Docker中執行Horovod】

?Pytorch1.4學習?

?Pytorch函式學習

• ? clone、detached、copy

• ? expand & repeat

• ? cat & stack

• ? transpose & permute

• ? contiguous

• ? squeeze & unsqueeze

• ? max, argmax, size, clamp, sum, topk

• ? train、eval

• ? 權重載入修改名稱

• ? 上取樣：interpolate、PixelShuffle

• ? scatter

3⃣️ 工具

? 影像預處理

• ? 影像標註工具labelme

• ? 影像去重工具imagededup

• ? 影像增強工具imgaug

? 實驗工具

• ? 實驗管理工具sacred

• ? bypy 百度雲下載python

• ? Python日誌庫loguru

? IDE&Tools安裝

• ? JupyterLab安裝 Ubuntu

• ? Matlab安裝 Ubuntu

• ? xrdp Ubuntu

• ? VS2019 Windows

• ? CLion 安裝與除錯 Mac

• ? cmake 安裝

• ? pycuda安裝

• ? OpenCV GPU-Ubuntu – CPU-Ubuntu

• ? VS Code 使用筆記

• ? Pycharm手冊

4⃣️ OpenCV

• ? Python 讀取視訊

• ? C++ Opencv學習筆記

• ? opencv中CPU指令集優化、GPU

• ? Opencv GPU系列筆記 CSDN

1⃣️ 檢查資料

2⃣️訓練模型–train e ↓

?資料預處理

? 資料集介紹

• ? VOC

• ? COCO

• ? Cityscapaces

? 特徵縮放?

? Pytorch資料讀取

• ? 加速訓練 —提高 GPU 利用率

• ? 加速訓練—節約視訊記憶體

? Python讀取圖片

• ? 計算圖片均值

• ? opencv讀取資料–segmentation fault

• ? 直方圖處理

• ? python讀取圖片的幾種方式

? 網路模型

? 機器學習

• ? 最小二乘法

• ? kmeans

? NN

• ? NN發展史

• ? 45分鐘理解深度神經網路和深度學習-擬合角度

• ? 零基礎入門深度學習- 感知器-線性單元和梯度下降-神經網路和反向傳播演算法-卷積神經網路-迴圈神經網路-長短時記憶網路(LSTM)-遞迴神經網路

?CNN

• ? CNN介紹 –?CNN網路程式碼講解

• ? LeNet, AlexNet, VGG

• ? DSC理解

• ? Inception

• ? ResNet

• ? DenseNet

• ? MobileNet

• ? SENet

• ? EfficientNet

• ? conv 1* 1的作用

• ? 上取樣

?RNN/NLP

• ? NLP學習路線

• ? Attention

• ? [Transformer]

?GAN

?Detection

• ? RCNNs

• ? YOLO

  • yolo v1

  • yolo v2

  • yolo v3

  • yolo v4

  • Yolox | Github

?Segmentation

• ? 分割綜述(2020)

• ? UNet Family

  • unet

  • UNet++

• ? PSPNet

• ? DUC & HDC

? IQA

• ? HyperNet

? FSL(小樣本)

• ? 入門學習視訊 ｜ PPT

• ? 小樣本與元學習

• ? 綜述—《Generalizing from a Few Examples: A Survey on Few-Shot Learning》學習|小樣本論文收集-GitHub |視訊

• ? 元學習的方法實現小樣本分類

• ? meta-learning系列

  • 元學習系列（零）：小樣本學習與元學習綜述

  • 元學習系列（一）：Siamese Network（孿生網路）1|2|3

  • 元學習系列（二）：Prototypical Networks（原型網路）

  • 元學習系列（三）: Relation Network（關係網路）

  • 元學習系列（四）: Matching Network（匹配網路）

  • 元學習系列（五）: GRU模型

  • 元學習系列（六）: 神經圖靈機詳細分析

  • 元學習系列（七）: MAML與Meta-SGD

  • 元學習系列（八）: Reptile

• ? PANet

? 損失函式

• ? 交叉墒

• ? Pytorch的損失函式

• Lovasz-Softmax Loss

• Exponential Logarithmic loss

• Focal Loss + Dice Loss

• BCE + Dice Loss

• Generalized Dice loss

• Tversky Loss

• IOU Loss

• Dice Loss

• Focal Loss

? 優化器

• ? 優化器整理

• ? 一階梯度下降

? BP求導

• ? 矩陣向量求導

• ? 深度神經網路（DNN）模型與前向/反向傳播演算法—->DNN - 反向傳播演算法(特詳細)—->手動實現DNN

• ? 深度神經網路（CNN）模型與前向/反向傳播演算法—->CNN-反向傳播演算法 —->手動實現CNN

? 評價指標

• ? 語義分割評價指標

• ? mAP code

• ? IOU

? 網路視覺化

?權重、梯度、特徵圖視覺化

• ? 網路中間層顯示工具CAM ? blog

• ? 模型權重理解DeepDream

• ? 網路結構顯示工具權重/梯度/特徵圖/混淆矩陣tensorboard

• ? 網路顯示工具visdon

?網路結構

• ? 網路結構顯示工具torchsuammary ? debug

• ? 網路結構顯示工具Netron

? 梯度消失與爆炸/欠擬合?

1. 預訓練加微調

2. ? 權重初始化

3. ? 梯度剪下、權重正則（針對梯度爆炸）

4. ? 使用不同的啟用函式

5. ? 使用batchnorm

6. ? 使用殘差結構

7. ? 使用LSTM網路

? Tips

• ? 深度學習訓練流程

• ? 提高效能的4個角度

• ? 固定種子

• ? 混合精度訓練, ? apex ? apex+tensorcore+ngc

• ? TensorCore

• ? DeepLearningExamples NVIDIA-各種加速和demo

• ? 學習率調整策略

• ? 學習率與batchsize

3⃣️測試模型–train e↔︎test e ↓

? 過擬合?

• ? 正則化

• ? early stop

• ? 資料增強

• ? dropout

• …

4⃣️ 微調/遷移學習

• ? 隨機網格搜尋

• ? 超引數優化

5⃣️ 壓縮&部署

? 壓縮

• ? 序列化

  • yaml

  • protobuf

  • grpc

? 資料後處理

? 部署框架 ?

?ONNX

• ? ONNX介紹

• ? ONNX API Python | ONNX Tutorials

• ? ONNX支援框架有哪些

? TVM

• 介紹

• 編譯安裝

• TVM架構設計

• TVM部署

• TVM原理

• TVM原始碼學習

• Relay學習TODO

• 學習筆記-程式碼 | Github | [DockerHub:dockerhub:docker pull fusimeng/project:tvm-deploy-cpp]

?TensorRT

• 瞭解什麼是TensorRT?

• 案例和講解（C++）

• 使用TensorRT遇到的問題

• 入門案例程式碼解析(python)

• 自己收集的案例1(python) | 2(python)

? 網站部署-BS

• ? HTTP協議

• ? 為什麼web會前後端分離？

• ? 《REST，GraphQL，Webhooks & gRPC 如何選型》

• ? 淺談 RPC 和 REST: SOAP, gRPC, REST

• ? 理解RESTful

? 嵌入式裝置

• ? Nano

• ? 樹莓派

  • 安裝系統

? 視訊處理與流媒體

• 協議

? 基本概念

• 視訊基本概念與多媒體概念

• 視訊編解碼與GPU

? 視訊編解碼理論基礎

• 第一章 介紹

• 第二章 數字視訊

• 第三章 資訊理論基礎

• 第四章 視訊編解碼理論基礎

? 資訊理論與編碼基礎（雷菁）

• 第一章 緒論

• 第二章 離散信源

• 第三章 離散通道

DeepStream

• DeepStream介紹

專案結構

1、config.json格式：參考segmentation

2、scared格式：參考PANet

3、Exp自定義格式：參考YoloX

1⃣️ 分類/Classification

• ? classification

2⃣️ 語義分割/Segmentation

• ? segmentation

3⃣️ 目標檢測/Detection

• ? YoloX

4⃣️ 小樣本/Few Shot Learning

• ? PANet-? ?

5⃣️ 影像質量評價/Image Quality Assessment

• ? hyperIQA-??

5⃣️ 異常檢測/Anomaly Detection

• PaDiM Anomaly Detection

5⃣️ 部署

• ? onnxruntime, tensorrt, tvm, …

本作品採用《CC 協議》，轉載必須註明作者和本文連結