CANN訓練營第三季_基於昇騰PyTorch框架的模型訓練調優_讀書筆記

CANN訓練營第三季_基於昇騰PyTorch框架的模型訓練調優 _讀書筆記

 

PyTorch 框架 全景介紹：

 

 

效能分析工具 pytorch profiling

 

效能分析工具 cann profiling

 

 

pytorch 模型引數遷移 ( 三種方法 ) ：

方法一：將原來預訓練好的模型引數遷移到新的resnet18網路架構中，只有遷移兩者相同的模型引數，不同的引數還是隨機初始化。

方法二：修改網路名稱並遷移學習

方法三：去除原模型的某些模組

在npu上訓練，必須使用混合精度

一般來說，衡量模型效能的資料是看單step單位時間內的資料吞吐量

檢視模型運算元耗時的工具是cann profiling

宏觀檢視模型效能的工具是pytorch profiling

cann profiling的模型效能資料比pytorch profiling的更準確。

以下方法可以提升模型效能 ：

arm 架構下綁核啟動程式

使用融合最佳化器

使用 npu 親和運算元

有動態 shape 的模型，可以使用 如下 方法進行訓練：

固定 shape

模糊編譯

分檔

arm 架構下，使用綁核的方式啟動模型訓練，效能會得到一定的提升。

第一次訓練模型啟動比較慢，是因為模型在編譯，第二次啟動訓練，速度會明顯提升。