MindSpore模型精度調優實戰:如何更快定位精度問題

pswyjz發表於2021-09-11
摘要:為大家梳理了針對常見精度問題的除錯調優指南,將以“MindSpore模型精度調優實戰”系列文章的形式分享出來,幫助大家輕鬆定位精度問題,快速優化模型精度。

本文分享自華為雲社群《技術乾貨 | 更快定位精度問題!MindSpore模型精度調優實戰(一)》,原文作者:HWCloudAI 。

引言:

在模型的開發過程中,精度達不到預期常常讓人頭疼。為了幫助大家解決模型除錯調優的問題,我們為MindSpore量身定做了視覺化除錯調優元件:MindInsight。

還為大家梳理了針對常見精度問題的除錯調優指南,將以“MindSpore模型精度調優實戰”系列文章的形式分享出來,幫助大家輕鬆定位精度問題,快速優化模型精度。

本文是系列分享的第一篇,將簡單介紹常見精度問題,分析精度問題的常見現象和原因,並給出一個整體的調優思路。本系列分享假設您的指令碼已經能夠執行並算出loss值。如果指令碼還不能執行,請先參考相關報錯提示進行修改。在精度調優實踐中,發現異常現象是比較容易的。但是,如果我們對異常現象不夠敏感、不會解釋,還是會同問題根因失之交臂。本文對常見精度問題進行了解釋,能夠提高你對異常現象的敏感度,幫你更快定位精度問題。

01 精度問題的常見現象和原因

模型精度問題和一般的軟體問題不同,定位週期一般也更長。在通常的程式中,程式輸出和預期不符意味著存在bug(編碼錯誤)。但是對一個深度學習模型來說,模型精度達不到預期,有著更復雜的原因和更多的可能性。由於模型精度要經過長時間的訓練才能看到最終結果,定位精度問題通常會花費更長的時間。

1.1 常見現象

精度問題的直接現象一般體現在loss(模型損失值)和metrics(模型度量指標)上。loss現象一般表現為(1)loss跑飛,出現NAN,+/- INF,極大值(2)loss不收斂、收斂慢(3)loss為0等。模型metrics一般表現為模型的accuracy、precision等metric達不到預期。

精度問題的直接現象較容易觀察,藉助MindInsight等視覺化工具,還可以在梯度、權重、啟用值等張量上觀察到更多現象。常見現象如:(1)梯度消失(2)梯度爆炸(3)權重不更新(4)權重變化過小(5)權重變化過大(6)啟用值飽和等。

1.2 常見原因

有果必有因,在現象的背後,是精度問題的原因,可以簡單分為超參問題、模型結構問題、資料問題、演算法設計問題等類別:

  • 1.2.1 超參問題

超參是模型和資料之間的潤滑劑,超參的選擇直接影響了模型對資料擬合效果的優劣。超參方面常見的問題如下:

1)學習率設定不合理(過大、過小)

2)loss_scale引數不合理

3)權重初始化引數不合理等

4)epoch過大或過小

5)batch size過大

學習率過大或過小。學習率可以說是模型訓練中最重要的超參了。學習率過大,會導致loss震盪,不能收斂到預期值。學習率過小,會導致loss收斂慢。應根據理論和經驗合理選擇學習率策略。

epoch過大或過小。epoch數目直接影響模型是欠擬合還是過擬合。epoch過小,模型未訓練到最優解就停止了訓練,容易欠擬合;epoch過大,模型訓練時間過長,容易在訓練集上過擬合,在測試集上達不到最優的效果。應根據訓練過程中驗證集上模型效果的變化情況,合理選擇epoch數目。batch size過大。batch size過大時,模型可能不能收斂到較優的極小值上,從而降低模型的泛化能力。

  • 1.2.2 資料問題

a.資料集問題

資料集的質量決定了演算法效果的上限,如果資料質量差,再好的演算法也難以得到很好的效果。常見資料集問題如下:

1)資料缺失值過多

2)每個類別中的樣本數目不均衡

3)資料中存在異常值

4)訓練樣本不足

5)資料的標籤錯誤

資料集中存在缺失值、異常值,會導致模型學習到錯誤的資料關係。一般來說,應該從訓練集中刪除存在缺失值或異常值的資料,或者設定合理的預設值。資料標籤錯誤是異常值的一種特殊情況,但是這種情況對訓練的破壞性較大,應通過抽查輸入模型的資料等方式提前識別這類問題。

資料集中每個類別的樣本數目不均衡,是指資料集中每個類別中的樣本數目有較大差距。例如,影像分類資料集(訓練集)中,大部分類別都有1000個樣本,但是“貓”這一類別只有100個樣本,就可以認為出現了樣本數目不均衡的情況。樣本數目不均衡會導致模型在樣本數目少的類別上預測效果差。如果出現了樣本數目不均衡,應該酌情增加樣本量小的類別的樣本。一般來說,有監督深度學習演算法在每類5000個標註樣本的情況下將達到可以接受的效能,當資料集中有1000萬個以上的已標註樣本時,模型的表現將會超過人類。

訓練樣本不足則是指訓練集相對於模型容量太小。訓練樣本不足會導致訓練不穩定,且容易出現過擬合。如果模型的引數量同訓練樣本數量不成比例,應該考慮增加訓練樣本或者降低模型複雜度。

b.資料處理問題常見資料處理問題如下:

1)常見資料處理演算法問題

2)資料處理引數不正確等

3)未對資料進行歸一化或標準化

4)資料處理方式和訓練集不一致

5)沒有對資料集進行shuffle

未對資料進行歸一化或標準化,是指輸入模型的資料,各個維度不在一個尺度上。一般來說,模型要求各個維度的資料在-1到1之間,均值為0。如果某兩個維度的尺度存在數量級的差異,可能會影響模型的訓練效果,此時需要對資料進行歸一化或標準化。資料處理方式和訓練集不一致是指在使用模型進行推理時,處理方式和訓練集不一致。例如對圖片的縮放、裁切、歸一化引數和訓練集不同,會導致推理時的資料分佈和訓練時的資料分佈產生差異,可能會降低模型的推理精度。備註:一些資料增強操作(如隨機旋轉,隨機裁切等)一般只應用在訓練集,推理時無需進行資料增強。

沒有對資料集進行shuffle,是指訓練時未對資料集進行混洗。未進行shuffle,或者混洗不充分,會導致總是以相同的資料順序更新模型,嚴重限制了梯度優化方向的可選擇性,導致收斂點的選擇空間變少,容易過擬合。

  • 1.2.3 演算法問題

演算法本身有缺陷導致精度無法達到預期。

a. API使用問題

常見API使用問題如下:

1.使用API沒有遵循MindSpore約束

2.構圖時未遵循MindSpore construct約束。

使用API未遵循MindSpore約束,是指使用的API和真實應用的場景不匹配。例如,在除數中可能含有零的場景,應該考慮使用DivNoNan而非Div以避免產生除零問題。又例如,MindSpore中,DropOut第一個引數為保留的概率,和其它框架正好相反(其它框架為丟掉的概率),使用時需要注意。

構圖未遵循MindSpore construct約束,是指圖模式下的網路未遵循MindSpore靜態圖語法支援中宣告的約束。例如,MindSpore目前不支援對帶鍵值對引數的函式求反向。完整約束請見:https://mindspore.cn/doc/note/zh-CN/master/static_graph_syntax_support.html

b. 計算圖結構問題

計算圖結構是模型計算的載體,計算圖結構錯誤一般是實現演算法時程式碼寫錯了。計算圖結構方面常見的問題有:

1.運算元使用錯誤(使用的運算元不適用於目標場景)

2.權重共享錯誤(共享了不應共享的權重)

3.節點連線錯誤(應該連線到計算圖中的block未連線)

4.節點模式不正確

5.權重凍結錯誤(凍結了不應凍結的權重)

6.loss函式有誤

7.優化器演算法錯誤(如果自行實現了優化器)等

權重共享錯誤,是指應該共享的權重未共享,或者不應該共享的權重共享了。通過MindInsight計算圖可視,可以檢查這一類問題。

權重凍結錯誤,是指應該凍結的權重未凍結,或者不應該凍結的權重凍結了。在MindSpore中,凍結權重可以通過控制傳入優化器的params引數來實現。未傳入優化器的Parameter將不會被更新。可以通過檢查指令碼,或者檢視MindInsight中的引數分佈圖確認權重凍結情況。

節點連線錯誤,是指計算圖中各block的連線和設計不一致。如果發現節點連線錯誤,應該仔細檢查指令碼是否編寫出錯。

節點模式不正確,是指部分割槽分訓練、推理模式的運算元,需要按照實際情況設定模式。典型的包括:(1)BatchNorm運算元,訓練時應開啟BatchNorm的訓練模式,此開關在呼叫 net.set_train(True)的時候會自動開啟(2)DropOut運算元,推理時不應使用DropOut運算元。

loss函式有誤,是指loss函式演算法實現錯誤,或者未選擇合理的loss函式。例如,BCELoss和BCEWithLogitsLoss是不同的,應根據是否需要sigmoid函式合理選擇。

c. 權重初始化問題

權重初始值是模型訓練的起點,不合理的初始值將會影響模型訓練的速度和效果。權重初始化方面常見問題如下:

1.權重初始值全部為0

2.分散式場景不同節點的權重初始值不同

權重初始值全為0,是指初始化後,權重值為0。這一般會導致權重更新問題,應使用隨機值初始化權重。

分散式場景不同節點的權重初始值不同,是指初始化後,不同節點上的同名權重初始值不同。正常來說,MindSpore會對梯度做全域性AllReduce。確保每個step結尾,權重更新量是相同的,從而保證每個step中,各個節點上的權重一致。如果初始化時各節點的權重不同,就會導致不同節點的權重在接下來的訓練中處於不同的狀態,會直接影響模型精度。分散式場景應通過固定相同的隨機數種子等方式,確保權重的初始值一致。

1.3 相同現象存在多個可能原因導致精度問題定位難

以loss不收斂為例(下圖),任何可能導致啟用值飽和、梯度消失、權重更新不正確的問題都可能導致loss不收斂。例如錯誤地凍結了部分權重,使用的啟用函式和資料不匹配(使用relu啟用函式,輸入值全部小於0),學習率過小等原因都是loss不收斂的可能原因。

MindSpore模型精度調優實戰:如何更快定位精度問題

02 調優思路概述

MindSpore模型精度調優實戰:如何更快定位精度問題

針對上述精度問題的現象和原因,常用的幾個調優思路如下:檢查程式碼和超參、檢查模型結構、檢查輸入資料、檢查loss曲線。若上述思路都未發現問題,我們可以讓訓練執行到最後,檢查精度(主要是模型metrics)是否達到預期。

其中,檢查模型結構和超參重在檢查模型的靜態特徵;檢查輸入資料和loss曲線則是將靜態特徵和動態訓練現象結合檢查;檢查精度是否達到預期則是對整體精度調優過程重新審視,並考慮調整超參、解釋模型、優化演算法等調優手段。

為了幫助使用者高效實施上述的精度調優思路,MindInsight提供了配套的能力,如下圖。在本系列的後續文章後,我們會展開介紹精度調優的準備工作,每個調優思路的細節,以及如何使用MindInsight的功能實踐這些調優思路,敬請期待。

MindSpore模型精度調優實戰:如何更快定位精度問題

03 精度問題checklist

最後,我們將常見的精度問題彙總到一起,以方便大家查閱:

MindSpore模型精度調優實戰:如何更快定位精度問題

瞭解完MindSpore的關鍵技術是不是很心動呢!趕緊【點選連結】並【立即報名】,即可在 ModelArts 平臺學習到一個經典案例掌握基於MindSpore的深度學習!

 

點選關注,第一時間瞭解華為雲新鮮技術~

相關文章