在資料訓練過程中，可能會出現 GPU掉卡、GPU故障、網路波動、流量負載過高、網路中斷、機器硬體故障、機器當機、資料訓練中到第 N 個批次被例項系統自動 OOM 被迫終止等問題，這些問題一旦發生，如果沒有適當的措施來儲存訓練進度，可能會導致之前的訓練成果丟失，從而需要從頭開始訓練。這不僅浪費了寶貴的時間和計算資源，還可能增加研究和開發的工作量。#GPU# #免費# #算力租賃# #GpuMall# #GpuMall智算雲# #AI# #人工智慧# #算力#
立即免費體驗：https://gpumall.com/login?type=register&source=cnblogs
提示
因此，定期將模型的狀態儲存到磁碟是非常重要的。這不僅包括模型的引數（權重和偏差），還包括其他關鍵資訊，例如：
當前迭代次數（Epochs）：瞭解訓練進行到哪個階段。
最佳化器狀態：儲存最佳化器的引數（如學習率、動量等）和內部狀態（如Adam最佳化器的一階和二階矩估計），這對於訓練過程的連續性至關重要。
損失函式的歷史記錄：這有助於監控模型訓練過程中的效能變化。
學習率調整器狀態（如果使用）：記錄任何動態學習率調整的狀態。
儲存這些資訊允許在訓練中斷後從上次儲存的狀態恢復訓練，而不是從頭開始。在深度學習框架中，如 PyTorch 和 TensorFlow，通常提供了相應的工具和 API 來方便地實現這一功能。這種做法在長時間或大規模的訓練任務中尤為重要，可以顯著減少因意外中斷導致的資源浪費和時間延誤。
使用PyTorch Checkpoint 或 TensorFlow ModelCheckpoint，開發者可以有效地管理長時間訓練過程中的模型狀態，確保即使發生中斷也能從最近的狀態恢復，從而節省時間和計算資源。
PyTorch Checkpoint
PyTorch 框架提供了靈活的儲存和載入模型的機制，包括模型的引數、最佳化器的狀態以及其他任何需要儲存的資訊。在 PyTorch 中，這通常是透過使用 torch.save() 和 torch.load() 函式來實現的。
PyTorch 官方文件提供了不同場景下儲存和載入模型的詳細指導，包括僅儲存模型引數、儲存整個模型、儲存多個元件（如模型和最佳化器狀態）等。
文件連結：Saving and Loading Models — PyTorch
TensorFlow ModelCheckpoint
TensorFlow/Keras 的 ModelCheckpoint 是一個回撥函式，用於在訓練期間的特定時刻儲存模型。這可以是每個 epoch 結束時，或者當某個監視指標（如驗證集損失）改善時。
ModelCheckpoint 不僅可以儲存模型的最新狀態，還可以用於儲存訓練過程中效能最好的模型。
它允許靈活地配置哪些內容被儲存（僅權重、整個模型等）以及如何儲存（每次都儲存、僅儲存最佳模型等）。
文件連結：Save and load models — TensorFlow #訓練# #推理# #免費訓練#