引言
在演算法最佳化的世界中，理解所面對的任務不僅是起點，也是整個最佳化過程的核心。在這篇部落格中，我將分享我在演算法訓練和最佳化中的一些經驗，以及一個關於場景流估計的專案中應用的案例。我希望這些經驗能幫助你在未來的專案中取得更好的成績。
1. 深入理解任務和資料
-
理解演算法專案的獨特目標和挑戰是最佳化的第一步。明確任務目標如何轉化為具體的演算法需求和資料選擇，對整個專案的成功至關重要。透過細緻分析任務和場景，確定演算法需要解決的核心問題，並觀察資料集以發現關鍵特性。資料和場景觀察可以揭示關鍵特徵和潛在問題，這對演算法的調整和最佳化有著直接的影響。
-
資料的重要性再怎麼強調也不為過。樣本分佈的問題，資料標註的質量問題等等都是要關注的重點。如果你要進行一個全新的專案，大機率是沒有現成已經準備好的資料集直接可使用。那你甚至還要面對包括但不限於資料定義，資料標註，溝通標準，驗收等一系列工作。
-
做好資料的視覺化，深入地去觀察樣本資料，也是發現問題，理解任務的一個有效方法。
2. 建立度量和監控系統
-
使用TensorBoard等工具，建立一套全面的度量體系，監控模型表現的各個方面。這包括但不限於損失曲線、準確率以及響應時間等，幫助識別和解決模型的弱點。我習慣在最佳化過程中不斷地新增新的metric計算，把我關注的資料都記錄下來，像在某某條件下的某某指標等，進行觀察。這是一個增強對模型能力理解的很好用的方法。
3. 模型結構的針對性調整
-
在充分了解模型結構和任務需求的基礎上，對模型進行有針對性的調整。這些調整應基於前面的度量分析結果，確保每一次改動都能帶來預期的效益提升。我通常把模型結構調整放到最後階段進行，是因為我認為這一步的前提是要做到對模型結構的充分理解。要摸透了現在的結構，清楚了在當前的這個任務目標下，原結構在哪些方面存在弱點，才能有針對性地進行調整。
4. 實驗管理與版本控制
-
維護詳盡的實驗記錄和使用版本控制工具，如SVN，保持實驗的可追溯性和可復現性。這不僅有助於問題診斷，也便於未來模型的迭代和最佳化。我通常會用excel表格的形式進行記錄，記錄每次實驗的svn版本號，目的（針對什麼問題），調整的說明，對比組實驗id，預期的結果，訓練過程表現，驗證集指標，以及結論。
案例研究：場景流估計（Scene flow estimation）
專案背景
Scene flow estimation 是計算機視覺領域的一項任務，它旨在估計場景中每個點的三維運動向量。這通常涉及到從連續的影像幀或點雲資料中，估計出每個物件或場景點在時間序列中的位置變化。Scene flow 類似於光流（optical flow），但光流只涉及影像平面上的二維運動，而 scene flow 則擴充套件到了三維空間。這個任務在自動駕駛中，為系統提供關於周圍環境動態的深入理解。透過準確估計其他車輛、行人和其他物件的三維運動，自動駕駛系統可以更好地預測它們未來的位置。
任務分析與最佳化策略
在深入分析任務目標和場景，以及觀察了公司舊系統中出現的一些速度相關的錯誤場景後，我認識到在自動駕駛中，捕捉物體運動的方向精確性會優於速度精確性。此外，我發現如果採用直接回歸運動速度向量的方法，並使用常規的L1或L2損失函式，這種方法對低速和高速物體的處理存在顯著差異，通常不利於低速物體的效能表現。
同時在實際的訓練資料中，靜止與移動點的數量比例差異很大，這一資料分佈的特性也需要在模型訓練和最佳化過程中予以考慮。這些洞察為後續的模型最佳化提供了重要的切入點。
總結
透過深入理解任務需求、精確度量模型表現、針對性最佳化模型結構以及嚴格的實驗管理，我們能夠顯著提升演算法的效能和可靠性。希望這些經驗能為你未來的專案帶來啟發和幫助。