最小二乘法的一般形式
\(f_i\)為某一時刻的誤差 比如預測值與預測值的差值
將殘差寫成向量的形式
和上面的\(F\)相比 每個\(f\)計算的還是某一時刻的誤差 將全部的誤差求平方再求和 就相當於它的轉置乘以它本身 即：
\[F(X) = f^T(X)f(X)
\]
所以有如下等式
則它的雅克比矩陣為：
這裡每個雅克比矩陣的維度都為\(1 \times n\)
最小二乘泰勒展開
單項展開
整體展開
上述步驟更具體一些
第一行後面到第二行推導：
\[\frac {1}{2}f^Tf + f^TJ\Delta x + (J\Delta x)^Tf + (J\Delta x)^TJ\Delta x =
\frac {1}{2}f^Tf + f^TJ\Delta x + \Delta x^T J^Tf + \Delta x^TJ^TJ\Delta x
\]
這裡進行一下維度分析：
f為某一時刻確定的誤差值 所以是標量
\[f:1 \times 1
\]
J參照上面的那個J的維度分析：
\[J: 1 \times n
\]
\(\Delta x\)為增加量 這裡為列向量
\[\Delta x:n \times 1
\]
所以可得以下結論：
- \(f\)為標量
- \(J \Delta x\)為標量
- \(J^T \Delta x^T\)為標量
所以有：
\[f^TJ\Delta x = (J\Delta x)^Tf = \Delta x^TJ^Tf
\]
維度分析對於矩陣運算很重要