20201001 -

0. 引言

最近在看《異常點檢測》的時候，其中在PCA部分（準確來說是前面一小節）在進行推導的時候，使用了最小二乘法。其實這個東西本質上並不難，但是讓我比較尷尬的是，很多線性代數的東西有些遺忘了，好在最近直截了當的複習讓大部分知識都回顧了。

1. 問題

關於具體的推導過程就不說了，各種公式都有，直接的結論也都有。但是這裡之前的時候，產生了一個問題。本來最小二乘法是利用垂直距離來定義的（也就是預測變數與相應的平面與座標中平行的距離），但是有些書上都提到了投影距離。然後他們也用了最下二乘法來分析。這讓我很疑惑，特別是直接在百度上搜尋中的一些結果，最後都出現了一個投影距離的概念。

我的疑惑就是，本來這是一個垂直的直線距離，為什麼後來變成了投影距離呢？如果他們兩個僅僅是在結果上一樣，也無可厚非，但是怕就怕在他們在講解的時候就直接將這部分內容融合在了一起。
這他麼就非常尷尬。

---

（因為當時自己沒有注意這部分的內容，導致當時沒有進行記錄，現在連問題都有點沒弄懂了。尷尬）
不著家，我這裡先趕緊複習一遍。

---