高中課本里的「機器學習」

本文來自作者 止齋少主 在 GitChat 上分享「機器學習入門第一課：從高中課本談起」，「閱讀原文」檢視交流實錄

「文末高能」

編輯 | 嘉仔

高中課本那些事

點連成線

上小學的時候，我們學過平面內，任意兩點之間可以連成一條直線，且只能連成一條直線。

上初中的時候，我們學過y=kx+b已知兩點求過這兩點A、B直線方程。

這道題很簡單，二元一次方程組秒殺。

儘可能多的點在一條直線上

上高中的時候，我們牛逼閃閃的高中老師，給我們出了一道牛逼閃閃的題，平面內一堆點，找出一條直線，使得儘可能的多的點在這條直線上。兩點之間確定一條直線，這若干點，怎能搞，實在不會，老師教了我們一招絕技。

如何讓儘可能多的點連在一條線上

這若干點，怎能搞，實在不會，老師教了我們一招絕技。

如果平面內有點可用如下表示式來刻畫這些點與直線 y=kx+b 的接近程度：

使得上式達到最小值的直線 y=kx+b 就是老師讓我們求解的直線，老師說這種方法叫最小二乘法。

最後可以求解出

高中老師沒說過的那些事

點在面上

上初中的時候，我們學會了三點可以確定一個平面。

儘可能多的點在同一面上

上高中的時候，我們牛逼閃閃的高中老師，給我們出了一道牛逼閃閃的題，平面內一堆點，找出一條直線，使得儘可能的多的點在這條直線上。

兩點之間確定一條直線，這若干點，怎能搞，實在不會，老師教了我們一招絕技。

如何讓儘可能多的點連在一條線上

如果空間內有點，可用如下表示式來刻畫這些點與平面z=ax+by+c(c為常數)的接近程度:使得上式達到最小值的平面z=ax+by+c,就是這道題的答案

數學到演算法模型轉化的步驟與工具

猜

用數學這把鋒利的刀來求解未知問題，做到大膽猜想，往往就可以解決問題，從數學到演算法模型轉化過程中，猜的作用很大。

獨立同分布

• 獨立

  獨立，顧名思義就是事件和事件之間相互不產生影響和作用，比如火星是行星和我是演算法工程師之間就是獨立的事件，沒有相互影響或者彼此之間的作用。

  假設事件A1、A2......An的概率分別為P1、P2......Pn,這些獨立事件同時發生的概率為：

• 同分布

  同分布指的是事件之間，事件的分佈是等同的，一致的。

  獨立同分布意味著事件獨立且分佈一致。

資料分佈

在演算法模型轉化過程中，資料分佈很重要，在某一派別中認為應該是假設資料分佈(也就是猜出資料分佈)，然後進行演算法模型轉化。

每一種資料分佈，都有一種對應的概率。

推

先假設資料的分佈，然後根據資料分佈對應的概率來推匯出需要求解的公式。

似然函式

似然函式，這個東西名字上來看上去繞來繞去，簡而言之，就是求解引數。例如高中求解的k、b，大學解得a、b、c。

工具

極大似然估計

極大似然估計，就是求似然函式的極大值點。

實操 線性迴歸模型

猜

平面內的點，一般滿足正態分佈，我們來猜這些點滿足正態分佈，而且是獨立同分布的。

正態分佈的資料滿足，概率：

推

假設事件A1、A2......An的概率分別為P1、P2......Pn這些獨立事件同時發生的概率為：

這些點在儘可能在同一平面上的概率：

看，這就是高中到大學的最小二乘法。

機器學習中的那些事 —— 以線性迴歸舉例

任何問題都是有目的的

任何問題都是有目的的，線性迴歸 y=kx+b 就是目的，我們管這樣的函式叫目標函式。

逼近正確就是讓失敗的情況最差

讓失敗的情況最差，當失敗的情況無限接近最差的時候，就是逼近最正確的時候。最小二乘法就是讓失敗的情況逼近最差，也就是逼近正確。我們管最小二乘法這樣函式叫損失函式，損失函式最小我們叫經驗結構最小。

[help me with MathJax]

 近期熱文

《【釣魚】與【反釣魚】的技術剖析》

《快速瞭解 Java 9 平臺模組系統》

《機器人的「語料」，如何獲取？》

《一頁紙，梳理你的商業模式 ，奇妙的「精益畫布」》

《沉迷前端，無法自拔的人，如何規劃職業生涯？》

GitChat 與 CSDN 聯合推出

《GitChat 達人課：AI 工程師職業指南》

「閱讀原文」看交流實錄，你想知道的都在這裡