用於訓練模型的迭代方法
迭代方法在機器學習中非常普遍, 這主要是因為它們可以很好地擴充套件到大型資料集
“模型”部分將一個或多個特徵作為輸入, 然後返回一個預測 ( y’ ) 作為輸出.為了進行簡化,不妨考慮一種採用一個特徵並返回一個預測的模型:
y’=b+w1x1
我們應該為 b 和 w1 設定哪些初始值 ?
對於線性迴歸問題, 事實證明初始值並不重要.我們可以隨機選擇值.不過我們還是選擇採用以下這些無關緊要的值.
(1).b=0
(2).w1=0
假設第一個特徵值是 10.將該特徵值代入預測函式會得到以下結果:
y' = 0 + 0 x ( 10 )
y' = 0圖中的“計算損失”部分是模型將要使用的損失函式.假設我們使用平方損失函式.損失函式將採用兩個輸入值:
y’: 模型對特徵 x 的預測
y: 特徵 x 對應的正確標籤
最後, 我們來看圖的 “計算引數更新”部分.機器學習系統就是在此部分檢查損失函式的值,併為 b 和 w1 生成新值.現在,假設這個神秘的綠色框會產生新值,然後機器學習系統將根據所有標籤重新評估所有特徵,為損失函式生成一個新值,而該值又產生新的引數值.這種學習過程會持續迭代,直到該演算法發現損失最低的模型引數.通常, 您可以不斷迭代,直到總體損失不再變化或至少變化及其緩慢為止.這時候,我們可以說該模型已收斂.
本作品採用《CC 協議》，轉載必須註明作者和本文連結