[史丹佛大學2014機器學習教程筆記]第六章-決策界限(decision boundary)

不愛學習的Shirley發表於2020-07-15

    這一節主要介紹的是決策界限(decision boundary)的概念,這個概念可以幫組我們更好地理解邏輯迴歸的假設函式在計算什麼。

    首先回憶一下上次寫的公式。

     現在讓我們進一步瞭解這個假設函式在什麼時候會將y預測為1,什麼時候會將y預測為0。並且更好地理解假設函式的形狀,特別是當我們的資料有多個特徵值時。具體地說,這個假設函式輸出的是給定x和引數θ時,y=1的估計概率。

    所以,如果我們想預測y=1還是等於0。該假設函式輸出y=1的概率大於等於0.5,此時預測的為y=1,小於0.5預測的就是y=0。(實際上,當輸出概率為0.5時,可以預測為y=1,也可以預測為y=0)

    仔細觀察sigmoid函式影像,就可以發現只要z ≥ 0,g(z)就大於等於0.5,因此在曲線圖的右半邊,g的取值都是大於等於0.5的。

    由於邏輯迴歸的假設函式hθ(x)=g(θTx),所以只要θTx ≥ 0,那麼hθ(x)就會大於等於0.5,此時假設函式將會預測為y=1。同樣,我們考慮假設函式預測為y=0的情況。當hθ(x) < 0.5的時候,就會預測y=0。而只要θTx < 0,那麼g(θTx)就會小於0.5,即hθ(x)就會小於0.5。

     對上述做個小結:

     1.我們預測y=0還是y=1取決於輸出的概率值。(概率大於等於0.5預測y=1,小於0.5預測y=0)

     2.想要預測結果為 y=1,就要保證θTx ≥ 於0;想要預測結果為 y=0,就要保證θTx < 0。

     接下來,假設我們有一個訓練集。我們的假設函式是hθ(x)=g(θ01x12x2),我們將在下一節討論如何擬合此模型中的引數,此時假設我們已經擬合好了引數。在這裡,我們選這裡θ0=-3,θ1=1,θ2=1。這意味著此時的引數向量θ=[-3,1,1]T。接下來,嘗試找出該假設函式何時將預測y=1,何時將預測y=0。

    根據之前小結的,y=1的概率大於等於0.5時,就預測y=1,小於0.5時就預測y=0。換句話說就是:想要預測結果為y=1,就要保證θTx ≥ 0;想要預測結果為y=0,就要保證θTx < 0。而在這個例子中θTx就是-3+x1+x2。所以,在這個例子中,只要 -3+x1+x≥ 0,那麼預測的就會是y=1,-3+x1+x2 < 0,那麼預測的就會是y=0。當然也可以將 -3+x1+x≥ 0 改寫為 x1+x≥ 3。

     接下來我們可以在影像上觀察這個式子。

    圖上洋紅色的直線為x1+x2 = 3 。該線上方的區域為預測y=1的區域,下方區域為預測y=0的區域。這條線被稱為決策邊界。具體地說,x1+x= 3這條直線對應的一系列的點對應的是hθ(x)=0.5的點。決策邊界將整個平面分成了兩個部分。一部分割槽域預測y=1,另一部分預測y=0。

    決策邊界是假設函式的一個屬性,它包括引數θ0、θ1和θ2。在上圖中,是畫了訓練的資料集的。需要明確的是:即使沒有畫出資料集,只要引數給定,這條決策邊界以及兩部分割槽域都是確定的。它們都是假設函式的屬性,取決於引數,而不是取決於資料集。

    接下來,我們看一個更復雜的例子。在圖中x表示的是正樣本,圓圈表示的是負樣本。

    現在的問題是:當給定一個這樣的資料集之後,我們要如何使用邏輯迴歸來擬合這些資料。

    之前,當我們講解多項式迴歸或線性迴歸時,我們談到了可以在特徵中新增額外的高階多項式項。同樣的,我們也可以對邏輯迴歸使用同樣的方法。具體地說,假設現在的假設函式是hθ(x)=g(θ01x12x23x124x22)。現在新增了兩個額外的特徵x1222,所以現在有五個引數,從θ0一直到θ4。現在假設θ0=-1,θ1=0,θ2=0,θ3=1,θ4=1。這意味著此時的引數向量θ=[-1,0,0,1,1]T。根據之前的討論,這意味著當-1+x12+2≥ 0時,將預測y=1,當-1+x12+22  < 0時,將預測y=0。同樣的,-1+x12+2≥ 0 可以寫成 x12+2≥ 1。此時的決策邊界就為x12+2= 1。

    決策邊界如圖所示。此時圈外的區域為預測y=1的區域,圈內的區域為預測y=0的區域。

    通過在特徵中增加這些複雜的多項式,可以得到更復雜的決策邊界。

    再次強調:

    決策邊界不是訓練集的屬性,是假設本身和其引數的屬性。只要給定了引數向量θ,決策邊界就可以確定。我們不是用訓練集來確定決策邊界,而是用訓練集來擬合引數。

    當我們有更高階多項式,我們得到的決策邊界也是更復雜的。邏輯迴歸可以用於尋找決策邊界。

相關文章