學習地址:阿里雲天池AI訓練營https://tianchi.aliyun.com/s/20d6735792ef867814c90698221d1499

1 邏輯迴歸的介紹和應用

1.1 邏輯迴歸的介紹

邏輯迴歸（Logistic regression，簡稱LR）雖然其中帶有"迴歸"兩個字，但邏輯迴歸其實是一個分類模型，並且廣泛應用於各個領域之中。

對於邏輯迴歸模型，最為突出的兩點就是其模型簡單和模型的可解釋性強。

邏輯迴歸模型的優劣勢:

• 優點：實現簡單，易於理解和實現；計算代價不高，速度很快，儲存資源低；
• 缺點：容易欠擬合，分類精度可能不高

1.2 邏輯迴歸的應用

邏輯迴歸模型廣泛用於各個領域，包括機器學習，大多數醫學領域和社會科學。

例如，最初由Boyd 等人開發的創傷和損傷嚴重度評分（TRISS）被廣泛用於預測受傷患者的死亡率，使用邏輯迴歸基於觀察到的患者特徵（年齡，性別，體重指數,各種血液檢查的結果等）分析預測發生特定疾病（例如糖尿病，冠心病）的風險。
邏輯迴歸模型也用於預測在給定的過程中，系統或產品的故障的可能性。
還用於市場營銷應用程式，例如預測客戶購買產品或中止訂購的傾向等。
在經濟學中它可以用來預測一個人選擇進入勞動力市場的可能性，而商業應用則可以用來預測房主拖欠抵押貸款的可能性。
條件隨機欄位是邏輯迴歸到順序資料的擴充套件，用於自然語言處理。

邏輯迴歸模型現在同樣是很多分類演算法的基礎元件，比如，
分類任務中基於GBDT演算法+LR邏輯迴歸實現的信用卡交易反欺詐，CTR(點選通過率)預估等，其好處在於輸出值自然地落在0到1之間，並且有概率意義。
它擬合出來的引數就代表了每一個特徵(feature)對結果的影響。
但同時由於其本質上是一個線性的分類器，所以不能應對較為複雜的資料情況。很多時候我們也會拿邏輯迴歸模型去做一些任務嘗試的基線（基礎水平）。

2 學習目標

• 瞭解 邏輯迴歸 的理論
• 掌握 邏輯迴歸 的 sklearn 函式呼叫使用並將其運用到 鳶尾花資料集預測

3 重要知識點

邏輯迴歸 原理簡介：

Logistic迴歸雖然名字裡帶“迴歸”，但是它實際上是一種分類方法，主要用於兩分類問題（即輸出只有兩種，分別代表兩個類別），所以利用了Logistic函式（或稱為Sigmoid函式），函式形式為：

$$logi(z)=\frac{1}{1+e^{-z}}$$

其對應的函式影像可以表示如下:

import numpy as np
import matplotlib.pyplot as plt
x = np.arange(-5,5,0.01)
y = 1/(1+np.exp(-x))

plt.plot(x,y)
plt.xlabel('z')
plt.ylabel('y')
plt.grid()
plt.show()

通過上圖我們可以發現 Logistic 函式是單調遞增函式，並且在z=0的時候取值為0.5，並且$logi(\cdot )$函式的取值範圍為$(0,1)$。

而回歸的基本方程為$z=w_0+{\sum }_i^N{w}_i{x}_i$，

將回歸方程寫入其中為：

$$p=p(y=1|x,\theta )=h_{\theta }(x,\theta )=\frac{1}{1+e^{-(w_0+{\sum }_i^N{w}_i{x}_i)}}$$

所以, $p(y=1|x,\theta )=h_{\theta }(x,\theta )$，$p(y=0|x,\theta )=1-h_{\theta }(x,\theta )$

邏輯迴歸從其原理上來說，邏輯迴歸其實是實現了一個決策邊界：對於函式 $y=\frac{1}{1+e^{-z}}$,當 $z=>0$時,$y=>0.5$,分類為1，當 $z<0$時,$y<0.5$,分類為0，其對應的$y$值我們可以視為類別1的概率預測值.

對於模型的訓練而言：實質上來說就是利用資料求解出對應的模型的特定的$w$。從而得到一個針對於當前資料的特徵邏輯迴歸模型。

而對於多分類而言，將多個二分類的邏輯迴歸組合，即可實現多分類。

4 演算法實戰

4.1 Demo實踐

Step1:庫函式匯入

##  基礎函式庫
import numpy as np 

## 匯入畫相簿
import matplotlib.pyplot as plt
import seaborn as sns

## 匯入邏輯迴歸模型函式
from sklearn.linear_model import LogisticRegression

關於LogisticRegression函式可以檢視官方文件: sklearn-logistic官方文件：https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html.

Step2:模型訓練

##Demo演示LogisticRegression分類

#x_features是用作訓練模型的資料樣本
x_features = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])
#y_label是x_features對應的標籤
y_label = np.array([0, 0, 0, 1, 1, 1])

## 呼叫邏輯迴歸模型
lr_clf = LogisticRegression()

## 用邏輯迴歸模型擬合構造的資料集
lr_clf = lr_clf.fit(x_features, y_label) #其擬合方程為 y=w0+w1*x1+w2*x2

呼叫fit(x,y)的方法來訓練模型，其中x為資料的屬性，y為所屬型別。本例中x_features為資料的屬性，y_label為所屬型別。

Step3:模型引數檢視

## 檢視其對應模型的w
print('the weight of Logistic Regression:',lr_clf.coef_)

## 檢視其對應模型的w0
print('the intercept(w0) of Logistic Regression:',lr_clf.intercept_)

輸出結果如下：

the weight of Logistic Regression: [[0.73455784 0.69539712]]
the intercept(w0) of Logistic Regression: [-0.13139986]

Step4:資料和模型視覺化

# 視覺化決策邊界
plt.figure()
plt.scatter(x_features[:,0],x_features[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')

nx, ny = 200, 100
x_min, x_max = plt.xlim()
y_min, y_max = plt.ylim()
x_grid, y_grid = np.meshgrid(np.linspace(x_min, x_max, nx),np.linspace(y_min, y_max, ny))

z_proba = lr_clf.predict_proba(np.c_[x_grid.ravel(), y_grid.ravel()])
z_proba = z_proba[:, 1].reshape(x_grid.shape)
plt.contour(x_grid, y_grid, z_proba, [0.5], linewidths=2., colors='blue')

plt.show()

輸出結果如下：

### 視覺化預測新樣本

plt.figure()
## new point 1
x_features_new1 = np.array([[0, -1]])
plt.scatter(x_features_new1[:,0],x_features_new1[:,1], s=50, cmap='viridis')
plt.annotate(s='New point 1',xy=(0,-1),xytext=(-2,0),color='blue',arrowprops=dict(arrowstyle='-|>',connectionstyle='arc3',color='red'))

## new point 2
x_features_new2 = np.array([[1, 2]])
plt.scatter(x_features_new2[:,0],x_features_new2[:,1], s=50, cmap='viridis')
plt.annotate(s='New point 2',xy=(1,2),xytext=(-1.5,2.5),color='red',arrowprops=dict(arrowstyle='-|>',connectionstyle='arc3',color='red'))

## 訓練樣本
plt.scatter(x_features[:,0],x_features[:,1], c=y_label, s=50, cmap='viridis')
plt.title('Dataset')

# 視覺化決策邊界
plt.contour(x_grid, y_grid, z_proba, [0.5], linewidths=2., colors='blue')

plt.show()

輸出結果如下：

Step5:模型預測

## 在訓練集和測試集上分佈利用訓練好的模型進行預測
y_label_new1_predict = lr_clf.predict(x_features_new1)
y_label_new2_predict = lr_clf.predict(x_features_new2)

print('The New point 1 predict class:\n',y_label_new1_predict)
print('The New point 2 predict class:\n',y_label_new2_predict)

## 由於邏輯迴歸模型是概率預測模型（前文介紹的 p = p(y=1|x,\theta)）,所有我們可以利用 predict_proba 函式預測其概率
y_label_new1_predict_proba = lr_clf.predict_proba(x_features_new1)
y_label_new2_predict_proba = lr_clf.predict_proba(x_features_new2)

print('The New point 1 predict Probability of each class:\n',y_label_new1_predict_proba)
print('The New point 2 predict Probability of each class:\n',y_label_new2_predict_proba)

輸出結果如下：

The New point 1 predict class:
 [0]
The New point 2 predict class:
 [1]
The New point 1 predict Probability of each class:
 [[0.69567724 0.30432276]]
The New point 2 predict Probability of each class:
 [[0.11983936 0.88016064]]

可以發現訓練好的迴歸模型將X_new1預測為了類別0（判別面左下側），X_new2預測為了類別1（判別面右上側）。其訓練得到的邏輯迴歸模型的概率為0.5的判別面為上圖中藍色的線。