之前在邏輯迴歸原理小結這篇文章中，對邏輯迴歸的原理做了小結。這裡接著對scikit-learn中邏輯迴歸類庫的我的使用經驗做一個總結。重點講述調參中要注意的事項。
1. 概述
在scikit-learn中，與邏輯迴歸有關的主要是這3個類。LogisticRegression， LogisticRegressionCV 和logistic_regression_path。其中LogisticRegression和LogisticRegressionCV的主要區別是LogisticRegressionCV使用了交叉驗證來選擇正則化係數C。而LogisticRegression需要自己每次指定一個正則化係數。除了交叉驗證，以及選擇正則化係數C以外， LogisticRegression和LogisticRegressionCV的使用方法基本相同。
logistic_regression_path類則比較特殊，它擬合資料後，不能直接來做預測，只能為擬合資料選擇合適邏輯迴歸的係數和正則化係數。主要是用在模型選擇的時候。一般情況用不到這個類，所以後面不再講述logistic_regression_path類。
此外，scikit-learn裡面有個容易讓人誤解的類RandomizedLogisticRegression,雖然名字裡有邏輯迴歸的詞，但是主要是用L1正則化的邏輯迴歸來做特徵選擇的，屬於維度規約的演算法類，不屬於我們常說的分類演算法的範疇。
後面的講解主要圍繞LogisticRegression和LogisticRegressionCV中的重要引數的選擇來來展開，這些引數的意義在這兩個類中都是一樣的。
2. 正則化選擇引數：penalty
LogisticRegression和LogisticRegressionCV預設就帶了正則化項。penalty引數可選擇的值為"l1"和"l2".分別對應L1的正則化和L2的正則化，預設是L2的正則化。
在調參時如果我們主要的目的只是為了解決過擬合，一般penalty選擇L2正則化就夠了。但是如果選擇L2正則化發現還是過擬合，即預測效果差的時候，就可以考慮L1正則化。另外，如果模型的特徵非常多，我們希望一些不重要的特徵係數歸零，從而讓模型係數稀疏化的話，也可以使用L1正則化。
penalty引數的選擇會影響我們損失函式優化演算法的選擇。即引數solver的選擇，如果是L2正則化，那麼4種可選的演算法{‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’}都可以選擇。但是如果penalty是L1正則化的話，就只能選擇‘liblinear’了。這是因為L1正則化的損失函式不是連續可導的，而{‘newton-cg’, ‘lbfgs’,‘sag’}這三種優化演算法時都需要損失函式的一階或者二階連續導數。而‘liblinear’並沒有這個依賴。
具體使用了這4個演算法有什麼不同以及有什麼影響我們下一節講。
3. 優化演算法選擇引數：solver
solver引數決定了我們對邏輯迴歸損失函式的優化方法，有4種演算法可以選擇，分別是：
a) liblinear：使用了開源的liblinear庫實現，內部使用了座標軸下降法來迭代優化損失函式。
b) lbfgs：擬牛頓法的一種，利用損失函式二階導數矩陣即海森矩陣來迭代優化損失函式。
c) newton-cg：也是牛頓法家族的一種，利用損失函式二階導數矩陣即海森矩陣來迭代優化損失函式。
d) sag：即隨機平均梯度下降，是梯度下降法的變種，和普通梯度下降法的區別是每次迭代僅僅用一部分的樣本來計算梯度，適合於樣本資料多的時候。
從上面的描述可以看出，newton-cg, lbfgs和sag這三種優化演算法時都需要損失函式的一階或者二階連續導數，因此不能用於沒有連續導數的L1正則化，只能用於L2正則化。而liblinear通吃L1正則化和L2正則化。
同時，sag每次僅僅使用了部分樣本進行梯度迭代，所以當樣本量少的時候不要選擇它，而如果樣本量非常大，比如大於10萬，sag是第一選擇。但是sag不能用於L1正則化，所以當你有大量的樣本，又需要L1正則化的話就要自己做取捨了。要麼通過對樣本取樣來降低樣本量，要麼回到L2正則化。
從上面的描述，大家可能覺得，既然newton-cg, lbfgs和sag這麼多限制，如果不是大樣本，我們選擇liblinear不就行了嘛！錯，因為liblinear也有自己的弱點！我們知道，邏輯迴歸有二元邏輯迴歸和多元邏輯迴歸。對於多元邏輯迴歸常見的有one-vs-rest(OvR)和many-vs-many(MvM)兩種。而MvM一般比OvR分類相對準確一些。鬱悶的是liblinear只支援OvR，不支援MvM，這樣如果我們需要相對精確的多元邏輯迴歸時，就不能選擇liblinear了。也意味著如果我們需要相對精確的多元邏輯迴歸不能使用L1正則化了。
具體OvR和MvM有什麼不同我們下一節講。
4. 分類方式選擇引數：multi_class
multi_class引數決定了我們分類方式的選擇，有 ovr和multinomial兩個值可以選擇，預設是 ovr。
ovr即前面提到的one-vs-rest(OvR)，而multinomial即前面提到的many-vs-many(MvM)。如果是二元邏輯迴歸，ovr和multinomial並沒有任何區別，區別主要在多元邏輯迴歸上。
OvR的思想很簡單，無論你是多少元邏輯迴歸，我們都可以看做二元邏輯迴歸。具體做法是，對於第K類的分類決策，我們把所有第K類的樣本作為正例，除了第K類樣本以外的所有樣本都作為負例，然後在上面做二元邏輯迴歸，得到第K類的分類模型。其他類的分類模型獲得以此類推。
而MvM則相對複雜，這裡舉MvM的特例one-vs-one(OvO)作講解。如果模型有T類，我們每次在所有的T類樣本里面選擇兩類樣本出來，不妨記為T1類和T2類，把所有的輸出為T1和T2的樣本放在一起，把T1作為正例，T2作為負例，進行二元邏輯迴歸，得到模型引數。我們一共需要T(T-1)/2次分類。
從上面的描述可以看出OvR相對簡單，但分類效果相對略差（這裡指大多數樣本分佈情況，某些樣本分佈下OvR可能更好）。而MvM分類相對精確，但是分類速度沒有OvR快。
如果選擇了ovr，則4種損失函式的優化方法liblinear，newton-cg, lbfgs和sag都可以選擇。但是如果選擇了multinomial,則只能選擇newton-cg, lbfgs和sag了。
5. 型別權重引數： class_weight
class_weight引數用於標示分類模型中各種型別的權重，可以不輸入，即不考慮權重，或者說所有型別的權重一樣。如果選擇輸入的話，可以選擇balanced讓類庫自己計算型別權重，或者我們自己輸入各個型別的權重，比如對於0,1的二元模型，我們可以定義class_weight={0:0.9, 1:0.1}，這樣型別0的權重為90%，而型別1的權重為10%。
如果class_weight選擇balanced，那麼類庫會根據訓練樣本量來計算權重。某種型別樣本量越多，則權重越低，樣本量越少，則權重越高。
那麼class_weight有什麼作用呢？在分類模型中，我們經常會遇到兩類問題：
第一種是誤分類的代價很高。比如對合法使用者和非法使用者進行分類，將非法使用者分類為合法使用者的代價很高，我們寧願將合法使用者分類為非法使用者，這時可以人工再甄別，但是卻不願將非法使用者分類為合法使用者。這時，我們可以適當提高非法使用者的權重。
第二種是樣本是高度失衡的，比如我們有合法使用者和非法使用者的二元樣本資料10000條，裡面合法使用者有9995條，非法使用者只有5條，如果我們不考慮權重，則我們可以將所有的測試集都預測為合法使用者，這樣預測準確率理論上有99.95%，但是卻沒有任何意義。這時，我們可以選擇balanced，讓類庫自動提高非法使用者樣本的權重。
提高了某種分類的權重，相比不考慮權重，會有更多的樣本分類劃分到高權重的類別，從而可以解決上面兩類問題。
當然，對於第二種樣本失衡的情況，我們還可以考慮用下一節講到的樣本權重引數： sample_weight，而不使用class_weight。sample_weight在下一節講。
6. 樣本權重引數： sample_weight
上一節我們提到了樣本不失衡的問題，由於樣本不平衡，導致樣本不是總體樣本的無偏估計，從而可能導致我們的模型預測能力下降。遇到這種情況，我們可以通過調節樣本權重來嘗試解決這個問題。調節樣本權重的方法有兩種，第一種是在class_weight使用balanced。第二種是在呼叫fit函式時，通過sample_weight來自己調節每個樣本權重。
在scikit-learn做邏輯迴歸時，如果上面兩種方法都用到了，那麼樣本的真正權重是class_weight*sample_weight.
以上就是scikit-learn中邏輯迴歸類庫調參的一個小結，還有些引數比如正則化引數C（交叉驗證就是 Cs），迭代次數max_iter等，由於和其它的演算法類庫並沒有特別不同，這裡不多累述了。
（歡迎轉載，轉載請註明出處。歡迎溝通交流： liujianping-ok@163.com）