機器學習引數模型與非引數模型/生成模型與判別模型

2018-03-31更新：生成模型與判別模型

引數模型：根據預先設計的規則，例如方差損失最小，進行學習，引數模型例子：迴歸（線性迴歸、邏輯迴歸）模型；最好可以看一下或者直接進行一下相關的推導；根據規則，擁有少部分資料就可以；

非引數模型：不需要事先假設規則，直接挖掘潛在資料中的規則；非引數模型例子：KNN，決策樹，挖掘資料潛在的特徵，所以比較靈活；

引數模型缺點：受限制性高

非引數模型缺點：訓練時間長，容易產生過擬合，需要大量資料支撐

前兩年GAN網路（生成對抗網路火了一把，當然，一直在火），我師兄的課題也是這個，但是一直對生成模型和對抗模型概念不夠清晰，今天科普一下！

生成模型：通過大量資料，學習訓練資料分佈，預測時，直接輸出最大後驗概率所屬類別（分類時），常見模型如最大似然估計、樸素貝葉斯等；

判別模型：通過一定的準則函式（經驗最小（無模型複雜化懲罰項）or風險最小（存在懲罰項，主要是為了克服過擬合問題））產生一個判別函式，或者成為超平面，將訓練資料盡最大的可能進行正確切分，預測時（分類）通過判別函式，輸出待測樣本的所屬類別

對比：生成模型學習的是資料分佈，通常需要大量資料支援，而判別模型則是根據一定準則擬合資料，形成一個分割超平面，對資料量的需求來講，相對較少；生成模型訓練較快，而判別模型需要擬合過程，故速度稍慢；