如何研究學習一個機器學習演算法

機器學習演算法的執行實驗，會使你對於不同型別問題得出的實驗結論，並對實驗結論與演算法引數兩者的因果關係有一個直觀認識。

在這篇文章中，你將會知道怎麼研究學習一個機器學習演算法。你將會學到5個簡單步驟，你可以用來設計和完成你的第一個機器學習演算法實驗

你會發現機器學習實驗不光是學者們的專利，你也可以；你也會知道實驗是通往精通的必經之路，因為你可以從經驗中學到因果關係的知識， 這是其它地方學不到的。

什麼是研究機器學習演算法

當研究一個機器學習演算法的時候，你的目標是找到可得到好結果的機器演算法行為，這些結果是可以推廣到多個問題或者多個型別的問題上。

你通過對演算法狀態做系統研究來研究學習機器學習演算法。這項工作通過設計和執行可控實驗來完成

一旦你完成了一項實驗，你可以對結論作出解釋和提交。這些結論會讓你得以管窺在演算法變化中因果關係。這就是演算法行為和你獲得的結論間的關係。

怎樣研究學習機器學習演算法

在這一部分，我們將學到5個簡單的步驟，你可以通過它來研究學習一個機器演算法

1.選擇一個演算法

選擇一個你有疑問的演算法

這個演算法可能是你正在某個問題上應用的，或者你發現在其他環境中表現很好，將來你想使用

就實驗的意圖來說，使用現成的演算法是有幫助的。這會給你一個底線：存在bug機率最低

自己實現一個演算法可能是瞭解演算法過程的一個好的方式，但是，實驗期間，會引入額外的變數，比如bug，和大量必須為演算法所做的微觀決策

2.確定一個問題

你必須有一個你試圖尋找答案的研究問題。問題越明確，問題越有用

給出的示例問題包括以下幾個方面：

KNN演算法中，作為樣本空間中的一部分的K值在增大時有什麼影響？

在SVM演算法中，選擇不同的核函式在二分類問題上有什麼影響 ？

在二分類問題中，邏輯迴歸上的不同引數的縮放有什麼影響 ？

在隨機森林模型中，在訓練集上增加任意屬性對在分類準確性上有什麼影響？

針對演算法，設計你想回答的問題。仔細考慮，然後列出5個逐漸演變的問題，並且深入推敲那個最精確的

3.設計實驗

從你的問題中挑選出關鍵元素然後組成你的實驗內容。 例如，拿上面的示例問題為例：“二元分類問題中邏輯迴歸上的不同的引數縮放有什麼影響？”

你從這個問題中挑出來用來設計實驗的元素是：

屬性縮放法：你可以採用像正態化、標準化，將某一屬性提升至乘方、取對數等方法

邏輯迴歸：你想使用哪種已經實現的邏輯迴歸。

二元分類問題：存在數值屬性不同的二分類問題標準。需要準備多種問題，其中一些問題的規模是相同的（像電離層），然而其他一些問題的屬性有不同的縮放值（像糖尿病問題）。

效能： 類似分類準確性的模型效能分數是需要的

花時間仔細挑選你問題中的組成元素以便為你的問題給出最佳解答。

4. 進行試驗並且報告你的結論

完成你的實驗

如果演算法是隨機的，你需要多次重複實驗操作並且記錄一個平均數和標準偏差

如果你試圖尋找在不同實驗（比如帶有不同的引數）之間結果的差異，你可能想要使用一種統計工具來標明差異是否統計上顯著的（就像學生的t檢驗）

一些工具像R和scikit-learn/SciPy完成這些型別的實驗，但是你需要把它們組合在一起，並且為實驗寫指令碼。其他工具像Weka帶有圖形使用者介面，你所使用的工具不要影響問題和你實驗設計的嚴密

總結你的實驗結論。你可能想使用圖表。單獨呈現結果是不夠的，他們只是數字。你必須將數字和問題聯絡起來，並且通過你的實驗設計提取出它們的意義

對實驗問題來說，實驗結果又暗示著什麼呢？

保持懷疑的態度。你的結論上有留什麼樣的漏洞和侷限呢。不要逃避這一部分。知道侷限性和知道實驗結果一樣重要

5. 重複

重複操作

繼續研究你選擇的演算法。你甚至想要重複帶有不同引數或者不同的測試資料集的同一個實驗。你可能想要處理你試驗中的侷限性

不要只停留在一個演算法上，開始建立知識體系和對演算法的直覺

通過使用一些簡單工具，提出好的問題，保持嚴謹和懷疑的態度，你對機器演算法行為的理解很快就會到達世界級的水平

研究學習演算法不僅僅是學者才能做的

你也可以學習研究機器學習演算法。

你不需要一個很高的學位，你不需要用研究的方式訓練，你也不需要成為一名學者

對每個擁有計算機和濃厚興趣的人來說，機器學習演算法的系統研究學習是開放的。事實上，如果你主修機器學習，你一定會適應機器學習演算法的系統研究。知識根本不會自己出來，你需要靠自己的經驗去得到

當談論你的發現的適用性時，你需要保持懷疑和謹慎

你不一定提出獨一無二的問題。通過研究一般的問題，你也將會收穫很多，例如根據一些一般的標準資料集總結出一個引數的普遍影響。你保不住會發現某些具有最優方法的常例的侷限性甚至反例。

行動步驟

在本篇文章中，通過可控實驗你知道了研究學習機器學習演算法行為的重要性。你掌握了簡單的5個步驟，你可以在一個機器學習演算法上設計和執行你的第一項實驗

採取行動。使用你在這篇博文中學到的步驟，來完成你的第一個機器學習實驗。一旦你完成了一個，甚至是很小的一個，你將會獲得自信，工具、能力來完成第二個以及更多

我很樂意聽到你第一個實驗的訊息。留下評論，分享你的結論、你的收穫