Smartbi AutoML三步點選直接搞定機器學習！

在計算機出現之前人們就幻想著一種機器可以實現人類的思維，可以幫助人們解決問題，甚至比人類有更高的智力。人工智慧是電腦科學的一個研究分支，是多年來電腦科學研究發展的結晶。  

人工智慧是使用與傳統計算機系統完全不同的工作模式，它可以依據通用的學習策略，讀取海量的大資料，並從中發現規律、聯絡和洞見，因此人工智慧能夠根據新資料自動調整，而無需重設程式。

目前，人工智慧在金融、醫療、製造等行業得到了廣泛應用。其中，機器學習是人工智慧技術發展的主要方向。

01

機器學習：實現人工智慧的高效方法

從廣義上來說，機器學習是一種能夠賦予機器學習的能力，以此讓它完成直接程式設計無法完成的功能。但從實踐的意義上來說，機器學習是通過經驗或資料來改進演算法的研究，通過演算法讓機器從大量歷史資料中學習規律，得到某種模式並利用此模型預測未來，機器在學習的過程中，處理的資料越多，預測結果就越精準。

機器學習在人工智慧的研究中具有十分重要的地位。它是人工智慧的核心，是使計算機具有智慧的根本途徑，其應用遍及人工智慧的各個領域。 從20世紀50年代人們就開始了對機器學習的研究，從最初的基於神經元模型以及函式逼近論的方法研究，到以符號演算為基礎的規則學習和決策樹學習的產生，以及之後的認知心理學中歸納、解釋、類比等概念的引入，至最新的計算學習理論和統計學習的興起，機器學習一直都在相關學科的實踐應用中起著主導作用。現在已取得了不少成就，並分化出許多研究方向，主要有符號學習、連線學習和統計學習等。

• 機器學習的結構模型

機器學習的本質就是演算法，演算法是用於解決問題的一系列指令。 程式設計師開發的用於指導計算機進行新任務的演算法是我們今天所看到先進數字世界的基礎。計算機演算法根據某些指令和規則，將大量資料組織到資訊和服務中。 機器學習向計算機發出指令，允許計算機從資料中學習，而不需要程式設計師做出新的分步指令。

機器學習的基本過程是給學習演算法提供訓練資料。然後，學習演算法基於資料的推論生成一組新的規則。這本質上就是生成一種新的演算法，稱之為機器學習模型。通過使用不同的訓練資料，相同的學習演算法可以生成不同的模型。從資料中推理出新的指令是機器學習的核心優勢。它還突出了資料的關鍵作用： 用於訓練演算法的可用資料越多，演算法學習到的就越多。 事實上，AI 的許多最新進展並不是由於學習演算法的激進創新，而是現在積累了大量的可用資料。

 

• 機器學習的工作流程

1 . 選擇資料： 首先將原始資料分成三組：訓練資料、驗證資料和測試資料；

2 . 資料建模： 再使用訓練資料來構建使用相關特徵的模型；

3 . 驗證模型： 使用驗證資料輸入到已經構建的資料模型中；

4 . 測試模型： 使用測試資料檢查被驗證的模型的效能表現；

5 . 使用模型： 使用完全訓練好的模型在新資料上做預測；

6 . 調優模型： 使用更多資料、不同的特徵或調整過的引數來提升演算法的效能表現。

 

02

自動機器學習：將ML自動化

今天的機器學習不僅限於研發應用，而且已經進入了企業領域。不過，傳統的ML流程仍依賴於人力，但並非所有企業都有資源來投資經驗豐富的資料科學團隊，AutoML正是解決這種困境的一種方法。

自動機器學習（AutoML）是將機器學習應用於現實問題的端到端流程自動化的過程。 AutoML 使機器學習真正意義上成為可能，即使對於在該領域沒有專業知識的人也是如此。

從上面介紹的ML流程可以看到，從選擇資料、到資料建模，再到調優模型，每個步驟都由人來控制和執行。而AutoML主要關注三個主要方面：資料預處理、特徵處理、模型訓練。中間發生的所有其他步驟都可以輕鬆實現自動化，同時提供經過優化並準備好進行預測的模型。

 

• 為什麼需要AutoML

在過去幾年中，對機器學習系統的需求飆升。這是因為ML如今在廣泛的應用中取得了成功。然而，即使有這種明確的跡象表明機器學習可以為企業提供支援，但很多公司仍在為部署ML模型而艱難地探索。

首先，他們需要建立一支由經驗豐富的資料科學家組成的團隊，這些科學家都要拿豐厚的薪水。其次，即使你擁有一支優秀的團隊，往往需要更多的經驗來決定哪種模式最適合你的問題，而不是知識。

機器學習在各種應用中的成功，促使了對機器學習系統不斷增長的需求，非專家傾向於用AutoML儘可能多地自動化完成 ML中的步驟，在只需最少人力的情況下仍保持模型的效能。

 

• AutoML 的三大優點

1 . 通過自動執行的重複性任務來提高工作效率，這使得資料科學家能夠更多地關注問題而不是模型；

2 . 自動化ML還有助於避免可能因手動操作引起的錯誤；

3 . AutoML是向機器學習民主化邁出的一步，它使所有人都能使用ML的功能。

 

03

ML和AutoML在BI的應用：資料探勘  

資料探勘利用ML技術從大量資料中挖掘出有價值的資訊。對比傳統的資料分析，資料探勘揭示資料之間未知的關係，可以做一些預測性的分析，例如精準營銷、銷量預測、流失客戶預警等等。

雖然資料探勘學習門檻較高，但是有越來越多的軟體工具支援ML模型的自動構建，也即AutoML，這些模型可以嘗試許多不同的演算法來找出最成功的演算法。一旦通過訓練資料找到了能夠進行預測的最佳模型，就可以部署它，並對新的資料進行預測。

例如在Smartbi V9中推出的資料探勘，裡面的圖形化建模、一鍵部署等功能，把資料探勘的學習門檻降低了很多。Smartbi V10進一步降低使用難度，增加了模型對比與報告生成的功能，建模與結果對比幾乎連學習成本都不需要了。

 

 

在Smartbi V10中提供AutoML功能，通過三步向導化的點選，就自動完成整個模型的構建。當對同一需求使用不同演算法完成建模後，只需要一步就能生成對比報告，從中挑選出最合適的進行上線。這個功能對於客戶是有很大幫助的，降低了挖掘專案的實施門檻和成本。

 

   

04

AutoML的未來

從本質上講，AutoML的目的是自動化重複的任務，如管道建立和超引數調整，以便資料科學家在實際中可以將更多的時間花在手頭的業務問題上。

AutoML還在於讓所有人都能使用這項技術，而不僅僅少數人才能用。AutoML和資料科學家可以聯合起來加速ML的發展過程，從而實現機器學習的真正效率。

AutoML是否成功取決於它的使用率和在這個領域所取得的進展。很明顯，AutoML是機器學習未來的一個重要組成部分。