為什麼Kubernetes和容器與機器學習密不可分?

京東科技開發者發表於2020-09-24

原文出自infosecurity 

作者:Rebecca James

京東智聯雲開發者社群編譯

當前,數字化轉型的熱潮在IT領域發展的如火如荼,越來越多的企業投身其中,機器學習人工智慧等現代技術的融合在公司組織內部也逐漸流行起來。

隨著那些構成企業複雜IT基礎架構的技術日益成熟,部署雲原生環境以及在該環境中使用容器早已成為企業技術軌道中的“家常便飯”。

幸運的是,對於企業所有者而言,Kubernetes和容器部署技術不僅可以與機器學習技術並駕齊驅,而且可以引入到雲原生模型中,從而為企業提供良多裨益,包括實施有效的業務策略以及安全性的培養。

當我們談到機器學習時,你會想到什麼?機器的應用場景是多種多樣的 -- 從簡單的欺詐/網路犯罪偵查,到量身定製的客戶體驗,再到像供應鏈最佳化這樣複雜的操作,一切都證明了機器學習能夠為企業所帶來的豐厚利潤。

此外,Gartner的預測進一步證明了機器學習所提供的眾多優勢,該預測指出,到2021年,70%的企業都將依賴於某種形式的人工智慧

人工智慧在業務中的應用 

企業若想充分利用人工智慧機器學習,並將其應用於DevOps和DevSecOps等新業務組中,他們必須擁有可靠的IT基礎架構。

強大的IT環境能夠為資料科學家提供嘗試各種資料集、計算模型和演算法的環境,而不會影響其他操作,也不會給IT人員造成損失。

為了在業務中有效實現機器學習,企業需要找到一種在本地和雲環境中重複部署程式碼的方法,並建立與所有所需資料來源的連線。

對於現代企業而言,時間是幫助他們實現目標的基本工具,因此,他們迫切需要一種支援快速開發程式碼的IT環境。

說到容器,容器透過將程式碼及其特定的執行要求打包在“包裝”中,從而加快了企業應用程式的部署過程,這一特性使容器成為了企業的理想選擇,也因此成為了機器學期和人工智慧的理想搭檔。

綜上所述,基於容器環境下進行的人工智慧專案的三個階段,包括探索、訓練模型和部署,是非常有潛力的。每個階段具體又包括什麼呢?下文將對這三個階段展開說明。

01 探索

在構建AI模型時,資料科學家們遵循的規範是嘗試不同的資料集以及各種ML演算法,以確定要使用的資料集和演算法,以便他們可以提高預測水平效率和準確性。

通常,資料科學家依靠大量的庫和框架來為不同行業中的各種情況和問題建立ML模型。當資料科學家們試圖發現新的收入來源並努力實現企業的業務目標時,他們還需要具備執行測試並快速執行測試的能力。

儘管AI技術的使用日新月異,但已有資料表明,令資料科學家和工程師使用容器化開發的企業比其競爭者更據優勢。

渥太華DevOps工程師Gary Stevens的一份報告指出,加拿大網路託管提供商HostPapa的表現優於其他領先的網路託管提供商,這要歸功於它早早地採用了Kubernetes。

在AI或ML專案的探索階段結合容器,能夠使資料團隊根據他們的特定領域,自由打包庫;相應地部署演算法,並根據團隊需求明確正確的資料來源。

隨著基於容器的程式(例如Kubernetes)的成功實施,資料科學家有權訪問隔離的環境。這使得他們可以自定義探索過程,而不必在共享環境中管理多個庫和框架。

02 模型訓練

設計完模型後,資料科學家需要利用大量資料,跨平臺訓練AI程式,以最大程度地提高模型的準確性,並減少任何人工資源的使用。

考慮到訓練AI模型是一項高度計算密集型操作的事情,容器被證明在擴充套件的工作負荷以及快速與其他節點通訊方面非常有利。但是,通常情況下IT團隊的成員或排程程式會確定最佳節點。

此外,透過容器進行現代資料管理平臺進行資料訓練,極大地影響並簡化了AI模型中的資料管理流程。此外,資料科學家還具有在多種不同型別的硬體(例如GPU)上執行AI或ML專案的優勢,這也使他們能夠一直使用那些最具準確性的硬體平臺。

03 部署

作為AI專案中最棘手的部分,在機器學習應用程式的生產和部署階段中可能經常會出現多個ML模型的組合,而每個模型都有其不同的用途。

透過在ML應用程式中結合容器,IT團隊可以將每個特定模型部署為單獨的微服務。那麼,微服務又是什麼?微服務是指一個獨立的輕量級程式,開發人員能夠在其他應用程式中重複使用該程式。

容器不僅為快速部署ML和AI模型提供了一個可移植的、隔離且一致的環境,也擁有可能改變當今IT格局的能力,那就是使企業能夠更快更好地實現其目標。

原文連結:https://www.infosecurity-magazine.com/opinions/kubernetes-containers-machine/


相關文章