Kubeflow實戰: 入門介紹與部署實踐

xingoo發表於2020-08-07

更多內容關注專輯:
機器學習實戰

1 介紹

Kubeflow是在k8s平臺之上針對機器學習的開發、訓練、優化、部署、管理的工具集合，內部整合的方式融合機器學習中的很多領域的開源專案，比如Jupyter、tfserving、Katib、Fairing、Argo等。可以針對機器學習的不同階段：資料預處理、模型訓練、模型預測、服務管理等進行管理。只要安裝了k8s，可以在本地、機房、雲環境中部署。

2 開發工具集

機器學習的目標最終還是為了在生產環境或者業務場景中使用，但這個過程卻是很複雜的，需要進行資料載入、切分、預處理、特徵工程、模型訓練、驗證、超引數調優、模型部署等等；為了正常使用模型，還需要在模型上線後，持續不斷的輸入資料才能得到預測的結果。

人工構建整個過程並進行維護是很複雜的，使用Kubeflow可以節省很多成本。比如在構建模型時，可以選擇你喜歡的演算法框架進行模型開發，試驗階段可以通過Jupyter進行互動式的程式設計，基於Pipeline構建整個訓練過程的工作流實現各種處理邏輯，基於Katib進行超引數的自動優化；生產環境中，可以使用TFJob等進行分散式訓練，基於KFServing等進行線上模型的服務，基於Metadata或TensorBoard進行模型的監控。

3 使用場景

擴充套件性：Kf基於k8s可以達到可擴充套件、可移植、分散式ML平臺， 通過Kf你可以輕鬆管理整個AI生命週期，比如在模型部署的時候自動進行擴容、在試驗階段自由建立筆記本。由於底層基於K8s來提供一致性與高可靠，使用者可以更聚焦於上層的演算法模型設計，而不用過多的關注底層構建。

迭代性：構建高質量的機器學習模型可能需要快速的迭代，Kf提供友好的UI介面支援快速追蹤對比實驗結果，你可以很方便的決定哪個模型訓練效果更好。Kf內部提供Jupyter筆記本，支援如Tensorflow、Pytorch等流行的深度學習框架。模型訓練配置簡單，方便進行分散式訓練、部署，提升端到端的開發過程。

混合性：機器學習模型的訓練可能涉及多個團隊、多個叢集和雲環境的共享，Kf支援主流的雲平臺，提供各個環境之間的移植性。你可以在本地開發模型、在叢集的GPU上進行訓練、最後部署到雲環境中，快速的開發模式和高效的部署使得整個過程就像單機操作一樣。

超參調優：在模型訓練中，超引數調優是很關鍵也很複雜的過程，對模型最終的準確度和效能有很大的影響，手動嘗試各種超引數的組合非常浪費時間。Kf通過Katib來支援自動超引數優化，這種自動優化會節省大量的計算時間，提高模型優化的效率。

持續整合：Kf目前並沒有這個方面成型的產品，但是可以通過Pipeline元件來實現。Pipeline支援建立可重複的工作流，可以自動觸發整個工作流的重跑以及模型的訓練。

4 部署

Kubeflow的部署其實很簡單，主要是依賴的映象大多出自Google因此會遇到很多網路問題。解決辦法推薦是通過阿里雲映象手動下載docker映象，然後tag成目標映象；或者直接修改kustomize中的映象地址。

安裝時需要下載kfctl並按照文件配置環境變數，比如我試過Ubuntu 18，可以參考下面的文件：https://www.kubeflow.org/docs/started/k8s/kfctl-k8s-istio/，大致流程如下：

1 到地址中下載對應的kfctl，darwin為mac，linux為其他，不支援windows
https://github.com/kubeflow/kfctl/releases/tag/v1.0.2

2 壓縮包解壓縮
tar -xvf kfctl_v1.0.2_<platform>.tar.gz

3 配置環境變數 vi /etc/profile
export PATH=$PATH:"<path-to-kfctl>"
export KF_NAME=<自定義名稱>
export BASE_DIR=<path to a base directory>
export KF_DIR=${BASE_DIR}/${KF_NAME}
export CONFIG_URI="https://raw.githubusercontent.com/kubeflow/manifests/v1.0-branch/kfdef/kfctl_k8s_istio.v1.0.2.yaml"

4 更新環境變數
source /etc/profile

5 執行命令
mkdir -p ${KF_DIR}
cd ${KF_DIR}
kfctl apply -V -f ${CONFIG_URI}

6 檢視安裝服務
kubectl -n kubeflow get all

整個安裝過程很緩慢，尤其是前期需要安裝cert-manager進行許可權控制，需要等服務正常。

中間會有大量的映象報錯ImagePullBackOff，這表示映象拉取失敗。解決辦法：

1 檢視具體pod的詳情
kubectl describe pod admission-webhook-bootstrap-stateful-set-0 -n kubeflow

2 去阿里雲映象站搜尋映象
docker pull registry.cn-hangzhou.aliyuncs.com/pigeonw/ingress-setup

3 重新命名
sudo docker tag registry.cn-hangzhou.aliyuncs.com/pigeonw/ingress-setup:latest gcr.io/kubeflow-images-public/ingress-setup:latest

4 修改kustomize中的配置
cd ./kustomize/webhook/base
sudo vim deployment.yaml
修改映象拉取策略
imagePullPolicy: IfNotPresent
原來如果是Always表示總是會去拉取遠端映象，IfNotPresent表示本地不存在時才會拉取

5 修改完成後等待一會，如果狀態還沒有變成Running，可以執行
kfctl apply -f kfctlxxx.yaml 重新建立

都部署成功後，大致可以看到如下的執行狀態，僅供參考：


5 使用

部署成功後，通過埠對映可以支援在外部訪問：

export NAMESPACE=istio-system
kubectl port-forward --address 0.0.0.0 -n ${NAMESPACE} svc/istio-ingressgateway 8080:80

然後訪問目標地址即可，如localhost:8080，自定義namespace後可以看到如下畫面:

後面將會分享Notebook、Pipeline、Katib等的使用，感謝關注。

相關文章