部署KubeEdge、Edgemesh、Sedna

张同光發表於2024-07-05

https://neuromansser.tech/posts/部署kubeedgeedgemeshsedna/

部署KubeEdge、Edgemesh、Sedna

Posted on Jun 10, 2024

下載keadm

下載keadm用於安裝KubeEdge，官方文件：https://kubeedge.io/docs/setup/install-with-keadm/ （英文版裡有下載的部分中文版文件卻沒有，就有點迷惑…）

wget https://github.com/kubeedge/kubeedge/releases/download/v1.16.2/keadm-v1.16.2-linux-amd64.tar.gz

tar -zxvf keadm-v1.16.2-linux-amd64.tar.gz
cp keadm-1.16.2-linux-amd64/keadm/keadm /usr/local/bin/keadm

設定雲端（KubeEdge主節點）

sudo keadm init --advertise-address=主機ip地址 --kubeedge-version=v1.16.2 --set iptablesManager.mode="external" --set cloudCore.modules.dynamicController.enable=true

還有一個配置項其實是--kube-config=/root/.kube/config，但預設就是這個我就刪掉了，如果config檔案不在預設路徑需要設定一下，具體也可以keadm --help檢視一下。 如果沒有成功，可能有很多很多原因啦（心酸）。 一個原因可能是沒有移除node上的汙點，導致node上無法部署業務服務，解決方法：

kubectl taint nodes master node-role.kubernetes.io/control-plane:NoSchedule-

還有一個原因可能是cloudcore映象沒pull下來，這個時候可以再檢查一下給containerd配置的代理是否生效，或者用國內映象來代替，我當時用的是渡渡鳥映象同步站，搜尋的話能看到我當時用的cloudcore v1.16.2版本。

kubectl edit pod/daemonset/deployment ** -n **

然後替換為國內映象的地址就好了。 我還遇到過disk pressure的問題…但是這個應該比較少見。 總之遇到問題積極describe pod/node檢視日誌資訊就好啦。

當cloudcore正常執行後，我們就要keadm gettoken --kube-config=...檢視token，準備部署edgecore。

設定邊端（KubeEdge工作節點）

在邊端裝置上（已經裝好containerd和keadm）：

sudo keadm join  --kubeedge-version=1.16.2 --cloudcore-ipport="雲端ip地址":10000  --remote-runtime-endpoint=unix:///run/containerd/containerd.sock --cgroupdriver=systemd --token=**

感覺前面如果都做好了一般沒有問題，如果出現問題，記得檢視日誌，還要多搜搜Github上的issue。

部署EdgeMesh

這是我犯錯最多的地方，也是花費時間最多的地方，如果沒有部署好的話，後面聯合推理例項是根本跑不起來的。 官方文件：https://edgemesh.netlify.app/guide/

開啟邊緣Kube-API端點功能

  • 1.雲端開啟dynamicController模組 如果是用上面的命令部署的cloudcore，這裡是已經開啟的，因為我加了--set cloudCore.modules.dynamicController.enable=true。
  • 2.邊緣端開啟metaServer 模組，注意配置完成後，要重啟edgecore。
vim /etc/kubeedge/config/edgecore.yaml
modules:
  ...
  edgeMesh:
    enable: false
  ...
  metaManager:
    metaServer:
      enable: true

重啟edgecore

systemctl restart edgecore
  • 3.在邊緣節點，配置clusterDNS和clusterDomain，配置完成後，需要重啟edgecore。
$ vim /etc/kubeedge/config/edgecore.yaml
modules:
  ...
  edged:
    ...
    tailoredKubeletConfig:
      ...
      clusterDNS:
      - 169.254.96.16
      clusterDomain: cluster.local
...

一定要注意配置的位置（都是淚啊）… clusterDNS的值不要變。 如同文件裡說的，clusterDNS 設定的值 ‘169.254.96.16’ 來自於 commonConfig在新視窗開啟 中 bridgeDeviceIP 的預設值，正常情況下無需修改，非得修改請保持兩者一致。 重啟edgecore。

systemctl restart edgecore
  • 4.最後，在邊緣節點，測試邊緣Kube-API端點功能是否正常：
$ curl 127.0.0.1:10550/api/v1/services
{"apiVersion":"v1","items":[{"apiVersion":"v1","kind":"Service","metadata":{"creationTimestamp":"2021-04-14T06:30:05Z","labels":{"component":"apiserver","provider":"kubernetes"},"name":"kubernetes","namespace":"default","resourceVersion":"147","selfLink":"default/services/kubernetes","uid":"55eeebea-08cf-4d1a-8b04-e85f8ae112a9"},"spec":{"clusterIP":"10.96.0.1","ports":[{"name":"https","port":443,"protocol":"TCP","targetPort":6443}],"sessionAffinity":"None","type":"ClusterIP"},"status":{"loadBalancer":{}}},{"apiVersion":"v1","kind":"Service","metadata":{"annotations":{"prometheus.io/port":"9153","prometheus.io/scrape":"true"},"creationTimestamp":"2021-04-14T06:30:07Z","labels":{"k8s-app":"kube-dns","kubernetes.io/cluster-service":"true","kubernetes.io/name":"KubeDNS"},"name":"kube-dns","namespace":"kube-system","resourceVersion":"203","selfLink":"kube-system/services/kube-dns","uid":"c221ac20-cbfa-406b-812a-c44b9d82d6dc"},"spec":{"clusterIP":"10.96.0.10","ports":[{"name":"dns","port":53,"protocol":"UDP","targetPort":53},{"name":"dns-tcp","port":53,"protocol":"TCP","targetPort":53},{"name":"metrics","port":9153,"protocol":"TCP","targetPort":9153}],"selector":{"k8s-app":"kube-dns"},"sessionAffinity":"None","type":"ClusterIP"},"status":{"loadBalancer":{}}}],"kind":"ServiceList","metadata":{"resourceVersion":"377360","selfLink":"/api/v1/services"}}

如果返回值是空列表，或者響應時長很久（接近 10s）才拿到返回值，說明你的配置可能有誤，請仔細檢查。 完成上述步驟之後，KubeEdge 的邊緣 Kube-API 端點功能就已經開啟了，接著繼續部署EdgeMesh即可。

開始部署EdgeMesh

按照文件中先決條件清除一下汙點，新增過濾標籤。

$ kubectl taint nodes --all node-role.kubernetes.io/master-
$ kubectl label services kubernetes service.edgemesh.kubeedge.io/service-proxy-name=""

然後手動安裝EdgeMesh：

  • 從Github上clone下EdgeMesh
$ git clone https://github.com/kubeedge/edgemesh.git
$ cd edgemesh
  • 建立CRD
$ kubectl apply -f build/crds/istio/
customresourcedefinition.apiextensions.k8s.io/destinationrules.networking.istio.io created
customresourcedefinition.apiextensions.k8s.io/gateways.networking.istio.io created
customresourcedefinition.apiextensions.k8s.io/virtualservices.networking.istio.io created
  • 部署edgemesh-agent 在下面有一個提示，需要修改build/agent/resources/04-configmap.yaml檔案中relayNodes部分，並重新生成PSK密碼。 relaynode一般就配一個雲上的節點作為中繼，用master，ip就是master節點ip。PSK根據註釋中的網址生成一下就可以，不過自己做實驗的話其實不生成也行（bushi
relayNodes:
- nodeName: cloud #master的名字
  advertiseAddress:
  - *.*.*.*  #master的ip

後面的註釋掉就好了。 然後部署edgemesh-agent

$ kubectl apply -f build/agent/resources/
serviceaccount/edgemesh-agent created
clusterrole.rbac.authorization.k8s.io/edgemesh-agent created
clusterrolebinding.rbac.authorization.k8s.io/edgemesh-agent created
configmap/edgemesh-agent-cfg created
configmap/edgemesh-agent-psk created
daemonset.apps/edgemesh-agent created
  • 檢查一下
$ kubectl get all -n kubeedge -o wide
NAME                       READY   STATUS    RESTARTS   AGE   IP              NODE         NOMINATED NODE   READINESS GATES
pod/edgemesh-agent-7gf7g   1/1     Running   0          39s   192.168.0.71    k8s-node1    <none>           <none>
pod/edgemesh-agent-fwf86   1/1     Running   0          39s   192.168.0.229   k8s-master   <none>           <none>
pod/edgemesh-agent-twm6m   1/1     Running   0          39s   192.168.5.121   ke-edge2     <none>           <none>
pod/edgemesh-agent-xwxlp   1/1     Running   0          39s   192.168.5.187   ke-edge1     <none>           <none>

NAME                            DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE   CONTAINERS       IMAGES                           SELECTOR
daemonset.apps/edgemesh-agent   4         4         4       4            4           <none>          39s   edgemesh-agent   kubeedge/edgemesh-agent:latest   k8s-app=kubeedge,kubeedge=edgemesh-agent

這是官網的檢查方法，但感覺沒太大用處，就算是running也有可能不能正常工作的。 可以在邊端

crictl logs edgemesh的containerID

檢查一下，看看日誌是不是正常的，或者卡在了哪個地方，如果是正常的會有heartbeat定期傳送。

執行EdgeMesh測試案例

牆裂推薦跑一下，能發現很多問題。向前輩求助，前輩也都會先問測試案例有沒有跑通。我跑了帶星號的那個跨邊雲通訊測試（Cross-Edge-Cloud）。

  • 1.部署測試pod。
$ kubectl apply -f examples/test-pod.yaml
pod/alpine-test created
pod/websocket-test created
  • 2.部署邊雲通訊測試需要的
$ kubectl apply -f examples/cloudzone.yaml
namespace/cloudzone created
deployment.apps/tcp-echo-cloud created
service/tcp-echo-cloud-svc created
deployment.apps/busybox-sleep-cloud created

$ kubectl apply -f examples/edgezone.yaml
namespace/edgezone created
deployment.apps/tcp-echo-edge created
service/tcp-echo-edge-svc created
deployment.apps/busybox-sleep-edge created

當時實驗進行到這一步的時候我遇到了第一個問題，應該被部署到邊端，namespace為edgezone的pod一直處於ContainerCreating狀態，因為Pod沒辦法被部署上，自然沒辦法檢視日誌（crictl logs containerID），又沒辦法從雲端檢視（kubectl logs），kubectl describe pod資訊量又為0，所以我就systemctl status edgecore，終於看到了相關報錯資訊（雖然好像有更好的方法？），原因是邊端/run/flannel/subnet.env檔案不存在，我看了一下雲端有，於是就在邊端創造了一份和雲端內容相同的檔案，過了一小會pod都顯示為running狀態。

  • 3.雲訪問邊
$ BUSYBOX_POD=$(kubectl get all -n cloudzone | grep pod/busybox | awk '{print $1}')
$ kubectl -n cloudzone exec $BUSYBOX_POD -c busybox -i -t -- sh
$ telnet tcp-echo-edge-svc.edgezone 2701
Welcome, you are connected to node ke-edge1.
Running on Pod tcp-echo-edge.
In namespace edgezone.
With IP address 172.17.0.2.
Service default.
Hello Edge, I am Cloud.
Hello Edge, I am Cloud.

我是沒有遇到問題的。

  • 4.邊訪問雲 官網用的是docker，所以用了docker ps，用crictl就直接
crictl ps
# 找到busybox的containerID，然後
crictl exec -it containerID sh

然後我執行

$ telnet tcp-echo-cloud-svc.cloudzone 2701

出現了問題，大概是name or server unknow，這個其實是因為我不小心把邊緣Kube-API給配置錯了導致的。 然後我配置正確之後，再進行這一步，又出現了問題，顯示no route to host，和這個issue問題一樣,然後我按照issue裡說的全網最全EdgeMesh Q&A手冊問題三，清理iptables規則，然後重新部署edgemesh，發現就可以跑通了！太激動了當時。

$ telnet tcp-echo-cloud-svc.cloudzone 2701
Welcome, you are connected to node k8s-master.
Running on Pod tcp-echo-cloud.
In namespace cloudzone.
With IP address 10.244.0.8.
Service default.
Hello Cloud, I am Edge.
Hello Cloud, I am Edge.

到這裡EdgeMesh就算真正部署成功了。不知道因為EdgeMesh我花費了多少時間。不過其實都是學習必須要經歷。自己一開始沒有看日誌的意識，自己瞎嘗試解決問題，現在慢慢出問題第一反應找日誌，然後就可以快速解決問題。

部署Sedna

官方文件：https://sedna.readthedocs.io/en/latest/setup/install.html

curl https://raw.githubusercontent.com/kubeedge/sedna/main/scripts/installation/install.sh | SEDNA_ACTION=create bash -

有一個問題是，這個指令碼有時候識別不出來版本號，所以要留意一下它輸出的資訊，如果沒有識別出版本號，中斷安裝過程，解除安裝Sedna，然後再試一下。

# 解除安裝的命令
curl https://raw.githubusercontent.com/kubeedge/sedna/main/scripts/installation/install.sh | SEDNA_ACTION=create bash -

然後正常的話就正常執行啦，不正常的話有可能還是需要換成國內映象。

參考文章

  • k8s+kubeedge+sedna安裝全套流程+避坑指南+解決辦法：https://blog.csdn.net/MacWx/article/details/130200209

相關文章