簡介
整體概括
本文章主要介紹如何全面監控k8s
- 使用metric-server收集資料給k8s叢集內使用，如kubectl,hpa,scheduler等
- 使用prometheus-operator部署prometheus，儲存監控資料
- 使用kube-state-metrics收集k8s叢集內資源物件資料
- 使用node_exporter收集叢集中各節點的資料
- 使用prometheus收集apiserver，scheduler，controller-manager，kubelet元件資料
- 使用alertmanager實現監控報警
- 使用grafana實現資料視覺化
prometheus-operator簡介
prometheus-operator是一個整合prometheus和operator的專案，prometheus是一個集資料收集儲存，資料查詢，資料圖表顯示於一身的開源監控元件。operator是由coreos開源一套在k8s上管理應用的軟體，通過operator可以方便的實現部署，擴容，刪除應用等功能。
prometheus-operator利用k8s的CustomResourceDefinitions功能實現了只需要像寫原生kubectl支援的yaml檔案一樣，輕鬆收集應用資料，配置報警規則等，包含如下CRDs ：
- Prometheus 用於部署Prometheus 例項
- ServiceMonitor 用於配置資料收集，建立之後會根據DNS自動發現並收集資料
- PrometheusRule 用於配置Prometheus 規則，處理規整資料和配置報警規則
- Alertmanager 用於部署報警例項
安裝
環境說明
收集kube-controller-manager，kube-scheduler資料，需要配置元件監聽0.0.0.0地址
二進位制安裝啟動時新增如下引數 --address=0.0.0.0
如果使用kubeadm啟動的叢集，初始化時加入如下引數
controllerManagerExtraArgs:
address: 0.0.0.0
schedulerExtraArgs:
address: 0.0.0.0
複製程式碼如果是已經啟動之後的叢集，可以使用如下命令修改
sed -e "s/- --address=127.0.0.1/- --address=0.0.0.0/" -i /etc/kubernetes/manifests/kube-controller-manager.yaml
sed -e "s/- --address=127.0.0.1/- --address=0.0.0.0/" -i /etc/kubernetes/manifests/kube-scheduler.yaml
複製程式碼收集kubelet相關資料時需要配置kubelet使用如下認證方式。使用kubeadm預設情況下已經開啟
--authentication-token-webhook=true
--authorization-mode=Webhook
複製程式碼部署metric-server
# 下載
mkdir k8s-monitor && cd k8s-monitor
git clone https://github.com/kubernetes-incubator/metrics-server.git
cd metrics-server && git checkout v0.2.1 && cd ../
# 修改配置（當前版本有bug）
sed -ri 's@gcr.io/google_containers/metrics-server-amd64:(.*)@mirrorgooglecontainers/metrics-server-amd64:\1@g' metrics-server/deploy/1.8+/metrics-server-deployment.yaml
sed -ri 's@--source=kubernetes.summary_api:.*@--source=kubernetes.summary_api:https://kubernetes.default?kubeletHttps=true\&kubeletPort=10250\&insecure=true@' metrics-server/deploy/1.8+/metrics-server-deployment.yaml
# 部署
kubectl create -f metrics-server/deploy/1.8+/
# 檢視狀態
kubectl get pods -n kube-system
# 測試獲取資料
# 由於採集資料間隔為1分鐘
# 等待數分鐘後檢視資料
NODE=$(kubectl get nodes | grep 'Ready' | head -1 | awk '{print $1}')
METRIC_SERVER_POD=$(kubectl get pods -n kube-system | grep 'metrics-server' | awk '{print $1}')
kubectl get --raw /apis/metrics.k8s.io/v1beta1/nodes
kubectl get --raw /apis/metrics.k8s.io/v1beta1/pods
kubectl get --raw /apis/metrics.k8s.io/v1beta1/nodes/$NODE
kubectl top node $NODE
kubectl top pod $METRIC_SERVER_POD -n kube-system
複製程式碼下載相關部署檔案
git clone https://github.com/mgxian/k8s-monitor.git
cd k8s-monitor
複製程式碼部署prometheus-operator
# 建立 namespace
kubectl apply -f monitoring-namespace.yaml
# 部署
kubectl apply -f prometheus-operator.yaml
# 檢視
kubectl get pods -n monitoring
kubectl get svc -n monitoring
kubectl get crd
複製程式碼部署k8s元件服務
# 部署
kubectl apply -f kube-k8s-service.yaml
# 檢視
kubectl get svc -n kube-system
複製程式碼部署node_exporter
# 部署
kubectl apply -f node_exporter.yaml
# 檢視
kubectl get pods -n monitoring
kubectl get svc -n monitoring
複製程式碼部署kube-state-metrics
# 部署
kubectl apply -f kube-state-metrics.yaml
# 檢視
kubectl get pods -n monitoring
kubectl get svc -n monitoring
複製程式碼部署prometheus
# 部署
kubectl apply -f prometheus.yaml
# 檢視
kubectl get pods -n monitoring
kubectl get svc -n monitoring
複製程式碼配置資料收集
# 部署
kubectl apply -f kube-servicemonitor.yaml
# 檢視
kubectl get servicemonitors -n monitoring
複製程式碼檢視prometheus中的資料
# 檢視 nodeport
kubectl get svc -n monitoring | grep prometheus-k8s
# 獲取訪問連結
# 11.11.11.111 為其中一個node ip
NODE_IP='11.11.11.112'
PROMETHEUS_NODEPORT=$(kubectl get svc -n monitoring | grep prometheus-k8s | awk '{print $(NF-1)}' | cut -d ':' -f 2 | cut -d '/' -f 1)
echo "http://$NODE_IP:$PROMETHEUS_NODEPORT/"
複製程式碼prometheus主頁
生成圖表 container_network_receive_bytes_total{namespace="monitoring", name=~".prometheus."}
檢視收集資料的端點
檢視資料收集服務發現
部署grafana
# 部署
kubectl apply -f grafana.yaml
# 檢視
kubectl get pods -n monitoring
kubectl get svc -n monitoring
# 檢視 nodeport
kubectl get svc -n monitoring | grep grafana
# 獲取訪問連結
# 11.11.11.111 為其中一個node ip
NODE_IP='11.11.11.112'
GRAFANA_NODEPORT=$(kubectl get svc -n monitoring | grep grafana | awk '{print $(NF-1)}' | cut -d ':' -f 2 | cut -d '/' -f 1)
echo "http://$NODE_IP:$GRAFANA_NODEPORT/"
複製程式碼部署alertmanager
# 部署
kubectl apply -f alertmanager.yaml
# 檢視
kubectl get pods -n monitoring
kubectl get svc -n monitoring
# 檢視 nodeport
kubectl get svc -n monitoring | grep alertmanager-main
# 獲取訪問連結
# 11.11.11.111 為其中一個node ip
NODE_IP='11.11.11.112'
ALERTMANAGER_MAIN_NODEPORT=$(kubectl get svc -n monitoring | grep alertmanager-main | awk '{print $(NF-1)}' | cut -d ':' -f 2 | cut -d '/' -f 1)
echo "http://$NODE_IP:$ALERTMANAGER_MAIN_NODEPORT/"
複製程式碼檢視圖表
叢集狀態
叢集狀態以名稱空間視角
POD狀態