service mesh istio微服務實驗之監控日誌與視覺化

_CountingStars發表於2019-03-01

簡介

本文是istio微服務實驗的後續文章，實驗前請先參考之前文章。

分散式呼叫鏈追蹤

安裝

# 下載yml檔案
mkdir jaeger && cd jaeger
wget https://raw.githubusercontent.com/jaegertracing/jaeger-kubernetes/master/all-in-one/jaeger-all-in-one-template.yml

# 實驗環境不支援 LoadBalancer
# 可以修改jaeger-all-in-one-template.yml使用nodeport
# 也可以不修改，這樣的會使用隨機的nodeport

# 啟動
kubectl apply -n istio-system -f jaeger-all-in-one-template.yml

# 檢視
kubectl get pods -n istio-system
kubectl get svc -n istio-system

# 多次訪問之前的vue react介面並點選發射按鈕

# 訪問
jaegerNodePort=$(kubectl get svc -n istio-system | grep jaeger-query | awk '{print $5}' | cut -d '/' -f 1 | cut -d ':' -f 2)
nodeName=$(kubectl get no | grep '<none>' | head -1 | awk '{print $1}')
nodeIP=$(ping -c 1 $nodeName | grep PING | awk '{print $3}' | tr -d '()')
echo "http://$nodeIP:"$jaegerNodePort

# 選擇 istio-ingress 可以方便檢視整個呼叫鏈

# 清理
cd jaeger
kubectl delete -n istio-system -f jaeger-all-in-one-template.yml
複製程式碼

jaeger的dashboard介面

呼叫鏈

服務樹展示

日誌與指標收集

安裝

# 安裝prometheus
cd /usr/local/istio

# 修改支援nodeport
cp install/kubernetes/addons/prometheus.yaml install/kubernetes/addons/prometheus.yaml.ori
vim install/kubernetes/addons/prometheus.yaml
...
apiVersion: v1
kind: Service
metadata:
  annotations:
    prometheus.io/scrape: 'true'
  labels:
    name: prometheus
  name: prometheus
  namespace: istio-system
spec:
  selector:
    app: prometheus
  ports:
  - name: prometheus
    protocol: TCP
    port: 9090
  # 設定使用 nodeport
  type: NodePort
...

# 部署
kubectl apply -f install/kubernetes/addons/prometheus.yaml

# 配置收集
istioctl create -f istio/new_telemetry.yml

# 多次訪問之前的vue react介面並點選發射按鈕

# 訪問web測試
prometheusNodePort=$(kubectl get svc -n istio-system | grep prometheus | awk '{print $5}' | cut -d '/' -f 1 | cut -d ':' -f 2)
nodeName=$(kubectl get no | grep '<none>' | head -1 | awk '{print $1}')
nodeIP=$(ping -c 1 $nodeName | grep PING | awk '{print $3}' | tr -d '()')
echo "http://$nodeIP:"$prometheusNodePort

# 使用 istio_double_request_count  關鍵字查詢

# 檢視日誌
kubectl -n istio-system logs $(kubectl -n istio-system get pods -l istio=mixer -o jsonpath='{.items[0].metadata.name}') mixer | grep \"instance\":\"newlog.logentry.istio-system\"

# 清理
kubectl delete -f install/kubernetes/addons/prometheus.yaml
istioctl delete -f istio/new_telemetry.yml
複製程式碼

收集TCP服務的指標

安裝

# 安裝prometheus
cd /usr/local/istio

# 修改支援nodeport
cp install/kubernetes/addons/prometheus.yaml install/kubernetes/addons/prometheus.yaml.ori
vim install/kubernetes/addons/prometheus.yaml
...
apiVersion: v1
kind: Service
metadata:
  annotations:
    prometheus.io/scrape: 'true'
  labels:
    name: prometheus
  name: prometheus
  namespace: istio-system
spec:
  selector:
    app: prometheus
  ports:
  - name: prometheus
    protocol: TCP
    port: 9090
  # 設定使用 nodeport
  type: NodePort
...

# 部署
kubectl apply -f install/kubernetes/addons/prometheus.yaml

# 配置收集
istioctl create -f istio/tcp_telemetry.yml

# 部署使用mongodb應用測試

# 訪問web測試
prometheusNodePort=$(kubectl get svc -n istio-system | grep prometheus | awk '{print $5}' | cut -d '/' -f 1 | cut -d ':' -f 2)
nodeName=$(kubectl get no | grep '<none>' | head -1 | awk '{print $1}')
nodeIP=$(ping -c 1 $nodeName | grep PING | awk '{print $3}' | tr -d '()')
echo "http://$nodeIP:"$prometheusNodePort

# 使用 istio_mongo_received_bytes  關鍵字查詢

# 清理
kubectl delete -f install/kubernetes/addons/prometheus.yaml
istioctl delete -f istio/tcp_telemetry.yml
複製程式碼

TCP資料流圖

使用grafana視覺化指標

安裝

# 安裝prometheus
cd /usr/local/istio

# 修改支援nodeport
cp install/kubernetes/addons/prometheus.yaml install/kubernetes/addons/prometheus.yaml.ori
vim install/kubernetes/addons/prometheus.yaml
...
apiVersion: v1
kind: Service
metadata:
  annotations:
    prometheus.io/scrape: 'true'
  labels:
    name: prometheus
  name: prometheus
  namespace: istio-system
spec:
  selector:
    app: prometheus
  ports:
  - name: prometheus
    protocol: TCP
    port: 9090
  # 設定使用 nodeport
  type: NodePort
...
cp install/kubernetes/addons/grafana.yaml install/kubernetes/addons/grafana.yaml.ori
vim install/kubernetes/addons/grafana.yaml
kind: Service
metadata:
  name: grafana
  namespace: istio-system
spec:
  # 設定使用 nodeport
  type: NodePort
  ports:
  - port: 3000
    protocol: TCP
    name: http
  selector:
    app: grafana

# 部署
kubectl apply -f install/kubernetes/addons/prometheus.yaml
kubectl apply -f install/kubernetes/addons/grafana.yaml

# 訪問web測試
grafanaNodePort=$(kubectl get svc -n istio-system | grep grafana | awk '{print $5}' | cut -d '/' -f 1 | cut -d ':' -f 2)
nodeName=$(kubectl get no | grep '<none>' | head -1 | awk '{print $1}')
nodeIP=$(ping -c 1 $nodeName | grep PING | awk '{print $3}' | tr -d '()')
echo "http://$nodeIP:"$grafanaNodePort

# 壓力測試檢視圖表
# 建立測試用的fortio
kubectl apply -f <(istioctl kube-inject -f istio/fortio-deploy.yaml)

# 正常訪問測試
FORTIO_POD=$(kubectl get pod | grep fortio | awk '{ print $1 }')
kubectl exec -it $FORTIO_POD  -c fortio /usr/local/bin/fortio -- load -curl http://service-python/env

# 加大壓力測試
kubectl exec -it $FORTIO_POD  -c fortio /usr/local/bin/fortio -- load -qps 20 -t 100s -loglevel Warning http://service-python/env
kubectl exec -it $FORTIO_POD  -c fortio /usr/local/bin/fortio -- load -qps 50 -t 100s -loglevel Warning http://service-go/env

# 清理
kubectl delete -f install/kubernetes/addons/prometheus.yaml
kubectl delete -f install/kubernetes/addons/grafana.yaml
kubectl delete -f istio/fortio-deploy.yaml
複製程式碼

service mesh 資料監控展示

pilot資料監控展示

生成服務樹

安裝

# 修改使用nodeport
cd /usr/local/istio
cp install/kubernetes/addons/servicegraph.yaml install/kubernetes/addons/servicegraph.yaml.ori
vim install/kubernetes/addons/servicegraph.yaml
...
apiVersion: v1
kind: Service
metadata:
  name: servicegraph
  namespace: istio-system
spec:
  # 設定使用 nodeport
  type: NodePort
  ports:
  - name: http
    port: 8088
  selector:
    app: servicegraph
...

# 安裝prometheus
cd /usr/local/istio

# 修改支援nodeport
cp install/kubernetes/addons/prometheus.yaml install/kubernetes/addons/prometheus.yaml.ori
vim install/kubernetes/addons/prometheus.yaml
...
apiVersion: v1
kind: Service
metadata:
  annotations:
    prometheus.io/scrape: 'true'
  labels:
    name: prometheus
  name: prometheus
  namespace: istio-system
spec:
  selector:
    app: prometheus
  ports:
  - name: prometheus
    protocol: TCP
    port: 9090
  # 設定使用 nodeport
  type: NodePort
...

# 部署
kubectl apply -f install/kubernetes/addons/prometheus.yaml
kubectl apply -f install/kubernetes/addons/servicegraph.yaml

# 多次訪問之前的vue react介面並點選發射按鈕

# 訪問web測試
servicegraphNodePort=$(kubectl get svc -n istio-system | grep servicegraph | awk '{print $5}' | cut -d '/' -f 1 | cut -d ':' -f 2)
nodeName=$(kubectl get no | grep '<none>' | head -1 | awk '{print $1}')
nodeIP=$(ping -c 1 $nodeName | grep PING | awk '{print $3}' | tr -d '()')
echo "http://$nodeIP:"$servicegraphNodePort/force/forcegraph.html

# 可使用url
# /force/forcegraph.html
# /dotviz
# /dotgraph
# /d3graph
# /graph

# 清理
kubectl delete -f install/kubernetes/addons/prometheus.yaml
kubectl delete -f install/kubernetes/addons/servicegraph.yaml
複製程式碼

服務樹

使用Fluentd收集日誌

安裝

# 安裝efk
kubectl apply -f istio/logging-stack.yml

# 配置istio使用efk
istioctl create -f istio/fluentd-istio.yml

# 多次訪問之前的vue react介面並點選發射按鈕

# 訪問web測試
kibanaNodePort=$(kubectl get svc -n istio-system | grep kibana | awk '{print $5}' | cut -d '/' -f 1 | cut -d ':' -f 2)
nodeName=$(kubectl get no | grep '<none>' | head -1 | awk '{print $1}')
nodeIP=$(ping -c 1 $nodeName | grep PING | awk '{print $3}' | tr -d '()')
echo "http://$nodeIP:"$kibanaNodePort

# 清理
kubectl delete -f istio/logging-stack.yml
istio delete -f istio/fluentd-istio.yml
複製程式碼

Service Mesh之Istio部署bookinfo
2023-04-04
Trampoline視覺化監控你的Spring Boot微服務
2018-07-23
視覺化Spring Boot微服務
教程|使用Istio實現一個Service Mesh以簡化微服務間的通訊模式
2018-09-05
微服務模式
阿里雲Kubernetes容器服務Istio實踐之整合日誌服務Log Service
2018-08-01
阿里
Service Mesh之Istio基礎入門
2023-04-03
微服務架構 | 10.3 使用 Zipkin 視覺化日誌追蹤
2022-02-07
微服務架構視覺化
service mesh istio-1.0 快速安裝體驗
2018-08-04
idou老師教你學Istio ：如何用istio實現監控和日誌採集
2018-12-17
idou老師教你學Istio 25：如何用istio實現監控和日誌採集
2019-02-21
Istio service mesh示例教程彙總
2018-08-06
暴露 Istio Service Mesh 中的 Gateway
2019-03-31
Gateway
黑盒監控、日誌監控
2024-05-10
Mysql效能監控視覺化
2021-01-10
MySql視覺化
service mesh 開源實現 istio安裝測試
2021-09-09
idou老師教你學Istio 26：如何使用Grafana進行視覺化監控
2019-02-21
Grafana視覺化
Hystrix 監控視覺化頁面——Dashboard 流監控
2021-12-22
視覺化
企業服務行業如何試水 Istio | Service Mesh Meetup 分享實錄
2019-01-11
行業
微服務應用新趨勢：Service Mesh、AIOps和中臺化
2019-02-25
微服務AI
視覺化監控搭建過程
2024-07-31
視覺化
Kubernetes Ingress 日誌分析與監控的最佳實踐
2019-03-26
微服務監控
2018-11-20
微服務
Istio在Rainbond Service Mesh體系下的落地實踐
2021-12-15
AI
智慧警務視覺化應用監控系統搭建
2020-12-01
視覺化
Service Mesh框架對比：Linkerd vs. Istio
2019-03-25
框架
服務網格service mesh 之 Linkerd
2021-09-09
愛奇藝微服務監控的探索與實踐
2020-07-15
微服務
Istio全景監控與拓撲
2018-11-27
微服務架構之「監控系統」
2019-05-21
微服務架構
微服務架構之「呼叫鏈監控」
2019-05-28
微服務架構
Docker容器視覺化監控中心搭建
2018-04-16
Docker視覺化
WGCLOUD實時視覺化監控使用監測FTP和SFTP教程
2022-12-26
GCCloud視覺化FTP
微服務監控探索
2020-04-04
微服務
日誌監控實踐 - 監控Agent整合Lua引擎實現多維度日誌採集
2018-12-29
.NET 6 使用 LogDashboard 視覺化日誌
2023-12-07
視覺化
視覺化業務流程監控，也是一種運維之道
2022-11-07
視覺化運維
Mysql事件監控日誌
2018-05-14
MySql事件
Kiali——Istio Service Mesh 的可觀察性工具
2018-10-22
Service Mesh大咖訪談：使用服務網格的微服務通訊與治理
2018-07-27
微服務

service mesh istio微服務實驗之監控日誌與視覺化

簡介

分散式呼叫鏈追蹤

安裝

日誌與指標收集

安裝

收集TCP服務的指標

安裝

使用grafana視覺化指標

安裝

生成服務樹

安裝

使用Fluentd收集日誌

安裝

相關文章