測試右移:線上質量監控 ELK 實戰

Juno3550 發表於 2022-07-02


【測試右移】介紹

為什麼要做測試右移?

  • 測試環境不能完全模擬線上環境。
  • 線上質量不僅取決於已釋出程式碼,還取決於資料變更與配置變更。
  • 線上測試可以獲得更多質量資料,以輔助產品更新。

測試右移主要實踐:

  • 應用監控
  • 綜合監控質量監控(ContinuousQuality Monitoring)
  • A/B 測試
  • 金絲雀部署(Canary Releases)
  • TIP 線上測試
  • 故障注入/混沌工程(Chaostesting)

image


為什麼要搭建監控系統:

  • 測試資料收集
  • 測試資料分析
  • 測試資料視覺化與分析

質量監控:

  • apm 應用效能監控
  • 全鏈路監控 zipkin、skywalking
  • 崩潰率監控 bugly
  • 線上使用者體驗特徵監控與分析

image


測試監控:

  • 優化測試的深度
  • 優化測試的速度
  • 優化測試的廣度
  • 優化測試進度管理

image


ELK Stack 介紹

ELK Stack 代指 Elasticsearch、Logstash 和 Kibana ,在這個生態圈慢慢發展過程中,加入了一個新成員 Beats

  • ElasticSearch:基於 Java,一個開源的分散式搜尋引擎。

  • LogStash:基於 Java,開源的用於收集、分析和儲存日誌的工具。(它和 Beats 有重疊的功能。Beats 出現之後,LogStash 則專門做日誌的分析)

  • Kibana:基於 Node.js,主要為 ElasticSearch 和 LogStash 提供 Web 頁面展示,可以彙總,分析搜尋資訊。

  • Beats:資料採集,它其實是一個綜合的名字,它由一些子專案組合而成。

    • Packetbeat(蒐集網路流量資料)
    • Topbeat(蒐集系統、程式和檔案系統級別的 CPU 和記憶體使用情況等資料)
    • Filebeat(用於監控,蒐集伺服器日誌檔案)
    • Winlogbeat( Windows 事件日誌資料收集)
    • Metricbeat(可定期獲取外部系統的監控指標資訊,可用於監控、收集 Apache、Mysql、Nginx、Redis、Zookeeper 等服務)

image


ELK 監控體系搭建

docker pull docker.elastic.co/elasticsearch/elasticsearch:8.1.2
docker pull docker.elastic.co/kibana/kibana:8.1.2
docker pull docker.elastic.co/logstash/logstash:8.1.2

ES & Kibana 搭建

# 建立子網
docker create network elastic

# 啟動 elasticsearch 容器
docker run -d --name es01 --net elastic -p 9200:9200 docker.elastic.co/elasticsearch/elasticsearch:8.1.2
# 由於啟動時間較久,可使用 docker logs -f es01 檢視啟動日誌

記錄啟動日誌中的登入密碼及 Token(注意有效期為半小時):

image

->  Password for the elastic user (reset with `bin/elasticsearch-reset-password -u elastic`):
  DB1ngqLjym5Zg3n-doni

->  HTTP CA certificate SHA-256 fingerprint:
  2cffe4439402214dcd28786c835fcd9fdce82f266a8cfd915cdd9fd52facdea3

->  Configure Kibana to use this cluster:
* Run Kibana and click the configuration link in the terminal when Kibana starts.
* Copy the following enrollment token and paste it into Kibana in your browser (valid for the next 30 minutes):
  eyJ2ZXIiOiI4LjEuMiIsImFkciI6WyIxNzIuMTkuMC4yOjkyMDAiXSwiZmdyIjoiMmNmZmU0NDM5NDAyMjE0ZGNkMjg3ODZjODM1ZmNkOWZkY2U4MmYyNjZhOGNmZDkxNWNkZDlmZDUyZmFjZGVhMyIsImtleSI6InZ5UkZySUVCYzFJYTJ4eXZWUXRLOlJSYW03X1FnU3ZxdUZqT0lnOEZLTUEifQ==

-> Configure other nodes to join this cluster:
* Copy the following enrollment token and start new Elasticsearch nodes with `bin/elasticsearch --enrollment-token <token>` (valid for the next 30 minutes):
  eyJ2ZXIiOiI4LjEuMiIsImFkciI6WyIxNzIuMTkuMC4yOjkyMDAiXSwiZmdyIjoiMmNmZmU0NDM5NDAyMjE0ZGNkMjg3ODZjODM1ZmNkOWZkY2U4MmYyNjZhOGNmZDkxNWNkZDlmZDUyZmFjZGVhMyIsImtleSI6IndTUkZySUVCYzFJYTJ4eXZWUXVsOlF0bFNtVnVCVFhXVV83UThUcVZETkEifQ==

  If you're running in Docker, copy the enrollment token and run:
  `docker run -e "ENROLLMENT_TOKEN=<token>" docker.elastic.co/elasticsearch/elasticsearch:8.1.2`

證照認證:

# 拷貝證照到本地
docker cp es01:/usr/share/elasticsearch/config/certs/http_ca.crt .

# 進行認證
curl --cacert http_ca.crt -u elastic https://localhost:9200
# 輸入剛剛記錄下的密碼

image

啟動 Kibana:

docker run -d \
  --name kibana \
  --link elasticsearch:elasticsearch \
  --net elastic \
  -p 5601:5601 \
  docker.elastic.co/kibana/kibana:8.1.2

image

輸入 ES 啟動日誌中的 Token 及 Kibana 啟動日誌中的 code:

image

輸入 ES 啟動日誌中的使用者名稱/密碼:

image


Nginx 日誌自動採集

示例:使用 ES 提供的整合工具(Nginx Agent),自動採集伺服器上的 Nginx 日誌資料到 ES 中

Nginx Agent

image


image


image


使用預設配置進行儲存:

image


image


image


image

將上述 ES 提供的日誌採集 Agent 下載到 Nginx 伺服器中:

[[email protected] es_agent]# wget https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.1.2-linux-x86_64.tar.gz

建立 elastic-agent.yml 配置檔案:

image


解壓 agent 並執行:

image

[[email protected] es_agent]# tar -zxvf elastic-agent-8.1.2-linux-x86_64.tar.gz
...
[[email protected] es_agent]# ls
elastic-agent-8.1.2-linux-x86_64  elastic-agent-8.1.2-linux-x86_64.tar.gz  elastic-agent.yml
[[email protected] es_agent]# ./elastic-agent-8.1.2-linux-x86_64/elastic-agent install
Elastic Agent will be installed at /opt/Elastic/Agent and will run as a service. Do you want to continue? [Y/n]:y
Do you want to enroll this Agent into Fleet? [Y/n]:n
Elastic Agent has been successfully installed.
# 此時 agent 會被成功安裝在 /opt/Elastic/Agent/ 目錄

替換剛下載的配置檔案:

[[email protected] Agent]# mv elastic-agent.yml elastic-agent.yml_bak
[[email protected] Agent]# mv ../elastic-agent.yml .
[[email protected] Agent]# vi elastic-agent.yml

image

# 重啟 agent
[[email protected] Agent]# ./elastic-agent restart

安裝 Nginx 伺服器

# 下載 nginx
[[email protected] Agent]# yum install nginx

# 啟動 nginx
[[email protected] Agent]# systemctl start nginx

# 檢視 nginx 日誌,發現已被 agent 監控
[[email protected] Agent]# less /var/log/nginx/access.log
127.0.0.1 - - [29/Jun/2022:12:42:23 +0800] "GET /nginx_status HTTP/1.1" 404 3971 "-" "Elastic-Metricbeat/8.1.2 (linux; amd64; 6118f25235a52a7f0c4937a0a309e380c92d8119; 2022-03-29 22:45:47 +0000 UTC)" "-"
127.0.0.1 - - [29/Jun/2022:12:42:40 +0800] "GET /nginx_status HTTP/1.1" 404 3971 "-" "Elastic-Metricbeat/8.1.2 (linux; amd64; 6118f25235a52a7f0c4937a0a309e380c92d8119; 2022-03-29 22:45:47 +0000 UTC)" "-"
...

資料分析

確認日誌資料正常被採集到 ES 中:

image

image


建立自定義檢視(正則匹配所需要的日誌檔案):

image


建立完成後,會自動解析欄位:

image


檢視自定義檢視的統計圖及明細資料:

image


更多的資料分析功能:

image


Logstash 搭建


配置檔案:vi $PWD/pipeline/logstash.conf

# 輸入
input {
  file {
    path => [ "/data/*.log" ]  # logstash的data目錄下的log
  }
}

# 過濾
filter {
      grok {
        match => { "message" => ["%{IPORHOST:[nginx][access][remote_ip]} - %{DATA:[nginx][access][user_name]} \[%{HTTPDATE:[nginx][access][time]}\] \"%{WORD:[nginx][access][method]} %{DATA:[nginx][access][url]} HTTP/%{NUMBER:[nginx][access][http_version]}\" %{NUMBER:[nginx][access][response_code]} %{NUMBER:[nginx][access][body_sent][bytes]} \"%{DATA:[nginx][access][referrer]}\" \"%{DATA:[nginx][access][agent]}\""] }
        remove_field => "message"
      }
}

# 輸出
output {
  stdout {}  # 標準輸出
  elasticsearch {  # 輸出到 es
    hosts => ["https://192.168.3.222:9200"]  # es主機
    index => "logstash-nginx-%{+YYYY.MM.dd}"  # 生成的索引
    user => "elastic"  # es使用者名稱
    password => "-yAoRIIni3qy*RW*Q8Nc"  # es密碼
    ssl_certificate_verification => false  # 關閉es證照認證
  }
}

啟動 logstash:

# 配置檔案
[[email protected] logstash]# vi logstash.yml
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: ["https://192.168.3.222:9200"]
xpack.monitoring.elasticsearch.username: "elastic"
xpack.monitoring.elasticsearch.password: "-yAoRIIni3qy*RW*Q8Nc"
xpack.monitoring.enabled: true

# 啟動 logstash
docker run --name logstash --rm -d --net elastic \
  -v $PWD/logstash.yml:/usr/share/logstash/config/logstash.yml \  # 掛載配置檔案
  -v $PWD/pipeline:/usr/share/logstash/pipeline/ \  # 掛載採集配置檔案目錄
  -v /var/log/nginx/access.log:/data/access.log \  # 掛載nginx的訪問日誌
  -v /var/log/nginx/error.log:/data/error.log \  # 掛載nginx的錯誤日誌
  docker.elastic.co/logstash/logstash:8.1.2 \
  --config.reload.automatic  # 熱更新配置檔案

檢視成功生成的索引:

image

接著便可建立自定義檢視(data view)並進行資料分析。