筆記六十二：叢集壓力測試

CrazyZard發表於2020-04-20
筆記
系列文章：
筆記一：前期 docker 環境搭建 筆記二：docer-compose 的安裝以及編排檔案 筆記三：基本概念-文件、索引和 REST API 筆記四：文件的基本 CRUD 與批量操作 筆記五：倒排索引 筆記六：通過 Analyzer 進行分詞 筆記七：Search API 概覽 筆記八：URI Search 詳解 筆記九：Request Body 跟 Query DSL 簡介 筆記十：Query String & Simple Query String 筆記十一： Dynamic Mapping 和常見欄位型別 筆記十二： 顯示 Mapping 設定與常見引數 筆記十三：多欄位特性及 Mapping 中配置自定義 Analyzer 筆記十五：聚合分析簡介 筆記十六：第一節自我測試 筆記十七：基於詞項和基於全文的搜尋 筆記十八：結構化搜尋 筆記十九：搜尋的相關性算分 筆記二十：Query & Filtering 與 多字串多欄位查詢 筆記二十一：單字串多欄位查詢：Dis Max Query 筆記二十二：單字串多欄位查詢: Multi Match 筆記二十三：多語言及中文分詞與檢索 筆記二十五：使用 Search Template 和 Index Alias 筆記二十六：綜合排序 Function Score Query 優化算分 筆記二十七：Term & Phrase Suggester 筆記二十八：自動補全與機遇上下文的提示 筆記二十九：配置跨叢集搜尋 筆記三十：叢集分散式模型與選主與腦裂問題 筆記三十一：分片與叢集的故障轉移 筆記三十二：文件分散式儲存 筆記三十三： 分片及其生命週期 筆記三十四：剖析分散式查詢及相關性演算法 筆記三十五：排序及 Doc Values & Field Data 筆記三十六：分頁與遍歷 From, Size,Search After & Scorll API 筆記三十七：處理併發讀寫操作 筆記三十八：Bucket & Metric 聚合分析及巢狀聚合 筆記三十九：Pipeline 聚合分析 筆記四十：聚合的作用範圍及排序 筆記四十一：聚合的精準度問題 筆記四十二：物件及 Nested 物件 筆記四十三：文件的父子關係 筆記四十四：Update By Query & Reindex API 筆記四十五： Ingest Pipeline 與 Painless Script 筆記四十六：Elasticsearch 資料建模例項 筆記四十七：Elasticsearch 資料建模佳實踐 筆記四十九： 管叢集身份認證與使用者鑑權 筆記五十：叢集內部間的安全通訊 筆記五十一：叢集與外部間的安全通訊 筆記五十二：集常見的叢集部署方式 筆記五十三：Hot & Warm 架構與 Shard Filtering 筆記五十四：分片設定及管理 筆記五十五：如何對叢集進行容量規劃 筆記五十六：生產環境常用配置和上線清單 筆記五十七：監控 Elasticsearch 叢集 筆記五十八：診斷叢集的潛在問題 筆記五十九：解決叢集 Yellow 與 Red 的問題 筆記六十：提升叢集讀效能 筆記六十一：提升叢集寫效能 筆記六十二：叢集壓力測試 筆記六十三：段合併優化及注意事項 筆記六十四：快取及使用 Circuit Breaker 限制記憶體使用 筆記六十五：一些運維相關的建議
  • 壓力測試的目的
    • 容量規劃 / 效能優化 / 版本間效能比較 / 效能問題診斷
    • 確定系統穩定性，考察系統功能極限和隱患
  • 壓力測試的方法與步驟
    • 測試計劃（確定測試場景和測試資料集）
    • 指令碼開發
    • 測試環境搭建（不同的軟硬體配置） & 執行測試
    • 分析比較結果
  • 測試目標
    • 測試叢集的讀寫效能 / 做叢集容量規劃
    • 對 ES 配置引數進行修改，評估優化效果
    • 修改 Mapping 和 Setting，對資料建模進行優化，並測試評估效能改進
    • 測試 ES 新版本，結合實際場景和老版本進行比較，評估是否進行升級
  • 測試資料
    • 資料量 / 資料分佈
  • ES 本身提供了 REST API，所以，可以通過很多傳統的效能測試工具
    • Load Runner （商業軟體，支援錄製+重放 + DSL ）
    • JMeter （ Apache 開源 ，Record & Play）
    • Gatling （開源，支援寫 Scala 程式碼 + DSL）
  • 專門為 Elasticsearch 設計的工具
    • ES Pref & Elasticsearch-stress-test
    • Elastic Rally
  • Elastic 官方開源，基於 Python 3 的壓力測試工具
  • 功能介紹
    • 自動建立，配置，執行測試，並且銷燬 ES 叢集
    • 支援不同的測試資料的比較，也支援將資料匯入 ES 叢集，進行二次分析
    • 支援測試時指標資料的蒐集，方便對測試結果進行深度的分析
  • 安裝執行
    • Python 3.4+ 和 pip3 / JDK 8 / git 1.9+
    • 執行 pip3 install esrally
    • 執行 esrally configure
  • 執行
    • 執行 esrally –distribution-version=7.1.0
    • 執行 1000 條測試資料： esrally –distribution-version=7.1.0 –test-mode
  • Tournament – 定義測試目標，由多個 race 組成
    • Esrally list races
  • Track – 賽道：測試資料和測試場景與策 略
  • Car– 執行測試方案
    • 不同配置的 es 例項
  • Award – 測試結果和報告

叢集壓力測試

叢集壓力測試

  • Pipeline 指的是壓測的一個流程
    • Esrally list pipelines
  • 預設的流程
    • From-source-complete
    • From-source-skip-build
    • From-distribution
  • 測試
    • esrally race –distribution-version=6.0.0 –track=nyc_taxis –challenge=append-noconflicts –user-tag=”version:6.0.0”
    • esrally race –distribution-version=7.1.0 –track=nyc_taxis –challenge=append-noconflicts –user-tag=”version:7.1.0”
  • 比較結果
    • esrally list races
    • esrally compare –baseline=[6.0.0 race] –contender=[7.1.0 race]
  • 測試
    • esrally race –distribution-version=7.1.0 –track=nyc_taxis –challenge=append-noconflicts –user-tag=”enableSource:true” –include-tasks=”type:index”
    • 修改：benchmarks/tracks/default/nyc_taxis/mappings.json，修改 _source.enabled 為 false
    • esrally race –distribution-version=7.1.0 –track=nyc_taxis –challenge=append-noconflicts –user-tag=”enableSource:false” –include-tasks=”type:index
  • 比較
    • esrally compare –baseline=[enableAll race] –contender=[disableAll race]
  • 測試
    • esrally race –pipeline=benchmark-only –target-hosts=127.0.0.1:9200 –track=geonames -challenge=append-no-conflicts
本作品採用《CC 協議》，轉載必須註明作者和本文連結

快樂就是解決一個又一個的問題！

相關文章