如何設計一個流計算基準測試？

阿里技术發表於2020-09-17

如何設計一個流計算基準測試？

阿里妹導讀：如何選擇適合自己業務的流計算引擎？除了比較各自的功能矩陣外，基準測試（benchmark）便是用來評估系統效能的一個重要和常見的方法。然而在流計算領域，目前還沒有一個行業標準的基準測試。本文將探討流計算基準測試設計上的難點，分享如何設計流計算基準測試框架——Nexmark，以及將來的規劃。

一  背景

隨著資料時效性對企業的精細化運營越來越重要，“實時即未來”、“實時數倉”、“資料湖” 成為了近幾年炙手可熱的詞。流計算領域的格局也在這幾年發生了巨大的變化，Apache Flink 在流批一體的方向上不斷深耕，Apache Spark 的近實時處理有著一定的受眾，Apache Kafka 也有了 ksqlDB 高調地進軍流計算，而 Apache Storm 卻開始逐漸地退出歷史的舞臺。

每一種引擎有其優勢的地方，如何選擇適合自己業務的流計算引擎成了一個由來已久的話題。除了比較各個引擎提供的不同的功能矩陣之外，效能是一個無法繞開的評估因素。基準測試（benchmark）就是用來評估系統效能的一個重要和常見的過程。

二  現有流計算基準測試的問題

目前在流計算領域中，還沒有一個行業標準的基準測試。目前業界較為人知的流計算 benchmark 是五年前雅虎 Storm 團隊釋出的 Yahoo Streaming Benchmarks[4]。雅虎的原意是因為業界缺少反映真實場景的 benchmark，模擬了一個簡單的廣告場景來比較各個流計算框架，後來被廣泛引用。具體場景是從 Kafka 消費的廣告的點選流，關聯 Redis 中的廣告所屬的 campaign 資訊，然後做時間視窗聚合計數。

然而，正是因為雅虎團隊太過於追求還原真實的生產環境，導致這些外部系統服務（Kafka, Redis）成為了作業的瓶頸。Ververica 曾在這篇文章[5]中做過一個擴充套件實驗，將資料來源從 Kafka 替換成了一個內建的 datagen source，效能提升了 37 倍！由此可見，引入的 Kafka 元件導致了無法準確反映引擎真實的效能。更重要的一個問題是，Yahoo Benchmark 只包含一個非常簡單的，類似 “Word Count” 的作業，它無法全面地反映當今複雜的流計算系統和業務。試想，誰會用一個簡單的 “Word Count” 去衡量比較各個資料庫之間的效能差異呢？正是這些原因使得 Yahoo Benchmark 無法成為一個行業標準的基準測試。這也正是我們想要解決的問題。

因此，我們認為一個行業標準的基準測試應該具備以下幾個特點：

可復現性

可復現性是使得 benchmark 被信任的一個重要條件。許多 benchmark 的結果是難以重現的。有的是因為只擺了個 benchmark 結果圖，用於生成這些結果的程式碼並沒有公開。有的是因為用於 benchmark 的硬體不容易被別人獲取到。有的是因為 benchmark 依賴的服務太多，致使測試結果不穩定。

能代表和覆蓋行業真實的業務場景（ query 量）

例如資料庫領域非常著名的 TPC-H、TPC-DS 涵蓋了大量的 query 集合，來捕獲查詢引擎之間細微的差別。而且這些 query 集合都立於真實業務場景之上（商品零售行業），資料規模大，因此也很受一些大資料系統的青睞。

能調整作業的負載（資料量、資料分佈）

在大資料領域，不同的資料規模對於引擎來說可能會是完全不同的事情。例如 Yahoo Benchmark 中使用的 campaign id 只有 100 個，使得狀態非常小，記憶體都可以裝的下。這樣使得同步 IO 和 checkpoint 等的影響可以忽略不計。而真實的場景往往要面對大狀態，面臨的挑戰要複雜困難的多。像 TPC-DS 的資料生成工具會提供 scalar factor 的引數來控制資料量。其次在資料分佈上最好也能貼近真實世界的資料，如有資料傾斜，及調整傾斜比例。從而能全面、綜合地反映業務場景和引擎之間地差異。

有統一的效能衡量指標和採集彙總工具

基準測試的效能指標的定義需要清晰、一致，且能適用於各種計算引擎。然而流計算的效能指標要比傳統批處理的更難定義、更難採集。是流計算 benchmark 最具挑戰性的一個問題，這也會在下文展開描述。

我們也研究了很多其他的流計算相關的基準測試，包括：StreamBench、HiBench、BigDataBench，但是它們都在上述幾個基本面有所欠缺。基準測試的行業標杆無疑是 TPC 釋出的一系列 benchmark，如 TPC-H，TPC-DS。然而這些 benchmark 是面向傳統資料庫、傳統數倉而設計的，並不適用於今天的流計算系統。例如 benchmark 中沒有考慮事件時間、資料的亂序、視窗等流計算中常見的場景。因此我們不得不考慮重新設計並開源一個流計算基準測試框架——Nexmark。

地址：https://github.com/nexmark/nexmark。

三  Nexmark 基準測試框架的設計


為了提供一個滿足以上幾個基本面的流計算基準測試，我們設計和開發了 Nexmark 基準測試框架，並努力讓其成為流計算領域的標準 benchmark 。

Nexmark 基準測試框架來源於 NEXMark 研究論文[1]，以及 Apache Beam Nexmark Suite[6]，並在其之上進行了擴充套件和完善。Nexmark 基準測試框架不依賴任何第三方服務，只需要部署好引擎和 Nexmark，透過指令碼 nexmark/bin/run_query.sh all 即可等待並獲得所有 query 下的 benchmark 結果。下面我們將探討 Nexmark 基準測試在設計上的一些決策。

1  移除外部 source、sink 依賴

如上所述，Yahoo Benchmark 使用了 Kafka 資料來源，卻使得最終結果無法準確反映引擎的真實效能。此外，我們還發現，在 benchmark 快慢流雙流 JOIN 的場景時，如果使用了 Kafka 資料來源，慢流會超前消費（快流易被反壓），導致 JOIN 節點的狀態會快取大量超前的資料。這其實不能反映真實的場景，因為在真實的場景下，慢流是無法被超前消費的（資料還未產生）。所以我們在 Nexmark 中使用了 datagen source，資料直接在記憶體中生成，資料不落地，直接向下遊節點傳送。多個事件流都由單一的資料生成器生成，所以當快流被反壓時，也能抑制慢流的生成，較好地反映了真實場景。

與之類似的，我們也移除了外部 sink 的依賴，不再輸出到 Kafka/Redis，而是輸出到一個空 sink 中，即 sink 會丟棄收到的所有資料。

透過這種方式，我們保證了瓶頸只會在引擎自身，從而能精確地測量出引擎之間細微的差異。

2  Metrics

批處理系統 benchmark 的 metric 通常採用總體耗時來衡量。然而流計算系統處理的資料是源源不斷的，無法統計 query 耗時。因此，我們提出三個主要的 metric：吞吐、延遲、CPU。Nexmark 測試框架會自動幫我們採集 metric，並做彙總，不需要部署任何第三方的 metric 服務。

吞吐

吞吐（throughput）也常被稱作 TPS，描述流計算系統每秒能處理多少條資料。由於我們有多個事件流，所有事件流都由一個資料生成器生成，為了統一觀測角度，我們採用資料生成器的 TPS，而非單一事件流的 TPS。我們將一個 query 能達到的最大吞吐，作為其吞吐指標。例如，針對 Flink 引擎，我們透過 Flink REST API 暴露的<source_operator_name>.numRecordsOutPerSecond metric 來獲取當前吞吐量。

延遲

延遲（Latency）描述了從資料進入流計算系統，到它的結果被輸出的時間間隔。對於視窗聚合，Yahoo Benchmark 中使用 output_system_time - window_end 作為延遲指標，這其實並沒有考慮資料在視窗輸出前的等待時間，這種計算結果也會極大地受到反壓的影響，所以其計算結果是不準確的。一種更準確的計算方式應為 output_system_time - max(ingest_time)。然而在非視窗聚合，或雙流 JOIN 中，延遲又會有不同的計算方式。

所以延遲的定義和採集在流計算系統中有很多現實存在的問題，需要根據具體 query 具體分析，這在參考文獻[2]中有詳細的討論，這也是我們目前還未在 Nexmark 中實現延遲 metric 的原因。

CPU

資源使用率是很多流計算 benchmark 中忽視的一個指標。由於在真實生產環境，我們並不會限制流計算引擎所能使用的核數，從而給系統更大的彈性。所以我們引入了 CPU 使用率，作為輔助指標，即作業一共消耗了多少核。透過吞吐/cores，可以計算出平均每個核對於吞吐的貢獻。對於程式的 CPU 使用率的採集，我們沒有使用 JVM CPU load，而是借鑑了 YARN 中的實現，透過取樣/proc/<pid>/stat 並計算獲得，該方式可以獲得較為真實的程式 CPU 使用率。因此我們的 Nexmark 測試框架需要在測試開始前，先在每臺機器上部署 CPU 採集程式。

3  Query 與 Schema

Nexmark 的業務模型基於一個真實的線上拍賣系統。所有的 query 都基於相同的三個資料流，三個資料流會有一個資料生成器生成，來控制他們之間的比例、資料偏斜、關聯關係等等。這三個資料流分別是：

  • 使用者（Person）：代表一個提交拍賣，或參與競標的使用者。

  • 拍賣（Auction）：代表一個拍賣品。

  • 競標（Bid）：代表一個對拍賣品的出價。


我們一共定義了 16 個 query，所有的 query 都使用 ANSI SQL 標準語法。基於 SQL ，我們可以更容易地擴充套件 query 測試集，支援更多的引擎。然而，由於 Spark 在流計算功能上的限制，大部分的 query 都無法透過 Structured Streaming 來實現。因此我們目前只支援測試 Flink SQL 引擎。

如何設計一個流計算基準測試？

4  作業負載的配置化

我們也支援配置調整作業的負載，包括資料生成器的吞吐量以及吞吐曲線、各個資料流之間的資料量比例、每個資料流的資料平均大小以及資料傾斜比例等等。具體的可以參考 Source DDL 引數。

四  實驗結果

我們在阿里雲的三臺機器上進行了 Nexmark 針對 Flink 的基準測試。每臺機器均為 ecs.i2g.2xlarge 規格，配有 Xeon 2.5 GHz CPU (8 vCores) 以及 32 GB 記憶體，800 GB SSD 本地磁碟。機器之間的頻寬為 2 Gbps。

測試了 flink-1.11 版本，我們在這 3 臺機器上部署了 Flink standalone 叢集，由 1 個 JobManager，8 個 TaskManager （每個只有 1 slot）組成，都是 4 GB記憶體。叢集預設並行度為 8。開啟 checkpoint 以及 exactly once 模式，checkpoint 間隔 3 分鐘。使用 RocksDB 狀態後端。測試發現，對於有狀態的 query，每次 checkpoint 的大小在 GB 級以上，所以有效地測試的大狀態的場景。

Datagen source 保持 1000 萬每秒的速率生成資料，三個資料流的資料比例分別是 Bid: 92%，Auction: 6%，Person: 2%。每個 query 都先執行 3 分鐘熱身，之後 3 分鐘採集效能指標。

執行 nexmark/bin/run_query.sh all 後，列印測試結果如下：

如何設計一個流計算基準測試？

五  總結

我們開發和設計 Nexmark 的初衷是為了推出一套標準的流計算 benchmark 測試集，以及測試流程。雖然目前僅支援了 Flink 引擎，但在當前也具有一定的意義，例如：

  • 推動流計算 benchmark 的發展和標準化。
  • 作為 Flink 引擎版本迭代之間的效能測試工具，甚至是日常回歸工具，及時發現效能回退的問題。
  • 在開發 Flink 效能最佳化的功能時，可以用來驗證效能最佳化的效果。
  • 部分公司可能會有 Flink 的內部版本，可以用作內部版本與開源版本之間的效能對比工具。

當然，我們也計劃持續改進和完善 Nexmark 測試框架，例如支援 Latency metric，支援更多的引擎，如 Spark Structured Streaming, Spark Streaming, ksqlDB, Flink DataStream 等等。也歡迎有志之士一起加入貢獻和擴充套件。

參考及引用

[1]Pete Tucker and Kristin Tufte. "NEXMark – A Benchmark for Queries over Data Streams". June 2010.
[2]Jeyhun Karimov and Tilmann Rabl. "Benchmarking Distributed Stream Data Processing Systems". arXiv:1802.08496v2 [cs.DB] Jun 2019
[3]Yangjun Wang. "Stream Processing Systems Benchmark: StreamBench". May 2016.
[4]https://github.com/yahoo/streaming-benchmarks
[5]https://www.ververica.com/blog/extending-the-yahoo-streaming-benchmark
[6]https://beam.apache.org/documentation/sdks/java/testing/nexmark/

相關文章