通關TPC-DS,中國資料庫領域首破紀錄誕生!

導語：“不服跑個分？”是一個老梗了。雖然，我們不能盲目崇信跑分，但跑分的確是一種比較直觀反映軟硬體效能的方式。不過，相比手機跑個分，資料庫效能測試卻要複雜的多……

最近，一家小公司顛覆了我們的認知！它完整的透過資料庫界最難的一個測試標準TPC-DS，說是登頂了資料庫領域的最高峰，並不為過，因為，此前的12年裡，全球還沒有任何一家公司成功過。

基準測試結果：

5月3日，這家公司還在自家的使用者大會上釋出了一系列創新產品：人工智慧平臺智子；一站式大資料平臺產品：TDH6.0，分散式圖資料庫StellarDB，分散式快閃記憶體資料庫ArgoDB；大資料雲平臺產品Data Cloud。

這家公司叫“星環科技”，創始人團隊均出自Intel，或許Intel都不曾想到，五年前被砍掉的一個專案，居然成就了今天這個估值超過20億，年營收超過2個億，騰訊都搶著投錢下注的公司。

TPC測試委員會主席Raghu

我們首先回顧下事情的經過，5月3日，全球知名的資料管理系統評測基準標準化組織TPC宣佈，星環TDH平臺成為全球首個經過TPC官方稽核的TPC-DS基準測試的資料平臺，打破了該領域十二年來沒有公司透過該項測試的局面，在世界範圍內填補了該項技術的空白。

該基準測試使用思科UCS整合基礎架構用於大資料和分析以及Transwarp Data Hub v5.1。

也許很多人不清楚TPC是個什麼組織，TPC-DS是個什麼測試，我們先行腦補。

眾所周知，使用者在選用平臺時，面對的是一個繽紛繁雜的世界。使用者希望有一種度量標準,能夠量化計算機系統的效能，以此作為選型的依據。因此，誕生了眾多標準化組織，而TPC就是其中之一。

TPC (事務效能管理委員會)是目前全球最知名的資料管理系統評測基準標準化組織。它的功能是制定商務應用基準程式(Benchmark)的標準規範、效能和價格度量，並管理測試結果的釋出。

在過去二十多年間，該機構釋出了多項資料庫評測基準，如TPC-A、TPC-D、TPC-H和TPC-DS，在業界得到了廣泛應用，相對而言，TPC在學術界和工業界擁有更強的影響力。

TPC-DS最早是用來衡量資料庫分析效能的基準測試。它是2006年在第32屆VLDB資料庫會議上提出，有99個測試。但基準測試不僅僅涉及這些查詢。測試過程和指標包括以下六個步驟（更多詳細資訊，請參閱TPC-DS規範）：

資料負載測試（LD）

功耗測試（PT）在一個流中執行99個查詢。

吞吐量測試1（TT1）在多個流中執行99個查詢。

維護測試1（DM1）使用重新整理功能更新資料庫。

吞吐量測試2（TT2）在多個流中重新執行99個查詢。

維護測試（DM2）使用重新整理功能重新更新資料庫。

這99個查詢被定義為模板。每個查詢都有幾個引數，這些引數由dsqgen和SEED確定，具體為“被選為用格式mmddhhmmsss”表示的資料庫載入時間結束時間（載入結束時間）的時間戳。這個時間戳“保證查詢替換引數值在執行之前是未知的”。除引數外，不同流的查詢順序也不相同。下圖顯示了執行順序。

  TPC-DS的效能結果取決於每個步驟的時間（生成SQL的時間不是結果的一部分）。根據TPC-DS測試流程，SQL語法和事務支援，最佳化，穩定性和可伸縮性被確定為DBMS的關鍵因素。

自從這個標準提出到今天，12年來，一直沒有一個產品能透過。因此，被視為資料庫界最難的一個測試標準，每隔一兩年都會在資料庫頂級會議上被討論，但遺憾的是一直沒有人能透過。

而TPC-DS測試模擬場景的資料量都比較大，一般10TB起步，傳統資料庫廠商多年都未透過，如IBM、Oracle、Teradata都曾做過嘗試，但並沒有成功。而大資料庫廠商出現以後，為了衡量SQL和Hadoop誰更好，從 2014年開始，主流Hadoop廠商（如Cloudera, Hortonworks，Databricks）也開始試圖攻破這一難題，每年都會去測上一次，也依然沒有取得什麼實質進展。

星環科技創始人、董事長孫元浩在接受筆者採訪時表示：“我們參與測試的目的，並不是為了測試而測試，最初，我們的目的只是為了衡量我們的產品處於什麼樣的水平階段，同時看看能不能透過測試。”

孫元浩說：“實際上，我們在2014年底就透過了第一階段測試，而後面的步驟花了三年多的時間，去年7月，我們把測試結果提交給TPC組織，他們花了五個月的時間去審計結果。審計完以後再把所有測試結果和過程的全部公開在網上，接受質疑，所以它的難度是非常高的。”

目前，國外廠商對TPC-DS的攻關還處在第一階段，孫元浩補充道。

由於SQL或事務支援限制，大多數基於Hadoop的廠商無法執行完整的TPC-DS基準測試。由於架構和最佳化限制，傳統資料庫廠商難以透過測試或無法取得良好結果，尤其是在大資料環境下，比如傳統資料庫由於架構限制，當有大量資料交換時，會導致單個節點瓶頸。為了降低影響，一些廠商會引入了特殊裝置來處理資料交換，這使得系統的成本很高。

而星環能透過完整測試，毫無疑問的證明，在某些領域星環與國外廠商技術上的差距總體來說已經很小，甚至在某些方面已經超過了國外廠商。