阿里雲遠超 Spark,取得四個全球排序基準競賽冠軍!

3 贊 回覆發表於2015-10-28

10月28日,Sort Benchmark在官方網站公佈了2015年排序競賽的最終成績。

阿里雲飛天分散式計算系統(FuxiSort)在其含金量最高的兩項比賽中,打破全部四項世界紀錄。

其中,阿里雲用時不到7分鐘(377秒)完成100TB的資料排序,將Apache Spark的紀錄23.4分鐘快了三倍

What's Sort Benchmark

Sort Benchmark是一個專門從事排序基準評估的非盈利機構。該機構每年都會舉辦一次排序基準評估比賽sort benchmark competition,被譽為計算界的奧運會。所以,很多公司和學術機構都會帶著他們最新的研究成果來參加這個比賽,以評估他們的研究成果。

之前的排序基準評估比賽的主辦和管理主要都是由Jim Gray來負責。他是資料庫界的超級牛人、1998年圖靈獎獲得者。2007年Jim Gray海上失蹤後,該機構由他過去的同僚和歷屆比賽冠軍組成的委員會接班管理。

阿里雲破四項世界紀錄

Sort Benchmark 四項世界紀錄對比

Sort Benchmark的排序競賽包含4項比賽,其中GraySort和MinuteSort主要評測計算系統的規模和效率,是4項比賽中含金量最高的兩項。每一項比賽又分通用目的排序Daytona專用目的排序Indy兩個類別。

阿里雲飛天分散式計算系統,在這兩項重量級測試中打破了全部4項世界紀錄。

其中,GraySort通用目的排序測評,阿里雲飛天成績是377秒,也就是說1分鐘能夠完成15.9TB的資料排序。去年Apache Spark成績為4.35TB/分鐘。MinuteSort通用目的排序測評中,阿里雲飛天的速度為7.7TB/分鐘,去年冠軍三星的速度為3.7TB/分鐘。

阿里雲的計算能力

全球大資料計算效能變遷史

排序是最基礎的資料演算法,能夠反映平臺的整體計算效能。100TB排序,是把1萬億條無規律的100位元組紀錄,嚴格按照從小到大的順序排序。GraySort和MinuteSort這兩類測試,充分證明了阿里雲在計算方面的核心能力。

阿里雲首席架構師唐洪表示:

“未來視訊、音訊資料、生物資料等非結構化資料將爆發式增長,我們需要在最短的時間、用最小的資源計算準確。面對大資料,如何算得快、算得準、算得起?這是未來雲端計算的核心能力。”

相關文章