阿里雲遠超 Spark,取得四個全球排序基準競賽冠軍!
| 2015-10-28 17:13 評論: 7
10月28日,Sort Benchmark在官方網站公佈了2015年排序競賽的最終成績。
阿里雲飛天分散式計算系統(FuxiSort)在其含金量最高的兩項比賽中,打破全部四項世界紀錄。
其中,阿里雲用時不到7分鐘(377秒)完成100TB的資料排序,將Apache Spark的紀錄23.4分鐘快了三倍。
What's Sort Benchmark
Sort Benchmark是一個專門從事排序基準評估的非盈利機構。該機構每年都會舉辦一次排序基準評估比賽,被譽為計算界的奧運會。所以,很多公司和學術機構都會帶著他們最新的研究成果來參加這個比賽,以評估他們的研究成果。
之前的排序基準評估比賽的主辦和管理主要都是由Jim Gray來負責。他是資料庫界的超級牛人、1998年圖靈獎獲得者。2007年Jim Gray海上失蹤後,該機構由他過去的同僚和歷屆比賽冠軍組成的委員會接班管理。
阿里雲破四項世界紀錄
Sort Benchmark的排序競賽包含4項比賽,其中GraySort和MinuteSort主要評測計算系統的規模和效率,是4項比賽中含金量最高的兩項。每一項比賽又分通用目的排序和專用目的排序兩個類別。
阿里雲飛天分散式計算系統,在這兩項重量級測試中打破了全部4項世界紀錄。
其中,GraySort通用目的排序測評,阿里雲飛天成績是377秒,也就是說1分鐘能夠完成15.9TB的資料排序。去年Apache Spark成績為4.35TB/分鐘。MinuteSort通用目的排序測評中,阿里雲飛天的速度為7.7TB/分鐘,去年冠軍三星的速度為3.7TB/分鐘。
阿里雲的計算能力
排序是最基礎的資料演算法,能夠反映平臺的整體計算效能。100TB排序,是把1萬億條無規律的100位元組紀錄,嚴格按照從小到大的順序排序。GraySort和MinuteSort這兩類測試,充分證明了阿里雲在計算方面的核心能力。
阿里雲首席架構師唐洪表示:
“未來影片、音訊資料、生物資料等非結構化資料將爆發式增長,我們需要在最短的時間、用最小的資源計算準確。面對大資料,如何算得快、算得準、算得起?這是未來雲端計算的核心能力。”
相關文章
- 超詳細!如何準備機器學習競賽?機器學習
- 網易 AI Lab 斬獲全球頂級聲紋識別競賽冠軍AI
- C++ 競賽排序C++排序
- 奪冠!卓世AI斬獲全球頂會AAMAS 2024 CE 競賽冠軍AI
- EDG奪得2024無畏契約全球冠軍賽總冠軍,CN賽區閃耀世界賽場
- 如何準備演算法競賽?演算法
- ACM-ICPC世界冠軍教你如何備戰程式設計競賽ACM程式設計
- 勇奪全球AI基準測試18項冠軍,中國廠商為何能霸榜?AI
- 資料競賽:第四屆工業大資料競賽-虛擬測量大資料
- 【天池競賽系列】菜鳥-需求預測與分倉規劃初賽冠軍解決方案
- 中國AI晶片公司霸榜谷歌Waymo自動駕駛演算法挑戰賽!五個賽道,四項冠軍AI晶片谷歌自動駕駛演算法
- AI 競賽沒有意義,模型實際不可用,冠軍全憑運氣?AI模型
- scala_準備_spark_基礎Spark
- 挑戰程式設計競賽選讀-選擇排序程式設計排序
- 2024全球冠軍賽:你需要知道的一切
- 超600支隊伍報名!首屆“強基杯”資料安全技能競賽即將開賽
- 百度視覺團隊獲世界最大規模目標檢測競賽冠軍視覺
- ICCV 2021 口罩人物身份鑑別全球挑戰賽冠軍方案分享
- ICCV 2021口罩人物身份鑑別全球挑戰賽冠軍方案分享
- 「中國法研杯」相似案例匹配競賽結果出爐,冠軍方案關鍵點詳解
- 【CSDN競賽第27期】贏圖書《阿里雲天池大賽賽題解析—機器學習篇》和定製周邊阿里機器學習
- 牛客競賽,GDDU第十屆文遠知行杯新生程式設計競賽,摸魚記(BDEIKL題解,補G,ACFHJ)程式設計
- 美中印領先全球機器人競賽 呈鼎足之勢機器人
- 17歲中專女生,闖進全球數學競賽12強
- Spark學習——排序ShuffleSpark排序
- 幾期『三個白帽』小競賽的writeup
- 遙遙領先!網易互娛 AI Lab 蟬聯 2023 IEEE CoG 足球AI競賽冠軍!AI
- 傳承電競精神重燃電競戰火,ECL電子競技冠軍聯賽在成都正式啟動
- 2018的全球超算500強 美國Summit重奪算力冠軍MIT
- 做計算機學科的國際領跑者 ——清華大學11次獲國際性大學生超算競賽冠軍的背後計算機
- Spark面試題(四)Spark面試題
- PAKDD 2019 AutoML3+競賽結果公佈,解讀冠軍團隊解決方案TOML
- xView2 比賽冠軍程式碼解讀View
- 快手聯手清華舉辦大資料挑戰賽 全球 1392 支隊伍決出冠軍大資料
- 榮耀狂歡節在全球13個電商平臺喜得銷售冠軍!
- Spark 1.5.0 遠端除錯Spark除錯
- 四、歸併排序 && 快速排序排序
- Spark 二次排序實現Spark排序