首批+唯一!阿里雲實時計算 Flink 版通過信通院大資料產品穩定性測試

ApacheFlink發表於2022-01-27

概要

2021年12月13日,中國資訊通訊研究院新一輪“大資料產品能力評測”結果公佈,阿里雲實時計算 Flink 版通過分散式流處理平臺穩定性專項測評,阿里雲成為「首批+唯一」通過該穩定性專項評測的廠商。此前,實時計算 Flink 版分別在2019年5月和2021年6月通過中國信通院“分散式流處理平臺-基礎能力測評”和“分散式流處理平臺-效能專項測評”,因此阿里雲實時計算 Flink 版成為國內唯一全面通過中國信通院基礎能力、效能、穩定性三款評測的分散式流處理平臺產品。

img

評測詳情

近年來,“中國信通院大資料產品能力評測”作為國內首個大資料產品權威評測體系,已成為廠商產品研發和使用者採購選型的風向標。本次阿里雲實時計算 Flink 版在穩定性專項效能測評中,通過了CPU高負載、硬碟高負載、記憶體高負載、讀寫高負載、網路丟包、單節點故障、隨機高強度綜合測試等7個子專案評測。其中 CPU高負載、硬碟高負載、記憶體高負載、讀寫高負載、網路丟包 這五種情況下作業自動適應環境,從而平穩執行;單節點故障、隨機混合測試中 作業均從故障中完成自動恢復,並持續執行直到計算任務完成。面對小規模硬體故障和複雜網路環境,實時計算Flink版表現出極高的架構健壯性,持續向使用者提供穩定的企業級服務。

技術優勢

實時計算 Flink 版產品在阿里巴巴集團各類大促環境中早已有廣泛應用,在天貓雙十一購物節和618等重大電商活動中都表現出卓越的能力。今年的雙十一購物節期間,Flink實時計算的算力總TPS達到驚人的69億條每秒,GMV 大屏延遲在 3 秒以內。2021年實時計算 Flink 版成為中國唯一進入Forrester強勁表現者象限的產品,重新整理了國內公司在資料流計算領域的最好成績。

img

阿里雲流計算產品進入 Forrester 資料流分析報告

產品優勢

作為國內最早佈局實時計算技術方向的企業之一,早在 2016 年阿里巴巴就已經開始大規模上線使用實時計算產品。本次通過測試的阿里雲實時計算 Flink 版,是阿里雲Flink企業級開發運維平臺和增強型核心引擎所構成的雲上產品。實時計算 Flink 版產品相對於開源 Apache Flink 擁有更具優勢的功能和穩定性,開箱即用,同時企業級增強功能整合阿里雲增強的 Iceberg、Hudi 等資料湖格式能力,方便使用者構建大規模資料湖。

實時計算 Flink 版還擁有豐富的作業執行監控與診斷調優能力,可以為使用者提供狀態相容性檢查和狀態資料遷移,以最大可能的複用原來的狀態資料,幫助使用者快速升級 SQL作業。同時支援運算元級別的精細化資源配置(CPU/Mem),大規模作業資源利用率提高 100%+。

在產品形態層面,實時計算 Flink 版向使用者提供靈活的產品形態以供選擇。不僅支援適合使用者開箱即用的全託管形態,幫助使用者快速落地流計算的開發運維,同時也支援使用者自主可控、易於整合的半托管形態(基於 Yarn 資源分配排程),包年包月模式與使用者自建成本一致,幫助使用者實現一站式實時資料流處理的基礎架構(包含 Kafka 和 企業版Flink引擎VVR)。對於資源相對變動較小的情況,可以選擇包年包月。對於資源不好明確評估或有業務高低峰變化的,可以選擇按量付費 + Autopilot 模式實現 serverless 的“用多少買多少”。

img

實時計算 Flink 版產品在阿里巴巴的發展歷程

客戶案例

目前阿里雲實時計算 Flink 版已經沉澱了網際網路娛樂,線上交易,金融,線上教育等近百個行業案例場景,多行業全方位實踐場景,為業務穩定發展保駕護航。

img

實時計算Flink版部分客戶案例

相關文章