首次探祕!雙11奇蹟背後的大資料力量,十年發展五部曲

阿里技術_發表於2018-11-15

640?wx_fmt=jpeg

第十個雙11已圓滿結束,但是技術的探索永不止步。阿里技術推出《十年牧碼記》系列,邀請參與歷年雙11備戰的核心技術大牛,一起回顧阿里技術的變遷。


每年雙11,不僅僅是剁手族的狂歡節,更是資料人的“大考”,是檢驗計算平臺各技術團隊技術水平與技術創新實踐的舞臺。今天,阿里資深運維專家大舞為大家詳細解讀阿里巴巴大資料十年的五大曆程。


640?wx_fmt=jpeg

阿里資深運維專家大舞


從2009年第1個雙11交易額0.5億 - 9.36億 - 33.6億 - 191億 - 362億 - 571億 - 912億 - 1207億 - 1682億 - 2135億……令人震撼的數字一次次重新整理歷史。十年來,令我們最驕傲的不在於數字,而是我們整個大資料計算平臺成為全世界最牛的大資料併發處理能力的平臺,同時我們整個大資料計算平臺也在一次次的積累和歷練中完成技術的沉澱及突破,重新整理著紀錄的極限挑戰。


640?wx_fmt=png


作為承載著集團、螞蟻、菜鳥、高德、優酷土豆等關聯公司95%以上的大資料儲存、計算服務以及支撐媒體大屏實時流計算的服務,大流量、高併發以及全鏈路大資料處理能力成為歷年雙11銷售奇蹟背後的支撐力量,在2017年雙11中:


  • Blink實時資料處理技術,包括日誌資料和交易資料的實時採集、分發、計算,最終在媒體直播大屏上實時渲染和展示,整個鏈路的穩定性保障壓力是巨大的。在2017年雙11,阿里實時大資料系統Blink完成了三項世界級的挑戰:1.低延時,從零點第一筆交易發生,到媒體大屏上顯示出統計結果,整個處理過程延時僅幾秒;2.高效能、高吞吐,最高處理速度達到4.72億條/秒;3.高可用,全天服務不降級、無故障,扛下了高峰期所有的流量。


  • 超大規模的離線資料處理方面,雙11期間,MaxCompute扛下了單天資料處理總量300+PB,以及百萬級的排程作業,這對於作業排程、計算效能、系統穩定性等都是極大的考驗。


而阿里集團形成的大規模、海量資料、高併發的離線及實時資料處理能力是如何一步步發展到如今,下文將首次探祕大資料離線及實時業務技術發展的五大曆程。


階段一:盤古開天,大資料應用隨業務而生


在阿里巴巴發展之初,2009年之前使用基本都是IOE的系統,淘寶電商系的系統屬於垂直線,每個BU都有自己從上到下,從業務到平臺的產品。絕大部分使用的是IBM小型機,資料庫基本都是Oracle,當時阿里巴巴擁有亞洲最大的Oracle叢集,戲稱為Oracle之巔。


當時的計算規模已經達到百TB級別,隨著淘寶使用者量每年以百分之幾百甚至上千的速率增長以及淘寶運算量的需求發展 ,阿里巴巴使用的Greenplum叢集也逐步遇到瓶頸,此時的資料量已經大概比Oracle擴充套件了10倍。而Greenplum在百臺機器之後就很難再擴充套件上去,但百臺叢集的規模對於阿里這樣蓬勃發展的企業而言是遠遠不夠的。


2009年9月阿里雲正式成立啟動,願景是要做一套大資料分散式計算/儲存的雲平臺,自主研發飛天體系,包括:底層的分散式儲存系統——盤古、分散式排程系統——伏羲以及其他——系列元件等。當時寫下飛天的第一行程式碼同時標誌著雲梯2時代的到來。但當時的平臺產品成熟度還不足以承載阿里集團的大資料業務,這個時候為了保證阿里大資料業務的正常發展,部分同學使用當時比較成熟的開源大資料軟體Hadoop搭建了內部雲梯1平臺,來支撐集團大資料業務正常發展。


640?wx_fmt=png


2009 - 2010年期間雲梯1、雲梯2,兩套系統,雲梯1承載初期集團淘寶的資料業務,雲梯2助力阿里金融的第一個產品“牧羊犬”應用上線,同時承擔部分計算任務以緩解現有系統不足的壓力,一起支撐著整個集團的資料業務。


階段二:第一代ODPS計算引擎投入生產執行


隨著集團業務的迅速發展,2010年雲梯1叢集達到1000臺,天網也完成淘寶內部大一統支援hadoop,統一排程時代來臨。2010年4月,伴隨阿里金融的貸款業務上線,第一代ODPS作為核心的計算引擎正式投入生產執行。而上線後的穩定性保障成為研發,業務以及SRE同學的夢魘,每日8:00 - 9:00準時產出的商戶對帳單等基線(一般在0點開始計算前一天業務資料)在當時要跑30個小時以上,大家基本輪流通宵值班,盯守的是已經跑了24小時前天的資料......這是一個研發/運維/業務都比較痛苦的時期。同時雲梯2在這個過程中也逐步成熟。


640?wx_fmt=jpeg


轉眼間到了2011年,集團主要業務全部登上雲梯1,阿里構建了國內領先的hadoop叢集,在雲端(dataworks前身)同年釋出,統一大資料平臺逐步成型。兩座雲梯同時發展,開始進行博弈,規則很明確:要想成功肩負起阿里巴巴的底層計算系統,就必須有能力獨自排程5000臺伺服器,“贏者通吃”,繼承家業。大資料SRE同學也兵分二路,2個團隊以保姆式貼身服務於業務,保障雲梯1和雲梯2的業務穩定。


同年大資料實時計算髮展也隨業務而生。在集團內很多業務團隊已經開始意識到客戶對流計算的強烈需求。在業務的驅動下,資料魔方研發了第一個版本的galaxy,b2b搜尋團隊也研發了一個叫iprocess的流計算系統。但在當時,兩個產品的同學對流計算的理解都不深入,所以,各自的系統都有很多的問題,導致無法繼續發展下去,在12年7月份,資料平臺事業部(CDO)成立,兩個團隊走到了一起組建了實時計算團隊。


階段三:基於雲梯2飛天打造新一代阿里資料平臺


在2012年 - 2015年,新一代阿里資料平臺開始打造,主要有三個重要節點:冰火鳥專案、5k之戰、登月計劃。


冰火鳥:資料業務層統一(2012)


在2012年,集團正式成立資料平臺部(CDO),致力於實現一套運算/分享離線計算和實時計算資料平臺,自研飛天體系的雲梯2正式更名為“ODPS”。這一年還啟動了一項集團層面重要戰略專案:冰火鳥。


“冰火鳥“這個專案最大的價值是我們從業務上沉澱出了一個資料平臺,我們把資料平臺跟雲端計算的底層接上了,所以有了冰火鳥這樣的技術上的突破,整個集團去做資料平臺業務才有了一個立足點,我們才能給進一步往下帶動飛天,帶動雲端計算的整個基礎,繼續往前走,也同時能給往上支援好整個淘寶、阿里的資料化運營,最終沉澱出資料公司未來的平臺化的業務,所以這個是承上啟下的一個非常非常關鍵的過程。

——引自曾鳴


冰火鳥專案作為第一發子彈打響了從JM驅動升級為資料驅動的業務,構建集團資料化運營、商業創新的資料交換平臺,支援任意資料擁有者之間進行商業資料交換,為資料應用開發者提供一站式的開發、測試、運維、執行環境,快速開發資料產品。


這時第一個環節就碰到了問題,資料同步,業務系統有各種各樣的資料來源,ORACLE、MYSQL、日誌系統、爬蟲資料,當時有多種同步的方式,有通過SHELL指令碼的、也有通過Jdbcdump的、還有別的方式,當時負責資料同步的同學,最痛苦的事情莫過於,業務系統進行資料庫變更時,各種同步任務需要不斷的調整,每次調整幾百個任務極其容易出錯,當時為了解決資料同步的問題,資料工具團隊開始研發專門的同步工具DATAX,也就是現在同步中心的前身,同時還研發了針對DB的實時同步工具Dbsync和針對日誌的TT,現在統一叫TT。


天網排程系統也不斷進行完善,開始支援小時排程、甚至分鐘排程,並且整合了自動告警等一系統功能,升級為在雲端,相關的DQC系統、資料地圖、血緣分析等周邊系統在這個時期不斷推出,資料團隊也在不斷壯大。


2012.10冰火鳥一期上線,實現了資料交換平臺的雛形,統一了大規模離線計算和實時計算平臺,成功將資料魔方、淘寶指數、TCIF遷移到平臺上。2013.8,冰火鳥二期上線,阿里金融資料平臺整體遷入到DXP。2012年初雲梯1、雲梯2運維團隊合併,集團首支大資料SRE team成立,開始藉助於指令碼工具負責大資料叢集、釋出、業務運維,全面保障護航大資料業務穩定。


5K之戰:突破叢集儲存的瓶頸(2013)


“5K專案是影響公司資料業務是否可以順利開展的關鍵節點之一。”

——引自王堅博士


2012年底,以開源軟體為基礎的“雲梯1”實現了4000臺叢集排程,而阿里雲純自研的“雲梯2”還在1500臺集團數量上徘徊。


轉眼間來到2013年3.28,一封來自集團資料平臺Hadoop 研發負責人云錚的郵件直達高層:


“按照資料增量與未來業務增長的情況,雲梯1和雲梯2兩套系統的儲存和計算能力將在6.21到達瓶頸。”


這一天終於來了,要想維持正常的業務,必須在不到三個月的時間內解決問題,以Hadoop為基礎的雲梯1和以飛天為基礎的“雲梯2”一直並行,這個時候己經緊迫到不允許團隊分流,必須放棄掉一個。王堅博士的堅守將飛天推上5K。正明攜多隆,褚霸、長仁團隊加入5K專案,與阿里雲飛天團隊、資料平臺團隊、技術保障團隊一起挑戰5K巔峰。但與此同時面臨的還有個問題雲梯2所有機房容量限制,導致無法擴容,必須在4個月內完成業務遷移和叢集擴容。


  • 48天,從1500臺跨入5000臺。

  • 48天,8個極端壓力測試場景,併發400K使用者作業。

  • 48天,10倍於1500臺線上生產環境壓力測試。

  • 100TB 排序30分鐘完成,兩倍於2013年7月1日Yahoo在Sort Benchmark排序測試Daytona Gray Sort所創造的世界紀錄——100TB排序完成時間約71分鐘。

  • 90天,完成叢集業務大騰挪,穩定性可運維性增強,擁有了跨叢集排程、計算、資料複製能力,支援無限擴充套件。


5K專案作為冰火鳥二期的收官之作,在飛天團隊、技術保障部、CDO團隊,齊心協力突破叢集的瓶頸,成功實現超越5000跨叢集計算,儲存計算規模擴大(2大生產叢集:2500臺+5000臺),專案巨集大不僅體現在囊括飛天、資料平臺、技術保障、從多資料平臺使用者、核心系統團隊,上萬臺伺服器,還體現在飛天5000臺測試、10倍天網跨叢集、跨飛天版本回歸、動態資料比對、資料複製,多項關鍵技術得到突破。5K的結束標誌著阿里內部的資料平臺的奠基基本完成。


叢集規模突破5000臺,對於大資料SRE同學來說面臨二個挑戰:


  • 只有48天要從1500臺跨入5000臺,之前的老大禹工具一次安裝只能支援1000來臺規模,時間週期長4 - 5個小時,整體專案時間壓力大。

  • 國內第一個大規模叢集運維挑戰,架構及技術方案都需要調整。


大資料SRE團隊加速大禹II研發,快速支撐5K叢集部署,新一代工具的上線使整個叢集冷部署停服時長控制在20 - 30min內,在最短的時間支撐5K的快速部署及上線。同時,應對大規模叢集運維能力升級,團隊快速調整運維策略深扎於業務,建立以應用服務為核心的運維管理標準體系,完善系統化的基礎環境管理、精細化監控、線上巡檢,主導推進業務運維架構演進及優化。


5K收官時,在當時技術保障負責人(振飛)的全面統籌下,規劃阿里史上最大規模的整機房斷電演練。在整個流程中,考證了平臺的健壯性以及運維保障部的統籌能力以及縝密的風險應對能力。各條線的協同能力、應急處理能力,平臺層的災難恢復能力都通過大考,最終達到斷電服務總數5000臺,3小時29分基本全部恢復,成功率達99.95%。同年2013年雙十一購物狂歡節第一分鐘成交破億,一千多萬人同時湧入天貓。這些資料在杭州淘寶城內的資料大屏準實時播報。大屏上跳動的每個數字,來自於阿里集團內部60多個系統間的緊密合作,當你在以最快速度秒殺到雙十一熱賣商品的同時,這些系統已經完成了無數輪的資料採集、傳輸、加工、計算以及反饋到頁面的工作。這也是阿里實時流式計算技術的首次亮相。


640?wx_fmt=jpeg


登月計劃:打造集團統一大資料平臺(2014)


2013年隨著業務規模增長迅速,資料平臺叢集規模已經非常龐大,單叢集規模達到5000臺,在5000臺伺服器規模的計算叢集上,上百P的資料量、上萬個複雜的計算任務,300多萬行程式碼。基於之上執行的各種業務錯綜龐雜,新一代大資料平臺的打造將給我們帶來巨大的挑戰。對於架構設計、網路、排程和儲存效能、容錯性、可運維性、穩定性、資料正確性都帶來前所未有的挑戰,【統一、安全、可管理、能開放】是新一代資料平臺特性的高度概括,是邁進DT時代以及為集團資料業務的長遠發展奠定堅實基礎。


2013年11月由三豐提出:


“從服務好業務的角度出發,建設一個統一的底層大資料平臺,為公司的長遠發展做好技術準備。”


640?wx_fmt=jpeg


為此,集團制定了“登月”計劃,會將阿里所有的資料整合到雲梯2平臺,形成統一的資料資源池,減少複製的儲存及工作代價。老城區(雲梯1)必須往新城區(雲梯2)遷移,不僅是簡單的物理遷移,而是跟著業務一起遷移,是業務的升級再造,實現資料通用。2014年1月9日 - 2015年6月30日曆時1年半的完成雲梯1/雲梯2合併。同年雲梯1整體叢集正式下線,意味著阿里大資料平臺正式從開源體系轉變到自主研發時代。


640?wx_fmt=jpeg

最後一臺雲梯1 Hadoop叢集的伺服器,為了忘卻的紀念


隨著“雲梯一”的正式停止執行,打造全集團統一的大資料平臺宣告完成,同時歷時18個月的【登月計劃】正式落下了帷幕,阿里集團&小微集團離線計算業務全部執行於ODPS上,叢集規模突破10+叢集,伺服器總量接近上10萬,總儲存能力達到EB級別。14年儲存資源優化節約近200PB,真正具備超大規模海量資料處理能力。


ODPS的升級再造,具備了阿里新一代大資料平臺能力的體現:


  • 安全性:不僅僅是ODPS本身產品的安全特性,登月過程中還啟動並執行了資料分級打標、資料脫敏、ODPS授權流程、虛擬域接入在雲端查詢版……

  • 可管理:資料管理平臺不斷優化,統一任務排程中心、統一資料同步工具、統一資料地圖管理、統一生命週期管理……

  • 能開放:開放資料處理服務(ODPS)作為雲產品家族的一部分正式開放給全社會使用。


2014雙11在大資料SRE眼中有點“特別”,登月計劃有條不紊的推進中,但對於運維同學來說堪比開著飛機換引擎般刺激:同時要保障雲梯一&雲梯二數萬臺伺服器叢集的穩定執行,面對著不同維護技能之間的切換。


ODPS第一次走出杭州,在內蒙、杭州雙機房跨地域、多叢集支撐雙11海量交易。一次次在應急方案中調整策略,將各式各樣的自動化指令碼統一收斂到工具中,teslaV1.0上線孵化工具運維能力來實現複用和能力交接,打磨運維操作標準化減少人為故障發生,大規模叢集及複雜的登月過程中保障雙11大促海量資料業務穩定性。首次支撐異地跨機房配合完成雙11任務,整體基線按時產出,資源充足,重要業務天貓、資料技術產品部、安全0故障。


階段四:阿里大資料計算能力,走出集團服務全球


2015.1月資料平臺(CDO)5K+專案上線,標誌著大資料計算能力走出集團,支援公共雲使用者(御膳房)、ISV、政企使用者,第一次向所有使用者分享阿里大資料能力,這一年集團資料平臺(CDO)迴歸到阿里雲飛天一部,重點發展大資料計算產品服務雲業務。


2015年6.30登月完成,雲梯1正式下線開啟了新一代大資料平臺的時代也同時也迎來了新平臺首次支撐雙11的大考。


  • 正式邁向全球化,全渠道新商業生態的首次整體呈現,數字經濟和線下商業全面融合,全渠道打通使用者管理、商品管理和服務、物流等,海量資料處理能力的大資料平臺。

  • 大資料平臺首次向專有云輸出,開啟混合雲模式為政企提供一站式的大資料開發能力。

  • 流計算公共雲對外公測,成為中國公共雲環境下第一家提供流式資料處理平臺的產品。

  • StreamComputeV1.0流計算引擎集團內釋出,支援集團雙11任務遷移到新平臺。

  • 阿里雲數加平臺正式對外發布,大資料作為雲家族正式上線公共雲對外提供輸出能力。同年ODPS更名為“MaxCompute”,MaxCompute 2.0 的誕生實現高效能、新功能、富生態,單叢集規模突破萬臺規模。

  • Dataworks完成雙中心,單元化改造,2017.5-12月 阿里雲數加業務從國內、海外各1個Region,快速擴充至國內、海外11個Region,覆蓋華東、華南、華北,新加坡、香港、澳大利亞、德國、馬來西亞、美西、美東。完成全球化擴充幾個重要市場的部署和上線。把強大的計算能力輸出到全球各地,打造中國大資料計算能力的生態體系。


2015年 - 2017年大資料平臺不光承載著集團95%的計算及儲存的離線大資料平臺,還同時支撐著集團雙11晚會媒體直播大屏現場交易大屏(首屏5秒內GMV展現)的實時計算平臺,整個雙11期間計算平臺經受住了大規模叢集、海量資料、高併發量的大資料計算要求的大考,MaxCompute單日資料處理量從2015年100PB,2016年180PB,處理能力提高80%,商戶帳單等平臺基線無破線,系統穩定無故障,延遲優於預期。


實時計算日常峰值處理的資料量可達到1億每秒,在2017年雙11更是達到了驚人的4.7億每秒。支撐雙11晚會媒體直播大屏每秒上億條實時日誌,延時3S的流式資料處理能力,除了雙十一媒體大屏,流計算還支撐著阿里巴巴集團內外眾多實時業務,包括資料運營、廣告營銷、搜尋個性化、智慧客服、物流排程、支付寶、聚划算等業務。流計算曆經雙11大考,建設主備雙鏈路容災、實時全鏈路監控、Tesla運維診斷工具實時全鏈路保障方案。真正具備“一站式”的的實時計算能力,提供了“一站式”的解決方案。

 

640?wx_fmt=gif

首屏5秒內GMV實時展現


保障新一代的大資料平臺及流計算業務如絲般平滑、業務穩定性保障成為大資料SRE的使命,大資料運維能力向平臺化和服務化發展,打造一站式自動化運維繫統,TeslaV3.0全新技術架構升級實現運維能力服務化(API),統一對接整合集團公共能力,並有力支撐各產品業務平滑高效接入,低成本快速構建業務運維分站實現業務中心、叢集管理、資源管理、運維中心、監控告警、故障診斷、智慧預測及運營分析等功能。雙11穩定性實現資源容量規劃 - 業務預案 - 全鏈路壓測 - 系統優化 - 應急預案 - 值班保障全流程自動化落地,實時鏈路備戰平臺自動化和使用者自助化執行上百輪壓測,流計算調優人力成本下降50%以上。


階段五:大資料技術創新的全新時代


2017年6月,計算平臺事業部成立,隨著專有云百套大資料平臺輸出、突破萬臺規模,公共營收破億,大資料平臺成立之初的願景經過一步步努力逐步實現,靖人統領進入全新技術創新時代:


640?wx_fmt=png


MaxCompute適配TPC benchmark,將BigBench測試規模擴充到100TB,於10月完成全球首次基於公共雲的BigBench大資料基準測試。不僅在資料規模上超越已有成績10倍,在效能上更有近5倍提升,達到7830QPM,並且通過核算,我們的價效比較當前已有的最高價效比提升了近一倍。 在12月北京雲棲大會上再次挑戰極限,全球首次現場直播基於公共雲的BigBench評測,歷時二十餘小時,超越10月結果,以8200QPM向世界展現“中國計算,世界能力”!


MaxComputeLightning 以大資料助力新零售:首次賦能上千家商家側閉環聯動, 助力決策層、運營、產品、演算法、以及商家等多角色決策過程。技術上,將實時計算與離線計算結合,將離線和實時資料結合下的查詢響應縮短到亞秒級,並支援互動式查詢;Lightning平臺將作為一個DaaS 平臺長期服務阿里內部交易類查詢需求,讓互動式業務開發更便捷;在Lightning上的成功,也驗證了互動式查詢的方案,為MaxCompute(ODPS)明確了下一步技術發展方向。


MaxCompute架構升級, 在NewSQL+富結構化+聯合計算平臺+AliORC 多個方向上發力,繼續構建高可用、高效能、高自適性的一站式的大資料解決方案開放平臺, 推進了MaxCompute(ODPS)生態的繁榮。


DataWorks全新啟航,構建集資料研發、資料整合、排程管理、資產管理、實時分析、質量監控等功能於一身的,支援大規模協同視覺化開發和精細化管理運維的WEB版大資料一站式平臺。正式構建航母戰鬥群,讓每個小二都具有調動航母的能力。


儲存計算分離架構和混部技術肩負著資源複用與技術探索的重要使命,解決機型採購與預算、大促成本、提高排程效率三大問題,核心技術達到世界領先水平,成功支撐雙11電商混部線上流量19.5%,螞蟻混部承擔20%交易支付流量。


DataHub是基於阿里自研的飛天平臺,具有高可用,低延遲,高可擴充套件,高吞吐的特點的PB 級的資料匯流排,負責從全球數十個機房實時地收集應用日誌、資料庫變更以及訊息事件等增量資料,並投遞給下游互動式查詢、實時推薦、廣告計費、流計算和離線計算等場景。在2017年完成架構升級:TT無縫遷移至DataHub,首次做到實時資料雙機房強一致容災;整機房故障分鐘級恢復,資料無縫銜接。


2017年5月,為了集中優勢兵力大力發展實時計算,Galaxy、JStorm和Search dump三支實時計算資源整合,宣告阿里實時計算邁入新的里程碑。由於實時任務是7*24不間斷執行,這次引擎的統一,時間視窗有限,操作複雜,對技術和業務都是極大的挑戰,但半年之後80%的任務就遷移到Blink並以每秒4.72億條的實時日誌處理,3S延時支撐MPV媒體大屏的資料秒級呈現通過雙11大考,整體完整的潤物細無聲。


這些創新技術使2017年的雙11接受到不一樣的挑戰:


  • 電商螞蟻混部:離線上、在離線、儲存計算分離。

  • 實時計算遷移:galaxy遷移blink。

  • 資料通道遷移:TT遷移Datahub且具備同城容災能力。


而最終技術小二們拿出了漂亮的成績單:


  • MaxCompute單日資料處理量再創新高300+PB,集團基線比既定目標提前1小時產出,計算時間縮短15%。連續三年無基線破線故障,穩定提前產出。

  • Lightning 閃電計算平臺,圖計算反欺詐雙11實戰大放異彩。

  • 實時計算blink則以每秒4.72億條的實時日誌處理,3S延時支撐GMV媒體大屏的資料秒級呈現。

  • 儲存計算分離架構和混部技術成功支撐雙部分11電商混部以及交易支付流量。

  • 資料通道TT遷移datahub,做到實時資料雙機房強一致容災;整機房故障分鐘級恢復,資料無縫銜接,進一步提高鏈路效能。

  • 打造tesla備戰平臺,實現全鏈路的後設資料管控、一站式的備戰體驗(保障申請、容量對齊、壓測、降級等)以及資料全鏈路的監控及分析。


2018年


從“雙11技術”到“技術雙11,阿里第10個雙11,大資料平臺能力持續技術創新技術全面整合順勢演進:


  • 更大規模離線上混部技術支撐雙十一交易;

  • 一路向北的機房遷移張北混部叢集;

  • 上十萬臺OS自動化升級到7U。


大資料SRE肩負著保障在高頻,高額,高密度的交易場景下,有效保證線上業務的高可用、穩定性,提升效率,降低成本的使命,構建運維資料的資料倉儲並開始探索智慧化運維領域,以資料化的方式實現系統故障自愈閉環,統籌優化、在2018年離線及實時計算運維在全面提升變更自動化、使用者自助全自動變更的同時,實現全鏈路智慧監控、全自動免人干預壓測演練、一路向北資料智慧一鍵遷移及OS7U全自動升級,同時打造離線/實時業務穩定性資料監控大盤,系統直觀清晰可見系統及業務執行狀態。


小結:構建完整的大資料平臺成為業務強有力支撐


在無數人的共同努力下,阿里擁有了經過阿里巴巴自身業務場景高強度驗證的,具有真正企業級服務能力的大資料智慧計算雲平臺。我們的願景是同樣的技術通過雲平臺普惠到全球,服務於各行業的企業使用者。


伴隨著批處理、流計算、離線計算、機器學習一系列的計算能力進化,聯合計算,智慧化和企業級服務能力,構建完整的大資料平臺己成為了阿里巴巴經濟體以及阿里雲背後計算力的強有力支撐。從數字化阿里巴巴,到數字化企業,再到數字化城市,我們將不斷以技術驅動平臺和產品化發展,讓企業和社會能夠擁有充沛的計算能力,持續快速進化,驅動數字中國的發展。


640?wx_fmt=gif

你可能還喜歡

點選下方圖片即可閱讀


640?wx_fmt=jpeg

雙11背後的全球數字經濟“作業系統”


640?wx_fmt=jpeg

首次公開!2018雙11技術數字全記錄


640?wx_fmt=jpeg

雙11大隊長霜波:

從手忙腳亂到胸有成竹,我們如何走過這十年?


640?wx_fmt=jpeg

關注「阿里技術」

把握前沿技術脈搏

相關文章