不止於流，615杭州流計算峰會圓滿舉行

若有-若無發表於2018-06-22
      6月15日，阿里雲流計算杭州峰會在阿里巴巴西溪園區曼陀山莊隆重舉行，原本限定100人的規模，現場座無虛席。本次阿里雲流計算杭州峰會，聚焦實時大資料處理，邀請了袋鼠雲、鷗新軟體和阿里集團技術、產品深入分享基於阿里雲進行大資料處理的解決方案、最佳實踐、開發實戰等內容，並側重交流阿里雲流計算產品以及業務場景，解決遇到的計算難題。


1529573234774-07056e26-4fa3-4ab9-81d0-3d


     流計算的產生即來源於對於上述資料加工時效性的嚴苛需求: 資料的業務價值隨著時間的流失而迅速降低，因此在資料發生後必須儘快對其進行計算和處理。而傳統的大資料處理模式對於資料加工均遵循傳統日清日畢模式，即以小時甚至以天為計算週期對當前資料進行累計並處理，顯然這類處理方式無法滿足資料實時計算的需求。

    在諸如實時大資料分析、風控預警、實時預測、金融交易等諸多業務場景領域，批量(或者說離線)處理對於上述對於資料處理時延要求苛刻的應用領域而言是完全無法勝任其業務需求的。而流計算作為一類針對流資料的實時計算模型，可有效地縮短全鏈路資料流時延、實時化計算邏輯、平攤計算成本，最終有效滿足實時處理大資料的業務需求。


1529572518731-84110b40-caaf-4c04-af75-7f



    阿里雲流計算脫胎於阿里集團內部雙十一實時大屏業務，經歷了全球歷次雙十一的技術大考——‘1.8億/秒的資料洪峰’，‘全鏈路延遲三秒，流計算延遲一秒以內’。阿里雲流計算產品已具有國際領先的產品優勢，在吞吐/時延、SQL支援、開發體驗、視窗支援、亂序支援、上下游對接等多方面都優於其他雲廠商的產品。通過它，您可以快速搭建具有億級QPS處理能力的流式大資料系統。


1529572493661-e9a87d1a-0165-47a7-9179-87


陳守元（巴真）
阿里巴巴
產品專家

   相對於批資料來說，流計算其實還是算是一個比較新穎的概念。但也同樣擁有著相當廣泛的運用場景。隨著網際網路+、物聯網、大資料時代的逐漸到來，資料在推動社會進步和變革的步伐越來越快。流計算也有了越來越多的機會幫著傳統企業進行轉型和升級。可能很多使用者目前還沒有意識到流計算的內容、作用。我們也是希望通過這種一系列的活動來告訴大家，什麼是流計算，流計算能為大家做什麼，以及在具體業務中怎麼提升企業效率和經濟效益。


讓業務實時，讓資料發電

1529572700133-b3b049c9-ed2a-4bdb-9b09-2e



郭華（付空）
阿里巴巴
流計算產品負責人

    付空主要從產品層面，介紹了阿里流計算的工作內容、與大資料實時化的解決方案，阿里對於流計算的思考，以及典型案例。此前，流計算一般宣傳使用者實時報表，演示大屏的場景較多。而現在實時推薦，實時風控等場景也在逐漸成為流計算的實踐案例。


在WIFI探針中如何巧妙運用流計算？

1529572777998-371cd7c1-9868-4233-b7bf-a9


蔡新峰
鷗新軟體
技術總監、合夥人

    上海鷗新與阿里雲流計算合作較早，在wifi探針的使用場景中，對流計算更有創新性的運用。蔡新峰主介紹了探針原理、探針應用場景，以及鷗新在客流分析系統上使用阿里雲流計算帶來的效益。


Blink SQL技術及原理揭祕

1529572845728-d0c786f2-eee5-4c56-8f11-e8


孫金城（金竹）
阿里巴巴
技術專家

     隨著近些年大資料技術的不斷髮展和成熟，無論在傳統行業還是網際網路公司，批處理計算都無法再滿足對資料與日俱增的實時性的要求。流計算已經從Nice to Have變成了Must to Have，流處理的場景越來越多，需求越來越強烈。金竹的演講重介紹Flink SQL關鍵核心技術，並對個別運算元進行底層實現和原理進行介紹。


袋鼠雲如何解決茅臺銷售過程中的‘黃牛’問題？

1529572946466-5f1b1ace-b118-4bc0-af27-d5


誾賽華（勒蔑）
袋鼠雲
技術架構師

     基於茅臺電商的業務痛點和實時業務監控需求，結合阿里雲流計算平臺，袋鼠雲在如何新零售行業，提升企業運營和決策效率的問題上也有很多自己的思考。


Blink之資料湖

1529573018591-19c0fd3a-ccfa-4f07-858e-50


張榮（榮蓉）
阿里巴巴
高階產品經理
    榮蓉重點介紹流計算推出的新功能：Data Lake場景下的資料清洗，資料傳輸以及資料分析等能力。結合IoT行業具體場景，展示Blink在資料湖場景下的使用方式及優勢。


1529573075520-37daff2f-d2b3-41c5-afb9-58


蔣曉偉(量仔)
阿里巴巴
研究員

    此外，阿里巴巴實時計算團隊負責人量仔在現場接受了浙江電臺的專訪。

   量仔也對流計算團隊和業務作了總結和介紹：我們整個部門是阿里集團計算平臺事業部，負責阿里集團整個底層資料計算平臺的構建，目前阿里集團內部所有的大資料業務的計算都執行在由我們構建的基礎平臺之上。同時，我們對外通過阿里雲平臺，向全社會開放我們的計算能力，希望人人都能夠享受到阿里巴巴一流的計算能力。我這裡團隊主要基於Apache Flink構建阿里集團的實時計算平臺，我們希望通過Flink領先的技術，能夠推動阿里集團以及外面各行各業的大資料全面進入實時計算。


    阿里雲流計算可以提供BlinkSQL協助使用者簡單輕鬆完成流式計算邏輯的處理。同時，受限於SQL程式碼功能有限無法滿足某些特定場景的業務需求，阿里雲流計算提供全功能的UDF函式，幫助使用者完成業務定製化的資料處理邏輯。在流資料分析領域使用者直接使用BlinkSQL+UDF即可完成大部分流式資料分析處理邏輯，目前的流計算更擅長於做流式資料分析、統計、處理。主要解決了使用者的三大痛點：
   1.流式資料的及時性；
   2.一站式的流式資料處理；
   3.SQL化的流式分析


   同時，實現實時的資料監控／分析。比如BI人員可以看到自己網站實時的訪客資料變化，購買情況，交易額波動等，不需要一段時間後才能做統計和分析。之前150人／月的工作，現在只需3個人／月就可以輕鬆解決，效率提升了50倍。


   阿里雲流計算在4月商業化正式上線，上週推出‘新使用者免費試用一個月’活動，同時起售門檻降至‘2個CU’，對流計算有場景需求的使用者可以立即申請：https://data.aliyun.com/product/sc。




嘉賓演講PPT下載：
阿里巴巴-付空《流計算-讓業務實時，讓資料發電》：https://yq.aliyun.com/download/2815
上海鷗新-蔡新峰《Wi-Fi探針應用分享》：https://yq.aliyun.com/download/2816
阿里巴巴-金竹：《Blink SQL關鍵技術及實現原理》：https://yq.aliyun.com/download/2817
袋鼠雲，勒蔑《流計算，讓新零售起飛》：https://yq.aliyun.com/download/2819
阿里巴巴-榮蓉《Blink_Data_Lake》：https://yq.aliyun.com/download/2820


活動錄播視訊：http://www.itdks.com/eventlist/detail/2287


相關文章