Apache Flink 為什麼能夠成為新一代大資料計算引擎？

大濤學長發表於2019-11-15
Apache大資料
眾所周知，Apache Flink（以下簡稱 Flink）最早誕生於歐洲，2014 年由其創始團隊捐贈給 Apache 基金會。如同其他誕生之初的專案，它新鮮，它開源，它適應了快速轉的世界中更重視的速度與靈活性。
大資料時代對人類的資料駕馭能力提出了新的挑戰，Flink 的誕生為企業使用者獲得更為快速、準確的計算能力提供了前所未有的空間與潛力。作為公認的新一代大資料計算引擎，Flink 究竟以何魅力成為阿里、騰訊、滴滴、美團、位元組跳動、Netflix、Lyft 等國內外知名公司建設流計算平臺的首選？

Apache Flink 為什麼能夠成為新一代大資料計算引擎？

聽聽 Flink 的核心貢獻者們怎麼說！11 月 28-30 日，Flink Forward Asia 2019，Apache Flink 核心貢獻者與業界資深專家帶你全方位解鎖 Flink 的獨特技術魅力。

驚喜環節：ASK ME ANYTHING

提前劇透：大會現場將邀請 Apache Flink 核心貢獻者們設定 Ask Me Anything 驚喜環節，Flink SQL、Runtime、Hive 等任何關於 Flink 的技術問題可以現場提問！
Flink 親爹 Stephan 同學也可能參與現場互動哦，如果你好奇 Flink 的 logo 為什麼是小松鼠就可以當面舉手提問啦～

核心技術專場部分精彩議題概覽

《將 Apache Flink 用作一體化的資料處理平臺》

崔星燦，Apache Flink Committer，York University 博士後
作為新一代的流處理引擎，Apache Flink 已經廣泛應用於很多實時作業場景中。我們發現它在經過近幾個版本的迭代後，已經具備一些成為一體化資料處理平臺的潛力，可同時用來處理動態和靜態的資料，進行分散式和集中式計算，以及支援作業式和互動式任務等。
本次演講，我們旨在向大家展示一些探索性質的嘗試——將 Apache Flink 用作某一通用資料處理流程的一體化後端平臺。具體而言，我們會首先介紹這一通用的資料處理流程，並簡要描述它每個階段的特點。隨後，我們會詳細解釋如何在不觸及 Flink 核心的前提下對其進行“塑造”，以滿足多樣化的資料處理需求。在此期間還會涉及部分對 Flink 執行機制的講解。最後，基於將 Flink 打造成為一個真正的一體化資料處理平臺這一目標，我們將對未來工作進行一些展望。

《Bring Cross DC and Cross Data Source SQL Engine to Apache Flink》

張韶全，騰訊 Senior Engineer
漂移計算 SuperSQL 是騰訊大資料自研的跨資料中心、跨叢集、跨資料來源的高效能大資料 SQL 引擎，滿足對位於不同資料中心/叢集的不同型別資料來源的資料聯邦分析/即時查詢的需求。解決大資料中資料孤島難題，降低資料使用壁壘，提升資料使用效率，最大化資料價值。
在這個演講中，我們會介紹漂移計算 SuperSQL 專案的細節，包括：
  1. 漂移計算的背景和定位
  2. 漂移計算的主要技術挑戰
  3. 漂移計算的整體架構
  4. 漂移計算的技術細節
  5. 漂移計算的效能表現
  6. 未來規劃

《New Flink source API: Make it easy》

秦江傑，Apache Flink PMC，Apache Kafka PMC，阿里巴巴高階技術專家
Flink 已經擁有了豐富的 connector 生態，但是要為 Flink 建立一個生產可用的 connector 依然需要考慮包括多併發協同，一致性語義，執行緒模型和容錯等在內的一系列問題，而其中 Source 相對於 Sink 又更為複雜。為了讓使用者更容易實現高質量的 connector，Flink 社群在 FLIP-27 中引入了一個新的 Flink Source API，旨在幫使用者解決上述一系列複雜問題，讓使用者可以快速編寫一個高質量的 connector。本演講將介紹新的 Flink Source API 的設計思路以及如何利用新的 Source Connector API 快速建立一個生產可用的 Flink source connector。

《深入探索 Flink SQL 流批統一的查詢引擎與最佳實踐》

伍翀，Apache Flink Committer，阿里巴巴技術專家 李勁松，Apache Beam Committer，阿里巴巴技術專家
Flink SQL 作為 Apache Flink 的核心模組，已經收穫了越來越多使用者的關注，並且以其易於使用的 API 和高效能的 SQL 引擎，在生產實踐中扮演者越來越重要的角色。
該演講將以最新發布的 Flink SQL 為切入點，分別從流處理和批處理的角度，重點分享 Flink SQL 中核心功能的技術細節和調優經驗，聽眾將收穫對 Flink SQL 更深入的理解，以及瞭解如何對 Flink SQL 作業進行調優。


大會組委會還為使用 Flink、希望深度學習的開發者們精心準備了培訓課程。屆時，來自阿里巴巴和 Ververica 的 Flink 專家們將帶領開發者開展為期一天半的深度學習。
  • Apache Flink PMC 帶隊，超豪華陣容，阿里巴巴及 Flink 創始團隊資深技術專家擔任培訓講師，為開發者培訓課程制定全面學習體系。
  • 課程能夠滿足不同學習需求，無論是入門還是進階，開發者可根據自身基礎選擇課程內容，實現技術與應用能力上的積累與提升。
課程主要大綱如下：
  • 中階一：Apache Flink 開發人員培訓
本課程是對想要學習構建流應用程式的 Java 和 Scala 開發人員進行的關於 Apache Flink 的實踐介紹。培訓將重點介紹分散式資料流、事件時間和狀態等核心概念。練習將使您有機會了解以上概念在 API 中是如何被體現的，並瞭解如何將這些概念組合用以解決實際問題。
  • 介紹流計算和 Apache Flink
  • DataStream API 的基礎
  • 為 Flink 開發做準備(包括練習)
  • 有狀態的流處理(包括練習)
  • 時間、定時器和 ProcessFunction(包括練習)
  • 連線多個流(包括練習)
  • 測試(包括練習)
說明：不需要 Apache Flink 的相關知識。
  • 中階二：Apache Flink 運維培訓
本課程是針對 Apache Flink 應用程式的部署和操作相關的實踐性介紹。目標受眾包括負責部署 Flink 應用程式和維護 Flink 叢集的開發人員和運維人員。演示將重點介紹 Flink 執行中涉及的核心概念，以及用於部署、升級和監控 Flink 應用程式的主要工具。
  • 介紹流計算和 Apache Flink
  • 資料中心裡的 Flink
  • 分散式架構介紹
  • 容器化部署(包括實際操作)
  • 狀態後端和容錯(包括實際操作)
  • 升級和狀態遷移(包括實際操作)
  • 指標(包括實踐)
  • 容量規劃
說明：不需要對 Apache Flink 有先驗知識。
  • 中階三：SQL 開發人員培訓
Apache Flink 支援 SQL 作為流處理和批處理的統一 API。SQL 可以用於各種各樣的場景，並且相比使用 Flink 的底層 API，SQL 將更容易構建和維護。在本次培訓中，您將學習到如何充分發揮使用 SQL 來編寫 Apache Flink 作業的潛力。我們將研究流式 SQL 的不同案例，包括連線流資料、維表關聯、視窗聚合、維護物化檢視，以及使用 MATCH RECOGNIZE 子句進行模式匹配（這是 SQL 2016 新提出的標準）。
  • 介紹 SQL on Flink
  • 使用 SQL 查詢動態表
  • 連線動態表
  • 模式匹配與 match_recognition
  • 生態系統&寫外部表
說明：不需要 Apache Flink 的先驗知識，但是需要基本的 SQL 知識。
  • 高階：Apache Flink 調優和問題排查
在過去的幾年中，我們與許多 Flink 使用者合作溝通期間瞭解到許多將流計算作業從早期 PoC 階段慢慢過渡到生產過程中最常見的挑戰。在此次培訓中，我們將集中精力介紹這些挑戰，並且幫助大家一起消除它。我們將提供一個有用的故障診斷工具集，並介紹例如監控、水印、序列化、狀態後端等領域的最佳實踐和技巧。在實踐課程的間隙中,參與者將有機會使用新學習到的知識來解決一些異常 Flink 作業表現出來的問題。同時，我們也將歸納那些使作業沒有進展或吞吐量沒有達到預期，或作業延遲的常見原因。
  • 時間和水印
  • 狀態處理和狀態後端
  • Flink 的容錯機制
  • 檢查點和儲存點
  • DataStream API 和 ProcessFunction。
培訓系列課程為精品小班教學，數量有限，預約滿額將關閉入口，有相關培訓需求的同學可儘早預約。詳細說明：
  • 參加培訓請選擇購買 VIP 套票。中階培訓購買 VIP 套票 1，高階培訓購買 VIP 套票 2。
  • VIP 套票 1 可參與中階所有課程，VIP 套票 2 可參與包括高階、中階培訓在內的所有課程。
如果你也好奇 Flink 未來的主要探索方向，如何利用 Flink 將大資料、算力推到極致，Flink 有哪些新場景、新規劃以及最佳實踐等話題，來現場吧！相信這群來自一線的技術專家們，一定會重新整理你對 Apache Flink 的認知。


原文連結
本文為雲棲社群原創內容，未經允許不得轉載。


來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69947441/viewspace-2664335/，如需轉載，請註明出處，否則將追究法律責任。

相關文章