DataPipeline聯合Confluent Kafka Meetup上海站

Confluent作為國際資料“流”處理技術領先者，提供實時資料處理解決方案，在市場上擁有大量企業客戶，幫助企業輕鬆訪問各類資料。DataPipeline作為國內首家原生支援Kafka解決方案的“iPaaS+AI”一站式大資料融合服務提供商，在零售、金融、網際網路和製造等行業擁有著豐富實踐經驗和解決方案能力。

此次上海DataPipeline & Confluent Kafka Meetup，我們邀請到了Confluent流資料處理系統架構師和技術負責人王國璋、DataPipeline架構師呂鵬、攜程大資料平臺實時計算平臺負責人潘國慶、阿里巴巴實時計算平臺高階技術專家秦江傑、網易雲大資料平臺架構師歐陽武林等大資料領域六位行業大咖分享Kafka最新研究成果以及行業應用案例。

活動流程

演講嘉賓

王國璋

Confluent流資料處理系統架構師和技術負責人

Apache Kafka PMC，Kafka Streams 作者。於康奈爾大學計算機系取得博士學位，主要研究方向為資料庫管理和分散式資料系統。現就職於Confluent，任流資料處理系統架構師和技術負責人。此前曾就職於 LinkedIn 資料架構組，主要負責實時資料處理平臺，包括 Apache Kafka 和 Apache Samza 系統的開發與維護。

演講主題：《Apache Kafka，從0.7到2.0：那些年我們踩過的坑》

自從 2011年被捐獻給Apache基金會到現在，Kafka專案已經走過了七個年頭。從最早的“分散式訊息系統”，到現在整合了分發、儲存和計算的“流式資料平臺”，Kafka經歷了哪些挑戰？又經過了什麼樣的演進變化？

1. 從硬體的發展趨勢，展現 Kafka 架構的演進過程；

2. 從Kafka開發和維護經驗，分享分散式系統工程實踐的通理；

3. 開源資料系統的開發經驗，如何維護和發展一個開源社群。

潘國慶

攜程大資料平臺實時計算平臺負責人

攜程大資料平臺實時計算平臺負責人，2016年加入攜程，主要從事攜程實時計算平臺的構建與演進、以及攜程實時特徵平臺的搭建，在實時計算領域擁有豐富的實戰經驗。

演講主題：《攜程實時計算平臺架構與實踐》

1. 攜程實時計算平臺的演進之路；

2. 實時架構設計與曾經踩過的坑；

3. 實時計算在攜程的實踐；

4. 未來規劃。

呂鵬

DataPipeline 架構師

呂鵬，目前擔任DataPipeline架構師一職，負責資料傳輸和ETL方面的架構和最佳化工作。曾就職於Talend和銷售易大資料部，擁有5餘年大資料平臺和資料倉儲架構搭建經驗，在ETL 領域擁有豐富的實戰經驗。

演講主題：《DataPipeline在大資料平臺的實時資料流實踐》

1. 大資料時代下企業級資料面臨的主要問題和挑戰；

2. kafka connect 在大資料時代的資料流的優勢和不足；

3. 大資料平臺上的kafka connect 實踐案例：

1）kafka connect 下資料倉儲greenplum 同步實踐以及最佳化策略；

2）kafka connect 下 hive 同步實踐；

1. DataPipeline 做了哪些大資料相關工作，遇到的坑以及相應的解決方案；

2. 總結以及DataPipeline 未來在大資料領域的相關工作。

張勇華

唯品會訊息平臺架構師

畢業於武漢大學，目前擔任唯品會訊息平臺架構師。從事訊息系統的設計和研發有4年多的時間，對Kafka、RabbitMQ、RocketMQ等訊息中介軟體產品擁有較豐富的實踐經驗。

演講主題：《基於Kafka1.0建立企業級訊息系統平臺的思考及實現》

1. 隨著業務系統接入增多，對叢集和後設資料資源(Topic/Group)的管理顯得尤為重要，急需建立統一平臺來管理系統資源及認證授權接入服務；

2. 提升併發消費場景下的高可靠，及消費異常後如何優雅解決消費重試問題；

3. 如何實現延時訊息的投遞功能，改善延時精度的方式；

4. 原生kafka支援組間廣播對動態增長的業務組申請造成困境，如何實現組內廣播來改善現狀；

5. 叢集故障時如何快速有效遷移服務等問題介紹。

秦江傑

阿里巴巴實時計算平臺高階技術專家

秦江傑，阿里巴巴實時計算平臺高階技術專家。碩士畢業於卡耐基梅隆大學，曾任職於LinkedIn參與Apache Kafka開發，Apache Kafka PMC member。

演講主題：《詳解Flink基於Kafka事務的嚴格一次語義實現》

在流處理系統中，端到端的嚴格一次的語義只有當輸出的Sink支援時才可以實現。在Kafka 0.11中增加了對事物的支援，使得其他系統可以利用這一特性實現嚴格一次的語義。本次分享將詳細介紹Flink是如何利用這Kafka一特性來實現端到端的嚴格一次語義的。

歐陽武林

網易大資料平臺架構師

曾就職於中國移動、51信用卡，主要從事雲端計算平臺開發相關工作。目前就職於網易，主要從事大資料平臺開發。

演講主題：《Kafka 在網易雲上的實踐》

1.Kafka上雲面臨的挑戰和機遇；

2.網易雲Kafka架構實現；

3.網易雲Kafka的關鍵問題解決之法；

4.未來規劃。

時間&地點

時間：2018年10月21日，13:30簽到

詳細地址：上海市長寧區金鐘路968號凌空SOHO12號樓11層

活動報名

新增DataPipeline君微信：datapipeline2018，拉你進現場活動群。