Pulsar Summit Asia 2020 | 場景案例論壇(上):多行業,多場景

Apache Pulsar發表於2020-11-11

關於 Apache Pulsar

Apache Pulsar 是 Apache 軟體基金會頂級專案,是下一代雲原生分散式訊息流平臺,集訊息、儲存、輕量化函式式計算為一體,採用計算與儲存分離架構設計,支援多租戶、持久化儲存、多機房跨區域資料複製,具有強一致性、高吞吐、低延時及高可擴充套件性等流資料儲存特性。

當前已有眾多國內外大型網際網路和傳統行業公司採用 Apache Pulsar,案例分佈在人工智慧、金融、電信運營商、直播與短視訊、物聯網、零售與電子商務、線上教育等多個行業,如美國有線電視網路巨頭 Comcast、Yahoo!、騰訊、中國電信、中國移動、BIGO、VIPKID 等。

關於 Pulsar Summit

Pulsar Summit 是由 StreamNative 組織的 Apache Pulsar 社群年度盛會,它將分佈在世界各地的 Apache Pulsar 專案 Contributor、Commiter 和各企業 CTO/CIO、開發者、架構師、資料科學家,以及訊息和流計算社群的精英召集在一起。於此盛會,大家分享實踐經驗、交流想法、探討關於 Pulsar 專案和社群的知識,切磋互動。

Pulsar Summit Asia 旨在聚集亞洲地區 Pulsar 開發者和貢獻者,促進 Apache Pulsar 在亞洲地區的發展。Pulsar Summit Asia 2020 將於 11 月 28-29 日以線上直播形式開展。


近期我們將陸續對 Pulsar Summit Asia 2020 中英文專場及分論壇議題予以詳細介紹,幫助大家更好地瞭解即將到來的 Pulsar 社群盛會分享什麼、有哪些亮點。

我們已經為大家介紹了主題演講相關資訊,今天繼續帶來 Pulsar Summit Asia 2020 場景案例論壇演講詳情,因本論壇內容較多,故分成 2 篇文章,今天是場景論壇演講介紹上篇。

備註:下面演講時間及內容不能保證為最終版本,請關注 Pulsar Summit Asia 2020 官網獲取最新動態 https://pulsar-summit.org/en/event/asia-2020

助力構建本地即時零售和配送平臺:Apache Pulsar 在達達集團的實踐

張清華

在達達集團雲平臺基礎架構任職,架構師,目前主要負責公司訊息中介軟體。

萬明明

在達達集團雲平臺基礎架構任職,架構師,目前主要研究方向:Apache Pulsar 在日誌和流式處理的應用。

演講時間:11 月 28 日 1:30pm-2:10pm

演講詳情:

達達集團是中國領先的本地即時零售和配送平臺,在支撐實時零售配送業務的基礎技術架構中,對訊息系統選型有著嚴格要求。伴隨著業務不斷快速發展,原有的其他訊息平臺遭遇到諸多瓶頸難以滿足需求,比如 RabbitMQ 吞吐在流量高峰時抖動異常非常不穩定,Kafka 在擴容時需要較高的人工操作成本等,因此 Apache Pulsar 憑藉著優秀的特徵引起了我們的注意。在引入 Apache Pulsar 的過程中,我們從業務和日誌兩個場景對 Apache Pulsar 做了效能基礎測試,並最終引入到正式線上環境。在本次分享中,我們將分享 Apache Pulsar 在達達集團的落地實踐,以及我們後續針對 Apache Pulsar 的計劃。

Apache Pulsar 在騰訊雲的最佳實踐與未來展望

林琳

騰訊雲高階工程師,活躍於開源社群,目前是 Apache Pulsar Contributor,專注於中介軟體領域,在訊息佇列和微服務方向具有豐富的經驗。在加入騰訊後,林琳一直負責 CKafka/CMQ/mPass 的後端設計於開發工作,目前致力於打造穩定、高效和可擴充套件的基礎元件與服務。

演講時間:11 月 28 日 2:10pm-2:50pm

演講詳情:

當我們在雲上使用訊息系統時遇到了諸多挑戰,比如動態伸縮擴容、維護大量分割槽等等。在本次演講中,我將分享在騰訊雲如何利用 Apache Pulsar 解決上述問題。

分享大綱:

  1. 背景:雲原生環境下,訊息系統面臨的新挑戰

  2. Apache Pulsar 在騰訊雲的實踐

2.1 效能與一致性測試對比

2.2 平滑動態伸縮擴容

2.3 大量分割槽管理與支援

2.4 同城跨機房、兩地三機房

  1. 總結與展望

藉助 Apache Pulsar,塗鴉智慧打造世界領先的 AI+IoT 平臺

高天賜

2018 至今任職塗鴉智慧,擔任高階軟體工程師;2017-2018 任職同城網路科技,擔任軟體工程師

演講時間:11 月 28 日 2:50pm-3:30pm

演講詳情:

塗鴉智慧是世界領先的 AI+IoT 平臺,在塗鴉智慧訊息系統架構中,在最上層接入了大量獨立的裝置,比如智慧開關、智慧投影儀等等,這些智慧裝置通過 MQTT 協議向訊息系統報告訊息。在塗鴉智慧舊的訊息系統架構中,我們遇到了很多痛點,比如 Kafka 主題數量增多的複雜管理,以及 Kafka 維護和運維需要較高的人力成本和投入。鑑於 Apache Pulsar 的諸多特性,比如計算與儲存分離的架構、跨區域資料複製、低延遲和高可擴充套件性等功能,我們將訊息系統遷移到 Apache Pulsar 上來,解決了我們長期以來架構和業務上面對的痛點。本次演講,我將分享 Apache Pulsar 在塗鴉智慧雲開發平臺上的應用和實踐。

最早吃螃蟹的人:Apache Pulsar 在智聯招聘的發展歷程、現狀及展望

高順利

智聯招聘高階軟體工程師

演講時間:11 月 28 日 3:30pm-4:10pm

演講詳情:

智聯招聘是國內最早的一批 Apache Pulsar 落地企業,我們從 RabbitMQ 遷移到 Apache Pulsar 的過程中,踩過了坑,也取得了很大的成就。Pulsar 在智聯內部已經穩定執行近兩年的時間,Pulsar 陪伴了智聯的業務發展,為業務賦能,我們內部接入的訊息已經達到百億級別量級,我們團隊也從 Apache Pulsar 的小白到精通。隨著接入訊息量級和使用範圍不斷進階擴充套件,我們對 Pulsar 的需求進一步擴大,我們即將邁入 Pulsar 的深水區。在使用 Apache Pulsar 過程中,我們也不斷與社群積極互動,積極貢獻功能與改進,希望通過我們貢獻能夠促進 Pulsar 的進一步發展。

實踐案例:Apache Pulsar 驅動新大陸電信計費系統

周小華

周小華,新大陸軟體公司技術架構師。

演講時間:11 月 28 日 4:10pm-4:50pm

演講詳情:

新大陸軟體為電信運營商提供商業支援服務,眾所周知,電信運營主要提供固定電話、行動電話和網際網路接入的通訊服務,電信業務擁有海量的的話單資料和信令資料,在流處理技術的推動下,需要實時處理話單,對它進行批價計費,從網元採集話單到話單入庫是一個計費的全流程。為了提高處理效率,我們使用訊息佇列作為傳遞話單的媒介,在業務系統上使用過 Kafka、RocketMQ 等做為訊息佇列,但越來越無法滿足我們的需求。我們關注並遷移到 Apache Pulsar,充分發揮它在訊息佇列、分層儲存、Function、地域複製、Pulsar SQL 等方向的巨大潛力。在本次分享中,我將分享 Apache Pulsar 驅動新大陸計費系統的案例,講述我們在 Apache Pulsar 上的實踐與調優。

案例:Apache Pulsar 在金山雲日誌服務的最佳實踐,支撐日處理數十億條訊息

劉彬

金山雲大資料開發工程師,日誌服務產品開發

演講時間:4:50pm-5:30pm UTC+8, 11 月 28 日, 2020 | 論壇 1

演講詳情:

金山雲日誌服務是一款針對日誌類資料的一站式服務,提供從日誌採集、日誌儲存到日誌檢索分析、實時消費、日誌投遞等多項服務,目前支撐著多個業務線的日誌查詢和監控業務,每天資料量級在幾十TB。Apache Pulsar 做為一款雲原生的分散式訊息佇列平臺,Apache Pulsar 計算和儲存分離的架構模式,很好地解決了在日誌服務類產品中的分割槽擴容、分割槽合併以及百萬級別 Topic 的支撐和多租戶問題 。本次演講,我將分享 Apache Pulsar 在金山雲日誌服務的最佳實踐。

敬請期待場景案例論壇下篇介紹。


想和 Pulsar 社群大咖談笑風生嗎?那就快來報名參加 Pulsar Summit Asia 2020 吧!
https://www.huodongxing.com/event/7568028151222

相關文章