Pulsar Summit Asia 2020 | 場景案例論壇(上):多行業,多場景
關於 Apache Pulsar
Apache Pulsar 是 Apache 軟體基金會頂級專案,是下一代雲原生分散式訊息流平臺,集訊息、儲存、輕量化函式式計算為一體,採用計算與儲存分離架構設計,支援多租戶、持久化儲存、多機房跨區域資料複製,具有強一致性、高吞吐、低延時及高可擴充套件性等流資料儲存特性。
當前已有眾多國內外大型網際網路和傳統行業公司採用 Apache Pulsar,案例分佈在人工智慧、金融、電信運營商、直播與短視訊、物聯網、零售與電子商務、線上教育等多個行業,如美國有線電視網路巨頭 Comcast、Yahoo!、騰訊、中國電信、中國移動、BIGO、VIPKID 等。
關於 Pulsar Summit
Pulsar Summit 是由 StreamNative 組織的 Apache Pulsar 社群年度盛會,它將分佈在世界各地的 Apache Pulsar 專案 Contributor、Commiter 和各企業 CTO/CIO、開發者、架構師、資料科學家,以及訊息和流計算社群的精英召集在一起。於此盛會,大家分享實踐經驗、交流想法、探討關於 Pulsar 專案和社群的知識,切磋互動。
Pulsar Summit Asia 旨在聚集亞洲地區 Pulsar 開發者和貢獻者,促進 Apache Pulsar 在亞洲地區的發展。Pulsar Summit Asia 2020 將於 11 月 28-29 日以線上直播形式開展。
近期我們將陸續對 Pulsar Summit Asia 2020 中英文專場及分論壇議題予以詳細介紹,幫助大家更好地瞭解即將到來的 Pulsar 社群盛會分享什麼、有哪些亮點。
我們已經為大家介紹了主題演講相關資訊,今天繼續帶來 Pulsar Summit Asia 2020 場景案例論壇演講詳情,因本論壇內容較多,故分成 2 篇文章,今天是場景論壇演講介紹上篇。
備註:下面演講時間及內容不能保證為最終版本,請關注 Pulsar Summit Asia 2020 官網獲取最新動態 https://pulsar-summit.org/en/event/asia-2020 。
助力構建本地即時零售和配送平臺:Apache Pulsar 在達達集團的實踐
張清華
在達達集團雲平臺基礎架構任職,架構師,目前主要負責公司訊息中介軟體。
萬明明
在達達集團雲平臺基礎架構任職,架構師,目前主要研究方向:Apache Pulsar 在日誌和流式處理的應用。
演講時間:11 月 28 日 1:30pm-2:10pm
演講詳情:
達達集團是中國領先的本地即時零售和配送平臺,在支撐實時零售配送業務的基礎技術架構中,對訊息系統選型有著嚴格要求。伴隨著業務不斷快速發展,原有的其他訊息平臺遭遇到諸多瓶頸難以滿足需求,比如 RabbitMQ 吞吐在流量高峰時抖動異常非常不穩定,Kafka 在擴容時需要較高的人工操作成本等,因此 Apache Pulsar 憑藉著優秀的特徵引起了我們的注意。在引入 Apache Pulsar 的過程中,我們從業務和日誌兩個場景對 Apache Pulsar 做了效能基礎測試,並最終引入到正式線上環境。在本次分享中,我們將分享 Apache Pulsar 在達達集團的落地實踐,以及我們後續針對 Apache Pulsar 的計劃。
Apache Pulsar 在騰訊雲的最佳實踐與未來展望
林琳
騰訊雲高階工程師,活躍於開源社群,目前是 Apache Pulsar Contributor,專注於中介軟體領域,在訊息佇列和微服務方向具有豐富的經驗。在加入騰訊後,林琳一直負責 CKafka/CMQ/mPass 的後端設計於開發工作,目前致力於打造穩定、高效和可擴充套件的基礎元件與服務。
演講時間:11 月 28 日 2:10pm-2:50pm
演講詳情:
當我們在雲上使用訊息系統時遇到了諸多挑戰,比如動態伸縮擴容、維護大量分割槽等等。在本次演講中,我將分享在騰訊雲如何利用 Apache Pulsar 解決上述問題。
分享大綱:
-
背景:雲原生環境下,訊息系統面臨的新挑戰
-
Apache Pulsar 在騰訊雲的實踐
2.1 效能與一致性測試對比
2.2 平滑動態伸縮擴容
2.3 大量分割槽管理與支援
2.4 同城跨機房、兩地三機房
- 總結與展望
藉助 Apache Pulsar,塗鴉智慧打造世界領先的 AI+IoT 平臺
高天賜
2018 至今任職塗鴉智慧,擔任高階軟體工程師;2017-2018 任職同城網路科技,擔任軟體工程師
演講時間:11 月 28 日 2:50pm-3:30pm
演講詳情:
塗鴉智慧是世界領先的 AI+IoT 平臺,在塗鴉智慧訊息系統架構中,在最上層接入了大量獨立的裝置,比如智慧開關、智慧投影儀等等,這些智慧裝置通過 MQTT 協議向訊息系統報告訊息。在塗鴉智慧舊的訊息系統架構中,我們遇到了很多痛點,比如 Kafka 主題數量增多的複雜管理,以及 Kafka 維護和運維需要較高的人力成本和投入。鑑於 Apache Pulsar 的諸多特性,比如計算與儲存分離的架構、跨區域資料複製、低延遲和高可擴充套件性等功能,我們將訊息系統遷移到 Apache Pulsar 上來,解決了我們長期以來架構和業務上面對的痛點。本次演講,我將分享 Apache Pulsar 在塗鴉智慧雲開發平臺上的應用和實踐。
最早吃螃蟹的人:Apache Pulsar 在智聯招聘的發展歷程、現狀及展望
高順利
智聯招聘高階軟體工程師
演講時間:11 月 28 日 3:30pm-4:10pm
演講詳情:
智聯招聘是國內最早的一批 Apache Pulsar 落地企業,我們從 RabbitMQ 遷移到 Apache Pulsar 的過程中,踩過了坑,也取得了很大的成就。Pulsar 在智聯內部已經穩定執行近兩年的時間,Pulsar 陪伴了智聯的業務發展,為業務賦能,我們內部接入的訊息已經達到百億級別量級,我們團隊也從 Apache Pulsar 的小白到精通。隨著接入訊息量級和使用範圍不斷進階擴充套件,我們對 Pulsar 的需求進一步擴大,我們即將邁入 Pulsar 的深水區。在使用 Apache Pulsar 過程中,我們也不斷與社群積極互動,積極貢獻功能與改進,希望通過我們貢獻能夠促進 Pulsar 的進一步發展。
實踐案例:Apache Pulsar 驅動新大陸電信計費系統
周小華
周小華,新大陸軟體公司技術架構師。
演講時間:11 月 28 日 4:10pm-4:50pm
演講詳情:
新大陸軟體為電信運營商提供商業支援服務,眾所周知,電信運營主要提供固定電話、行動電話和網際網路接入的通訊服務,電信業務擁有海量的的話單資料和信令資料,在流處理技術的推動下,需要實時處理話單,對它進行批價計費,從網元採集話單到話單入庫是一個計費的全流程。為了提高處理效率,我們使用訊息佇列作為傳遞話單的媒介,在業務系統上使用過 Kafka、RocketMQ 等做為訊息佇列,但越來越無法滿足我們的需求。我們關注並遷移到 Apache Pulsar,充分發揮它在訊息佇列、分層儲存、Function、地域複製、Pulsar SQL 等方向的巨大潛力。在本次分享中,我將分享 Apache Pulsar 驅動新大陸計費系統的案例,講述我們在 Apache Pulsar 上的實踐與調優。
案例:Apache Pulsar 在金山雲日誌服務的最佳實踐,支撐日處理數十億條訊息
劉彬
金山雲大資料開發工程師,日誌服務產品開發
演講時間:4:50pm-5:30pm UTC+8, 11 月 28 日, 2020 | 論壇 1
演講詳情:
金山雲日誌服務是一款針對日誌類資料的一站式服務,提供從日誌採集、日誌儲存到日誌檢索分析、實時消費、日誌投遞等多項服務,目前支撐著多個業務線的日誌查詢和監控業務,每天資料量級在幾十TB。Apache Pulsar 做為一款雲原生的分散式訊息佇列平臺,Apache Pulsar 計算和儲存分離的架構模式,很好地解決了在日誌服務類產品中的分割槽擴容、分割槽合併以及百萬級別 Topic 的支撐和多租戶問題 。本次演講,我將分享 Apache Pulsar 在金山雲日誌服務的最佳實踐。
敬請期待場景案例論壇下篇介紹。
想和 Pulsar 社群大咖談笑風生嗎?那就快來報名參加 Pulsar Summit Asia 2020 吧!
https://www.huodongxing.com/event/7568028151222
相關文章
- 視訊回顧|Pulsar Summit Asia 2021,案例、運維、生態乾貨不斷MIT運維
- RocketMQ 在多 IDC 場景以及多隔離區場景下的實踐MQ
- 央國企需求場景釋出,共議 AI 賦能產業融通,盡在WAIC這場論壇AI產業
- 釘釘AI重磅更新:深入業務場景,上線工單等場景AI助理AI
- Redis叢集案例與場景分析Redis
- MaxComputeTunnel上傳典型問題場景
- 共探開源生態|Apache Pulsar 社群助力 Apache APISIX Summit Asia 2022ApacheAPIMIT
- 面試場景題:一次關於執行緒池使用場景的討論。面試執行緒
- 廣州舉行區塊鏈產業高峰論壇 探討區塊鏈落地應用場景區塊鏈產業
- 一些資料賦能業務的場景及案例
- 企業側應急響應的典型場景與案例分享
- Laravel 的 表單驗證,多場景Laravel
- Apache Pulsar 與 Apache Kafka 在金融場景下的效能對比分析ApacheKafka
- 索引失效場景索引
- Vuex使用場景Vue
- Redis使用場景Redis
- RabbitMQ 使用場景MQ
- 工業場景AI開發流程AI
- MaxCompute Tunnel上傳典型問題場景
- Chrome 外掛特性及實戰場景案例分析Chrome
- 面向多場景而設計的 Erda Pipeline
- 基於多種場景DataGuard切換方案
- 在PGConf.Asia-中文技術論壇,縱覽16個方向42場演講GC
- 人工智慧公司的場景躍遷理論人工智慧
- Spark適用於哪些場景?不適用於哪些場景?Spark
- 華為雲釋出多項場景化解決方案助力製造業企業加速上雲
- AI如何在工業場景中落地AI
- 應對 Job 場景,Serverless 如何幫助企業便捷上雲Server
- redis實用場景Redis
- git常用使用場景Git
- RocketMQ場景使用技巧MQ
- 3.4 應用場景
- grep 的使用場景
- DDD應用場景
- 泛型使用場景泛型
- ES 應用場景
- snapshot應用場景
- Go Type 使用場景Go