從訊息到資料湖:看 Apache RocketMQ、Hudi、Kyuubi 最新進展

阿里巴巴雲原生發表於2021-11-17

上海的開發者小夥伴們,12 月 18 號,Apache RocketMQ & Apache Hudi & Apache Kyuubi (Incubating)三社群 Meetup 來了,打造最強訊息傳輸、實時計算、資料入湖一體化解決方案專場。

本場活動聚焦 Apache RocketMQ 及 Hudi,Kyuubi 資料湖結合,幫助開發者能更好地應對業務挑戰。活動將邀請喜馬拉雅、平安證券、網易、阿里雲的眾多技術專家,共同為大家分享 Apache RocketMQ with hudi & Kyuubi 實踐與應用。

RocketMQ12:18.png

相關專案介紹

Apache RocketMQ

Apache RocketMQ 是由阿里巴巴開源的訊息產品,歷經多年雙十一流量洪峰嚴苛考驗,具有低延遲、高效能、高可靠性、萬億級容量和靈活的可擴充套件性。目前,全球超過上萬家企業都在使用 Apache RocketMQ,不僅包括位元組、快手、小米、滴滴、同城藝龍等來自網際網路的頭部企業,也包括來自於頭部銀行、券商、保險,基金等一系列要求極為嚴苛的金融公司。

Apache RocketMQ 經過過去幾年的發展,已經成為微服務領域業務訊息的首選,伴隨著雲原生時代的到來以及實時計算的興起, 生於雲、長於雲的 Apache RocketMQ 5.0 應運而生,全新升級為雲原生訊息、事件、流融合處理平臺,幫助使用者更容易地構建下一代事件驅動和流處理應用。

Github 地址:
https://github.com/apache/roc...

Apache Hudi

Apache Hudi 是 Apache 軟體基金會頂級專案,是新一代的流式資料湖平臺,支援資料插入、更新、刪除和增量資料處理;可助力構建高效的企業級資料湖。

GitHub 地址:
http://github.com/apache/hudi

Apache Kyuubi(Incubating)

Apache Kyuubi (Incubating)是一個 Thrift JDBC/ODBC 服務,目前對接了 Apache Spark 計算框架,支援多租戶和分散式等特性,可以滿足企業內諸如 ETL、BI 報表等多種大資料場景的應用。Kyuubi 可以為企業級資料湖探索提供標準化的介面,賦予使用者調動整個資料湖生態的資料的能力,使得使用者能夠像處理普通資料一樣處理大資料。專案已於 2021 年 6 月 21 號正式進入 Apache 孵化器。從社群當前階段的發展目標來看,它的主要方向是依託本身的架構設計,圍繞各類主流計算框架,打造一個面向 Serverless SQL on Lakehouse 的服務。Apache Kyuubi (Incubating)是一個 Thrift JDBC/ODBC 服務,目前對接了 Apache Spark 計算框架,支援多租戶和分散式等特性,可以滿足企業內諸如 ETL、BI 報表等多種大資料場景的應用。Kyuubi 可以為企業級資料湖探索提供標準化的介面,賦予使用者調動整個資料湖生態的資料的能力,使得使用者能夠像處理普通資料一樣處理大資料。專案已於 2021 年 6 月 21 號正式進入 Apache 孵化器。從社群當前階段的發展目標來看,它的主要方向是依託本身的架構設計,圍繞各類主流計算框架,打造一個面向 Serverless SQL on Lakehouse 的服務。

Github 地址:
https://github.com/apache/inc...

立即點選此處參與活動吧!

瞭解更多相關資訊,請掃描下方二維碼或搜尋微訊號(AlibabaCloud888)新增雲原生小助手!獲取更多相關資訊!
二維碼.png

相關文章