Pulsar 社群週報| 2020-10-17 ~ 2020-10-23

Apache Pulsar發表於2020-10-30

關於 Apache Pulsar

Apache Pulsar 是 Apache 軟體基金會頂級專案,是下一代雲原生分散式訊息流平臺,集訊息、儲存、輕量化函式式計算為一體,採用計算與儲存分離架構設計,支援多租戶、持久化儲存、多機房跨區域資料複製,具有強一致性、高吞吐、低延時及高可擴充套件性等流資料儲存特性。

GitHub 地址:http://github.com/apache/pulsar/

導語

各位小夥伴們,Pulsar 社群週報更新來啦!

首先祝賀 Apache Pulsar 新增兩位貢獻卓越的 committer!他們是來自 BIGO 的陳航(Github 地址:@hangc0276)與 StreamNative 的孟煥麗(Github 地址:@Huanli-Meng)!Pulsar 社群正在快速地發展壯大,期待越來越多的小夥伴加入 contributor 和 committer 的行列!同時,Pulsar 週報新增《本週亮點》模組,詳細描述 Pulsar 值得矚目的大進展。那接下來讓我們迴歸正題。

本次 Pulsar 社群週報,為大家呈現 Pulsar client、broker、Pulsar Functions、 transaction、tiered storage 等內容,幫助社群小夥伴們掌握 Pulsar 專案及社群每週進展,也方便大家更好地參與到 Pulsar 社群中來!

感謝本週以下小夥伴為 Apache Pulsar 添磚加瓦(排名不分先後,看看你有沒有上榜):
@BewareMyPower@david-streamlio@Renkai@merlimat@wolfstudy、@gaoran10@bmyers-csu@hangc0276@murong00@vaihtovirta@315157973@codelipenghui@rdhabalia@lhotari@pkumar-singh@jerrypeng@yixing1337@klwilson227@Jennifer88huang

接下來,一起看看 10-17 ~ 10-23 有哪些值得你關注的進展吧!

本週亮點

Pulsar 新增支援將游標重置到批訊息的某一個索引。

在 2.6.0 版本中,Pulsar 支援確認批訊息索引,但是使用者無法設定游標。新增此功能後,使用者在再次使用訊息時將游標重置到批訊息的某一個索引,可再次獲得該批處理索引。

PR 地址:https://github.com/apache/pulsar/pull/8285
貢獻者:@Renkai

重要特性

  • 因為 PR 較多,僅列舉較大 PR 進展,不包括當週全部動態
  • 下面 PR 均已合入 Pulsar 主分支

[Tiered Storage] 重構 JCloud 分層儲存,支援其他 JClouds 支援的 provider。
PR 地址:https://github.com/apache/pulsar/pull/6335
貢獻者:@david-streamlio

[Metrics] 新增 topic 查詢操作的指標。
PR 地址:https://github.com/apache/pulsar/pull/8272
貢獻者:@merlimat

[Pulsar Functions] 組織並優化 Go 函式的示例目錄。
PR 地址:https://github.com/apache/pulsar/pull/8288
貢獻者:@wolfstudy

[Transaction] 調整 TransactionBuffer 介面。
PR 地址:https://github.com/apache/pulsar/pull/8291
貢獻者:@gaoran10

[Pulsar Broker] 新增 REST 處理器,確定 broker 是否已完全準備好接受請求。
PR 地址:https://github.com/apache/pulsar/pull/8303
貢獻者:@merlimat
[Pulsar Broker] 在 metadata 設定結束時,關閉 ZooKeeper 連線。
PR 地址:https://github.com/apache/pulsar/pull/8228
貢獻者:@bmyers-csu

[Pulsar Broker] 支援限制每個 topic 的最大訂閱數。
PR 地址:https://github.com/apache/pulsar/pull/8289
貢獻者:@hangc0276

[Pulsar Bookie] 初始化 metadata 時,優化 BookKeeper 後設資料服務的 URI。
PR 地址:https://github.com/apache/pulsar/pull/8269
貢獻者:@murong00

[Pulsar Functions] 支援訪問 Function 的當前訊息。
PR 地址:https://github.com/apache/pulsar/pull/8290
貢獻者:@vaihtovirta

[Pulsar Broker] 支援在基於訊息 ID 重置游標時排除訊息。
PR 地址:https://github.com/apache/pulsar/pull/8306
貢獻者:@315157973

[Pulsar Broker] 在 namespace API (V1) 支援設定複製的傳送給速率。
PR 地址:https://github.com/apache/pulsar/pull/8314
貢獻者:@rdhabalia

[Pulsar Admin] 支援將游標重置為 Pulsar Admin 的批處理索引。
PR 地址:https://github.com/apache/pulsar/pull/8329
貢獻者:@codelipenghui

[Pulsar Broker] 在本地策略中配置 namespace 反關聯性策略。
PR 地址:https://github.com/apache/pulsar/pull/8349
貢獻者:@rdhabalia

[Pulsar Proxy] 新增代理外掛介面,支援其他使用者定義的小服務程式。
PR 地址:https://github.com/apache/pulsar/pull/8067
貢獻者:@wolfstudy

重要 Bug 修復

  • 因修復內容較多,僅列舉較重要修復內容,不包括本週全部動態
  • 下面修復均已合入 Pulsar 主分支

[Managed Ledger] 修復了 broker 在 ManagedLedgerImpl.asyncReadEntries 無限迴圈的問題。
PR 地址:https://github.com/apache/pulsar/pull/8284
貢獻者:@hangc0276

[C++ Client] 修復客戶端總是分配更多緩衝的問題。
PR 地址:https://github.com/apache/pulsar/pull/8283
貢獻者:@merlimat

[Pulsar Standalone] 修復在獨立模式下執行 ZooKeeper 時無法刪除舊快照的問題。
PR 地址:https://github.com/apache/pulsar/pull/8217
貢獻者:@merlimat

[Managed Ledger] 修復在 ManagedCursorImpl 中更新 readPosition 時產生的競態條件。
PR 地址:https://github.com/apache/pulsar/pull/8299
貢獻者:@lhotari

Pulsar Broker] 修復在 Key_Shared 訂閱模式下訊息 TTL 和訊息的重播順序問題。
PR 地址:https://github.com/apache/pulsar/pull/8292
貢獻者:@codelipenghui

[Pulsar Broker] 使用 cacheExpirySeconds 作為 ZooKeeper 快取的到期時間。
PR 地址:https://github.com/apache/pulsar/pull/8302
貢獻者:@rdhabalia

[C++ Client] 修復未初始化的成員變數導致的單元測試的段故障。
PR 地址:https://github.com/apache/pulsar/pull/8334
貢獻者:@merlimat

[C++ Client] 修復對批訊息而非訊息數量實施反壓的問題。
PR 地址:https://github.com/apache/pulsar/pull/8331
貢獻者:@merlimat

[Pulsar Broker] 修復分割 bundle 的 API 覆蓋 LocalPolicies 的問題。
PR 地址:https://github.com/apache/pulsar/pull/8313
貢獻者:@rdhabalia

[C++ Client] 修復訂閱單個分割槽時訊息 ID 錯誤的問題。
PR 地址:https://github.com/apache/pulsar/pull/8341
貢獻者:@BewareMyPower

活動和新聞

  • [TGIP] 每週直播:Pulsar 及其生態系統

  • [TGIP-CN] 每週直播:Pulsar 及其生態系統

活動預告

  • Pulsar 2020 亞洲峰會
    官網地址: https://pulsar-summit.org/en/event/asia-2020
    點選此處 報名

  • 10 月 27 日:線上研討會 Low-Latency Stream Processing with Jet
    主講人:Can Gencer,Director of Engineering at Hazelcast
    點選此處,報名活動

推薦閱讀

  • 部落格:Introducing Cloud Storage Sink Connector - Streaming Data From Apache Pulsar to Cloud Objects
    部落格連結: https://streamnative.io/blog/tech/2020-10-20-cloud-storage-sink-connector-251

作為全球性開源專案,截至 2020 年 10 月 23 日,Apache Pulsar 已擁有 321 名貢獻者、6.7K+ Star 、1.6K+ Fork 。正是由於分佈在全球各地的社群開發者的貢獻,才使得 Apache Pulsar 專案不斷髮展與前進。

讓我們期待下一週的 Apache Pulsar 週報!

如果你也想為 Apache Pulsar 專案出一份力、成為我們的 Contributor,參考下面連結,來加入我們吧:

Apache Pulsar 專案參與指南
Apache Pulsar 官方貢獻指南

相關文章