Kafka超過保留期限資料未刪除的問題

發表於2021-05-12

問題:retention.mskafka topis上的attribute的預設值設定為7天,但主題中的資料仍會保留7天。

Kafka版本:2.1.11

通常這是可以的,但對於某些情況,在應用程式啟動時將kafka主題用作事實來源以在記憶體中建立記憶體快取的情況,這可能會導致問題:

  • 由於他們必須在啟動時讀取更多資料
  • 可能最終在快取中擁有更多資料

這是由於另一個引數segment.ms引起的。此引數確定主題的內部部分何時起作用。預設情況下再次設定為7天。

要解決此問題,將segment.ms引數設定為24小時就足夠了,以便每天滾動分段,並在1周過去時刪除舊資料。

 

相關文章