Kafka超過保留期限資料未刪除的問題
問題:retention.mskafka topis上的attribute的預設值設定為7天,但主題中的資料仍會保留7天。
Kafka版本:2.1.11
通常這是可以的,但對於某些情況,在應用程式啟動時將kafka主題用作事實來源以在記憶體中建立記憶體快取的情況,這可能會導致問題:
- 由於他們必須在啟動時讀取更多資料
- 可能最終在快取中擁有更多資料
這是由於另一個引數segment.ms引起的。此引數確定主題的內部部分何時起作用。預設情況下再次設定為7天。
要解決此問題,將segment.ms引數設定為24小時就足夠了,以便每天滾動分段,並在1周過去時刪除舊資料。
相關文章
- 誤刪出資料檔案,透過dbca無法刪除資料庫問題資料庫
- oracle刪除超過N天資料指令碼的方法Oracle指令碼
- kafka-- 過期檔案的刪除Kafka
- 關於刪除資料的快慢問題的分析
- 聊聊PG資料庫的防誤刪除問題資料庫
- SQL刪除重複資料,只保留一行SQL
- 網友遇到的問題---資料被莫名的刪除
- delete/truncate刪除資料索引空間問題delete索引
- 臨時表空間資料刪除問題
- PUBLIC資料庫鏈無法刪除的問題(二)資料庫
- PUBLIC資料庫鏈無法刪除的問題(一)資料庫
- excel刪除重複資料保留一條 如何刪掉重複資料只留一條Excel
- whk我【資料刪除】你個【資料刪除】的
- 刪除Kafka中topicKafka
- Oracle刪除主鍵保留索引的方法Oracle索引
- MySQL超大表刪除資料過程MySql
- 解決刪除Linux下刪除檔案過多而受shell限制的問題Linux
- kafka 測試遇到掉資料的問題 nmred/kafka-PHPKafkaPHP
- 刪除DG歸檔保留5個
- 刪除Kafka無用主題可提升40%效能Kafka
- 刪除資料
- 通過ROWID刪除重複資料
- 自動刪除過期的statspack統計資料
- 處理Linux刪除檔案後空間未釋放的問題Linux
- 刪除ACFS系統碰到的問題
- 【原創】通過資料字典操作刪除表的列
- indexedDB 刪除資料Index
- Solr刪除資料Solr
- 刪除elasticsearch資料Elasticsearch
- 大量刪除資料的速度
- 解決sqlserver資料庫單一使用者無法刪除的問題SQLServer資料庫
- Laravel 資料庫裡的資料刪除Laravel資料庫
- 批量刪除Oracle資料庫的資料Oracle資料庫
- MongoDB 資料庫建立刪除、表(集合)建立刪除、資料增刪改查MongoDB資料庫
- iptables刪除命令中的相關問題
- Docker刪除倉庫中的映象問題Docker
- java邊遍歷邊刪除的問題Java
- 定時刪除歸檔(僅保留最近兩天的)