Kafka超過保留期限資料未刪除的問題
問題:retention.mskafka topis上的attribute的預設值設定為7天,但主題中的資料仍會保留7天。
Kafka版本:2.1.11
通常這是可以的,但對於某些情況,在應用程式啟動時將kafka主題用作事實來源以在記憶體中建立記憶體快取的情況,這可能會導致問題:
- 由於他們必須在啟動時讀取更多資料
- 可能最終在快取中擁有更多資料
這是由於另一個引數segment.ms引起的。此引數確定主題的內部部分何時起作用。預設情況下再次設定為7天。
要解決此問題,將segment.ms引數設定為24小時就足夠了,以便每天滾動分段,並在1周過去時刪除舊資料。
相關文章
- oracle刪除超過N天資料指令碼的方法Oracle指令碼
- kafka-- 過期檔案的刪除Kafka
- 聊聊PG資料庫的防誤刪除問題資料庫
- excel刪除重複資料保留一條 如何刪掉重複資料只留一條Excel
- whk我【資料刪除】你個【資料刪除】的
- MySQL超大表刪除資料過程MySql
- 處理Linux刪除檔案後空間未釋放的問題Linux
- kafka 測試遇到掉資料的問題 nmred/kafka-PHPKafkaPHP
- 刪除資料
- 自動刪除過期的statspack統計資料
- 刪除Kafka無用主題可提升40%效能Kafka
- 解決sqlserver資料庫單一使用者無法刪除的問題SQLServer資料庫
- indexedDB 刪除資料Index
- 刪除elasticsearch資料Elasticsearch
- Docker刪除倉庫中的映象問題Docker
- iptables刪除命令中的相關問題
- Laravel 資料庫裡的資料刪除Laravel資料庫
- 6.12php對資料庫的刪除和批量刪除PHP資料庫
- Redis 的資料過期了就會馬上刪除麼?Redis
- ORACLE 在缺少主鍵ID的情況下刪除重複資料,只保留一行Oracle
- 資料夾刪除不了怎麼辦?資料夾刪除不了的解決方法
- CnosDB的資料更新和刪除
- excel一鍵去除公式保留文字 excel刪除公式保留運算數值Excel公式
- win10刪除系統保留分割槽如何操作_win10刪除系統保留分割槽怎麼處理Win10
- indexedDB 刪除資料庫Index資料庫
- 2.11 刪除資料庫資料庫
- CoLab刪除資料夾
- MySQL刪除資料表MySql
- 刪除重複資料
- kafka-eagle刪除topic需要tokenKafka
- 如何克服 Apache Kafka中的資料順序問題 - DATAVERSITYApacheKafka
- sql刪除重複記錄只保留一條SQL
- 誤刪除資料了怎麼辦?小編交易誤刪除資料的恢復方法
- Linux下刪除資料夾的命令Linux
- 刪除linux下的oracle資料庫LinuxOracle資料庫
- PostgreSQL:資料庫的建立與刪除SQL資料庫
- 關於wps解除安裝不乾淨留下的office6資料夾刪除問題
- SqlServer中根據某幾列獲取重複的資料將其刪除並保留最新一條SQLServer