kafka配置檔案如下:
broker.id=1
port=9092
host.name=ssy-kafka1
num.network.threads=4
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600
log.dirs=/data/apps/log/kafka
num.partitions=20
log.retention.hours=72 #定義日誌保留時間
log.segment.bytes=536870912
log.retention.check.interval.ms=60000
log.cleaner.enable=true
zookeeper.connect=ssy-zk1:2181,ssy-zk2:2181,ssy-zk3:2181
zookeeper.connection.timeout.ms=1000000
auto.create.topics.enable=true
controlled.shutdown.enable=true
auto.leader.rebalance.enable=true
很多情況下,kafka會佔用大量的磁碟空間來存放日誌檔案,我們預設儲存三天,如果磁碟已經不允許我們繼續寫日誌可以執行以下命令在不必停止kafka服務的情況下執行以下命令。
./kafka-topics.sh --zookeeper zk1:2181 -topic topicname --alter --config retention.ms=86400
將此Topic的日誌儲存時間設定為1天。