【ZooKeeper Notes 9】ZooKeepr日誌清理

五柳-先生發表於2015-11-25
在使用zookeeper過程中，我們知道，會有dataDir和dataLogDir兩個目錄，分別用於snapshot和事務日誌的輸出（預設情況下只有dataDir目錄，snapshot和事務日誌都儲存在這個目錄中，關於這兩個目錄的詳細說明，請看《ZooKeeper管理員指南

》）。

     正常執行過程中，ZK會不斷地把快照資料和事務日誌輸出到這兩個目錄，並且如果沒有人為操作的話，ZK自己是不會清理這些檔案的，需要管理員來清理，這裡介紹4種清理日誌的方法。在這4種方法中，推薦使用第一種方法，對於運維人員來說，將日誌清理工作獨立出來，便於統一管理也更可控。畢竟zk自帶的一些工具並不怎麼給力，這裡是社群反映的兩個問題：

https://issues.apache.org/jira/browse/ZOOKEEPER-957

http://zookeeper-user.578899.n2.nabble.com/PurgeTxnLog-td6304244.html

第一種，也是運維人員最常用的，寫一個刪除日誌指令碼，每天定時執行即可：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/bin/bash
           
#snapshot file dir
dataDir=/home/nileader/taokeeper/zk_data/version-2
#tran log dir
dataLogDir=/home/nileader/taokeeper/zk_log/version-2
#zk log dir
logDir=/home/nileader/taokeeper/logs
#Leave 60 files
count=60
count=$[$count+1]
ls -t $dataLogDir/log.* | tail -n +$count | xargs rm -f
ls -t $dataDir/snapshot.* | tail -n +$count | xargs rm -f
ls -t $logDir/zookeeper.log.* | tail -n +$count | xargs rm -f

            以上這個指令碼定義了刪除對應兩個目錄中的檔案，保留最新的60個檔案，可以將他寫到crontab中，設定為每天凌晨2點執行一次就可以了。

第二種，使用ZK的工具類PurgeTxnLog，它的實現了一種簡單的歷史檔案清理策略，可以在這裡看一下他的使用方法：http://zookeeper.apache.org/doc/r3.4.3/api/index.html，可以指定要清理的目錄和需要保留的檔案數目，簡單使用如下：

  1. java -cp zookeeper.jar:lib/slf4j-api-1.6.1.jar:lib/slf4j-log4j12-1.6.1.jar:lib/log4j-1.2.15.jar:conf org.apache.zookeeper.server.PurgeTxnLog <dataDir><snapDir> -n <count>


第三種，對於上面這個Java類的執行，ZK自己已經寫好了指令碼，在bin/zkCleanup.sh中，所以直接使用這個指令碼也是可以執行清理工作的。

第四種，從3.4.0開始，zookeeper提供了自動清理snapshot和事務日誌的功能，通過配置 autopurge.snapRetainCount 和 autopurge.purgeInterval 這兩個引數能夠實現定時清理了。這兩個引數都是在zoo.cfg中配置的：

autopurge.purgeInterval  這個引數指定了清理頻率，單位是小時，需要填寫一個1或更大的整數，預設是0，表示不開啟自己清理功能。

autopurge.snapRetainCount 這個引數和上面的引數搭配使用，這個引數指定了需要保留的檔案數目。預設是保留3個。

本文出自 “ni掌櫃部落格” 部落格，請務必保留此出處http://nileader.blog.51cto.com/1381108/932156

相關文章