Log-Cutter 是JessMA開源組織開發的一個簡單實用的日誌切割清理工具。對於伺服器的日常維護來說,日誌清理是非常重要的事情,如果殘留日誌過多則嚴重浪費磁碟空間同時影響服務的效能。如果用手工方式進行清理,會花費太多時間,並且很多時候難以滿足實際要求。例如:如何在每個星期六凌晨3點把超過 2G 大的日誌檔案進行切割,保留最新的 100M 日誌記錄? 網上沒有發現能滿足本座要求的日誌切割工具,因此花了一些閒暇時間自己寫了一個。由於要在多個平臺上使用,為了方便採用 Java 實現。本工具命名為 Log-Cutter,主要有以下特點:
- 支援 Linux、Mac 和 Windows 等所有常見作業系統平臺
- 支援命令列互動式執行
- 支援後臺非互動式執行(Linux/MAC 下使用 daemon 程式實現,Windows 用系統 Service 實現)
- 支援三種日誌清理方式(刪除日誌檔案、切割日誌檔案或歸檔日誌檔案)
- 支援對 GB18030、UTF-8、UTF-16LE、UTF-16BE 等常用日誌檔案型別進行切割
- 高度可配置(程式執行週期、要刪除的日誌檔案過期時間、要切割的日誌檔案閥值和保留大小等均可配置
Log-Cutter 下載地址:https://github.com/ldcsaa/
- 使用方法
************************************************************** **** LogCutter - JessMA Open Source, all rights reserved. **** ************************************************************** 一、環境要求 -------------------------------------------------- 1) Java 版 本: JDK / JRE 1.6 以上 2) 依賴程式包: dom4j、log4j、ant、juniversalchardet -------------------------------------------------- 二、配置檔案 -------------------------------------------------- 1) 程式配置檔案: conf/config.xml (預設) (示例參考:conf/config-template.xml) 2) 日誌配置檔案: conf/log4j2.xml (預設) (示例請參考:conf/log4j2.xml) -------------------------------------------------- 三、安裝部署 (注 :LogCutter 需要配置 ‘JAVA_HOME’ / ‘JRE_HOME’ 和 ‘CLASSPATH’ 系統環境變數) -------------------------------------------------- 1) 配置系統環境變數 ‘JAVA_HOME’(或 ‘JRE_HOME’) 和 ‘CLASSPATH’ 2) 在 LogCutter配置檔案(預設:conf/config.xml)中配置清理規則 3) 啟動 LogCutter -------------------------------------------------- 四、啟動方式 -------------------------------------------------- 1) Windows A) 前臺執行: > run.bat [ -f config-file ] B) 後臺執行: > LogCutter.exe { -install-demand (安裝手動啟動服務) -install-auto (安裝自動啟動服務) -uninstall (刪除服務) -start (啟動服務) -stop (停止服務) -status (檢視服務狀態) } *** 注 *** @ LogCutter.exe 以 Windows 服務的方式執行,安裝好後可以通過 Windows 服務管理器進行管理 @ LogCutter.exe 是32位程式,LogCutter_x64.exe 是64位程式,根據當前系統平臺使用其中之一 C) 單次執行: > run.bat -1 [ -f config-file ] 2) Linux / Unix A) 前臺執行: [ ubbcodeplace_1 ]nbsp;run.sh [ -f config-file ] B) 後臺執行: [ ubbcodeplace_1 ]nbsp;run.sh [ -f config-file ] -d C) 單次執行: [ ubbcodeplace_1 ]nbsp;run.sh -1 [ -f config-file ] [ -d ] *** 注 *** @ 可以把 run.sh 啟動命令加入 /etc/rc.d/rc.local 中,從而設定為開機時自動執行 @ 可以把 run.sh -1 放入 CronTab 中定期執行,並且不用常駐記憶體,如: ## 30 2 * * 2,4,6 root /usr/local/LogCutter/bin/run.sh -1 > /dev/null --------------------------------------------------詳細說明與使用方法參考:《操作指南》
- 配置檔案
<?xml version="1.0" encoding="UTF-8"?> <CONFIG xmlns="http://www.jessma.org" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.jessma.org http://www.jessma.org/schema/log-cutter-cfg-2.0.xsd"> <global> <!-- 開始日誌檢查延時 (小時), 預設: 0 (立刻開始) 1) 當指定為一個整數值時,執行器首次啟動延時時間為該值設定的小時數 (例如:12 小時後首次啟動執行器) <start-check-delay>12</start-check-delay> 2) 當指定為一個 ‘hh:mm’ 格式的值時,執行器首次啟動時間為該時分值 (例如:12 點 34 分首次啟動執行器,如果當前時間超過 12 點 34 分則在明天的 12 點 34 分首次啟動執行器) <start-check-delay>12:34</start-check-delay> --> <!-- 02 點 30 分首次啟動執行器 --> <start-check-delay>02:30</start-check-delay> <!-- 日誌檢查間隔 (小時), 預設: 72 --> <check-interval></check-interval> <!-- Log4J 配置檔案, 預設: ${CLASS_ROOT}/../conf/log4j.properties --> <log4j-config-file></log4j-config-file> <!-- 程式鎖檔案, 預設: ${CLASS_ROOT}/../${APP_NAME}.lock --> <lock-file></lock-file> </global> <!-- 要刪除的日誌檔案列表(可配置多個,由 DelFileRunner 執行) 1) DelFileRunner 會遞迴刪除符合條件的資料夾及其中的所有檔案 2) 注意:在判斷是否刪除資料夾時,檢測的是資料夾的最後修改時間,而不是其中檔案的最後修改時間 3) DelFileRunner 適用於清理 “定期產生新日誌檔案” 的應用程式日誌 --> <!-- delete-files.expire: 日誌檔案過期時間(天), 預設: 90 --> <delete-files expire="30"> <!-- file.path: 檔案所在目錄, 必須填寫, 不能包含萬用字元 --> <!-- file: 檔案或資料夾名稱, 必須填寫, 可包含萬用字元 --> <file path="/opt/LogCutter/logs">LogCutter.log*</file> <file path="/opt/hMailServer/Logs">*.log</file> <file path="/opt/tomcat-6.0/logs">*.log</file> </delete-files> <delete-files expire="365"> <file path="~/backup">*</file> </delete-files> <!-- 要截斷的日誌檔案列表(可配置多個,由 CutFileRunner 執行) 1) CutFileRunner 只會掃描符合條件的檔案,不會掃描資料夾 2) CutFileRunner 會截斷檔案的前部內容,保留後部內容 3) CutFileRunner 適用於清理 “日誌檔案不斷追加增長” 的應用程式日誌 --> <!-- cut-files.threshold: 日誌檔案截斷閥值(KB), 預設: 10240 --> <!-- cut-files.reserve: 日誌檔案保留內容(KB), 預設: 1024 --> <!-- <!注!> 'cut-files.reserve' 是保留內容的近似值, 實際內容按行取整保留 如下列日誌檔案內容: ...... ...... ...... line1: xxxxxxxxxxxxxxxxxxxxx line2: xxxxxxxxxxPyyyyyyyyyy line3: zzzzzzzzzzzzzzzzzzzzz line4: zzzzzzzzzzzzzzzzzzzzz ...... ...... ...... (EOF) 'P'為定位得到的保留起點, 程式實際會在'P'點開始查詢下一個換行符, 從該換行符的後一個字元開始保留, 也就是從第三行開始保留到檔案末尾 --> <cut-files threshold="10240" reserve="512"> <file path="/opt/apache-2.2/logs">*.log</file> <file path="/opt/mysql-server-5.1/data">*.err</file> </cut-files> <!-- 要歸檔的日誌檔案列表(可配置多個,由 ArcFileRunner 執行) 1) ArcFileRunner 把符合條件的檔案或資料夾壓縮歸檔到指定目錄,並刪除原檔案或資料夾 2) 歸檔檔案格式:{原檔案/資料夾名稱}_{系統時間}.zip 3) 注意:在判斷是否歸檔資料夾時,檢測的是資料夾的最後修改時間,而不是其中檔案的最後修改時間 4) ArcFileRunner 適用於清理 “定期產生新日誌檔案或日誌目錄” 的應用程式日誌 --> <!-- archive-files.expire: 日誌檔案過期時間(天), 預設: 90 --> <!-- archive-files.archive-path: 日誌檔案歸檔目錄 --> <archive-files expire="120" archive-path="~/backup"> <file path="/opt/mysql-server-5.1/data">mysql-bin.*</file> </archive-files> </CONFIG>
Log-Cutter 2.0.2 更新:
1、增加檔案歸檔執行器 ArcFileRunner
1) ArcFileRunner 把符合條件的檔案或資料夾壓縮歸檔到指定目錄,並刪除原檔案或資料夾
2) 屬性 expire 指定歸檔到期時間,屬性 archive-path 指定歸檔目錄
3) 歸檔檔案格式:{原檔案/資料夾名稱}_{系統時間}.zip
<!-- 例如:下面的配置把最後修改時間超過 90 天的檔案或資料夾歸檔到 ‘E:\backup’ 目錄 --> <archive-files archive-path="E:\backup" expire=90> <file path="X:\MyApp\logs">*</file> <file path="X:\nginx-1.4.1\logs">*.log</file> </archive-files>
2、支援多組檔案清理策略
1) config.xml 可以配置多項 <delete-files>、<cut-files> 或 <archive-files>
2) 不同的配置項可以使用不同的清理策略引數
<!-- 例如:下面配置的兩組歸檔清理策略中,分別指定不同的歸檔到期時間和歸檔目錄 --> <archive-files archive-path="E:\backup" expire=90> <file path="X:\MyApp\logs">*</file> <file path="X:\nginx-1.4.1\logs">*.log</file> </archive-files> <archive-files archive-path="E:\backup2" expire=300> <file path="X:\MyApp2\logs">*</file> <file path="X:\Tomcat-6\logs">*.log</file> </archive-files>
3、檔案刪除執行器 DelFileRunner 支援遞迴刪除資料夾
1) DelFileRunner 會遞迴刪除符合條件的資料夾及其中的所有檔案
2) 注意:在判斷是否刪除資料夾時,檢測的是資料夾的最後修改時間,而不是其中檔案的最後修改時間
<!-- 例如:下面的配置會刪除 logs 目錄下所有最後修改時間超過 90 天的檔案或資料夾 --> <delete-files expire=90> <file path="X:\MyApp\logs">*</file> </delete-files>
4、執行器首次啟動延時配置 ‘<start-check-delay>’ 支援指定絕對時間
1) 當指定為一個整數值時,執行器首次啟動延時時間為該值設定的小時數
2) 當指定為一個 ‘hh:mm’ 格式的值時,執行器首次啟動時間為該時分值
<!--(例如)--> <!-- 12 小時後首次啟動執行器 --> <start-check-delay>12</start-check-delay> <!-- 12 點 34 分首次啟動執行器,如果當前時間超過 12 點 34 分則在明天的 12 點 34 分首次啟動執行器 --> <start-check-delay>12:34</start-check-delay>
5、增加單次執行模式(running-only-once mode)
1) 在單次執行模式下,LogCutter 在啟動時立刻執行所有執行器,當所有執行器執行完畢後退出程式
2) 單次執行模式可避免 LogCutter 作為常駐程式一直執行,配合 CronTab 等任務排程器一起使用則能達到定時清理的目的
3) 在單次執行模式下 執行 LogCutter 會忽略配置檔案的 ‘start-check-delay’ 和 ‘check-interval’ 配置項
4) 通過命令列引數 ‘-1’ 指示使用單次執行模式啟動 LogCutter
(例如)
Windows : > run.bat -1
Unix/Linux : > run.sh -1 [ -d ]
6、優化啟動指令碼 run.sh / run.bat
1) 只需配置好系統環境變數 ‘JAVA_HOME’(或 ‘JRE_HOME’) 和 ‘CLASSPATH’ 即可通過啟動指令碼執行 LogCutter
2) 啟動指令碼接受命令列引數並傳遞到 LogCutter 程式中。其中 run.sh 通過額外的引數 ‘-d’ 指示後臺執行 LogCutter
相關連結
- Log-Cutter 的詳細介紹:請點這裡
- Log-Cutter 的下載地址:請點這裡
- Log-Cutter 的原始碼地址:http://git.oschina.net/ldcsaa/Log-Cutter
來自:開源中國
相關閱讀
評論(1)