跨平臺日誌清理工具 Log-Cutter v2.0.2 正式釋出

edithfang發表於2014-10-22

      


Log-Cutter 是JessMA開源組織開發的一個簡單實用的日誌切割清理工具。對於伺服器的日常維護來說,日誌清理是非常重要的事情,如果殘留日誌過多則嚴重浪費磁碟空間同時影響服務的效能。如果用手工方式進行清理,會花費太多時間,並且很多時候難以滿足實際要求。例如:如何在每個星期六凌晨3點把超過 2G 大的日誌檔案進行切割,保留最新的 100M 日誌記錄? 網上沒有發現能滿足本座要求的日誌切割工具,因此花了一些閒暇時間自己寫了一個。由於要在多個平臺上使用,為了方便採用 Java 實現。本工具命名為 Log-Cutter,主要有以下特點:
  • 支援 Linux、Mac 和 Windows 等所有常見作業系統平臺
  • 支援命令列互動式執行
  • 支援後臺非互動式執行(Linux/MAC 下使用 daemon 程式實現,Windows 用系統 Service 實現)
  • 支援三種日誌清理方式(刪除日誌檔案、切割日誌檔案或歸檔日誌檔案)
  • 支援對 GB18030、UTF-8、UTF-16LE、UTF-16BE 等常用日誌檔案型別進行切割
  • 高度可配置(程式執行週期、要刪除的日誌檔案過期時間、要切割的日誌檔案閥值和保留大小等均可配置
Log-Cutter 官方網站:http://www.jessma.org 

Log-Cutter 下載地址:https://github.com/ldcsaa/
  • 使用方法
**************************************************************
**** LogCutter - JessMA Open Source, all rights reserved. ****
**************************************************************

一、環境要求
--------------------------------------------------
1) Java 版 本: JDK / JRE 1.6 以上
2) 依賴程式包: dom4j、log4j、ant、juniversalchardet
--------------------------------------------------

二、配置檔案
--------------------------------------------------
1) 程式配置檔案: conf/config.xml (預設)
    (示例參考:conf/config-template.xml)
2) 日誌配置檔案: conf/log4j2.xml (預設)
    (示例請參考:conf/log4j2.xml)
--------------------------------------------------

三、安裝部署
(注 :LogCutter 需要配置 ‘JAVA_HOME’ / ‘JRE_HOME’ 和 ‘CLASSPATH’ 系統環境變數)
--------------------------------------------------
1) 配置系統環境變數 ‘JAVA_HOME’(或 ‘JRE_HOME’) 和 ‘CLASSPATH’
2) 在 LogCutter配置檔案(預設:conf/config.xml)中配置清理規則
3) 啟動 LogCutter
--------------------------------------------------

四、啟動方式
--------------------------------------------------
1) Windows
    A) 前臺執行: > run.bat [ -f config-file ]
    
    B) 後臺執行: > LogCutter.exe  {    
                                    -install-demand  (安裝手動啟動服務)
                                    -install-auto    (安裝自動啟動服務)
                                    -uninstall       (刪除服務)
                                    -start           (啟動服務)
                                    -stop            (停止服務)
                                    -status          (檢視服務狀態)
                                 }

    *** 注 *** 
    @ LogCutter.exe 以 Windows 服務的方式執行,安裝好後可以通過 Windows 服務管理器進行管理
    @ LogCutter.exe 是32位程式,LogCutter_x64.exe 是64位程式,根據當前系統平臺使用其中之一

    C) 單次執行: > run.bat -1 [ -f config-file ]

2) Linux / Unix
    A) 前臺執行: [        ubbcodeplace_1        ]nbsp;run.sh [ -f config-file ]
    B) 後臺執行: [        ubbcodeplace_1        ]nbsp;run.sh [ -f config-file ] -d
    C) 單次執行: [        ubbcodeplace_1        ]nbsp;run.sh -1 [ -f config-file ] [ -d ]

    *** 注 ***
    @ 可以把 run.sh 啟動命令加入 /etc/rc.d/rc.local 中,從而設定為開機時自動執行
    @ 可以把 run.sh -1 放入 CronTab 中定期執行,並且不用常駐記憶體,如:
      ## 30 2 * * 2,4,6 root /usr/local/LogCutter/bin/run.sh -1 > /dev/null
--------------------------------------------------
   詳細說明與使用方法參考:《操作指南
  •  配置檔案 
<?xml version="1.0" encoding="UTF-8"?>
<CONFIG    xmlns="http://www.jessma.org"
        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
        xsi:schemaLocation="http://www.jessma.org http://www.jessma.org/schema/log-cutter-cfg-2.0.xsd">
    <global>
        <!-- 開始日誌檢查延時 (小時), 預設: 0 (立刻開始)
          1) 當指定為一個整數值時,執行器首次啟動延時時間為該值設定的小時數
              (例如:12 小時後首次啟動執行器)
              <start-check-delay>12</start-check-delay>
          2) 當指定為一個 ‘hh:mm’ 格式的值時,執行器首次啟動時間為該時分值
              (例如:12 點 34 分首次啟動執行器,如果當前時間超過 12 點 34 分則在明天的 12 點 34 分首次啟動執行器)
                <start-check-delay>12:34</start-check-delay>
        -->
        <!-- 02 點 30 分首次啟動執行器 -->
        <start-check-delay>02:30</start-check-delay>
        <!-- 日誌檢查間隔 (小時), 預設: 72 -->
        <check-interval></check-interval>
        <!-- Log4J 配置檔案, 預設: ${CLASS_ROOT}/../conf/log4j.properties -->
        <log4j-config-file></log4j-config-file>
        <!-- 程式鎖檔案, 預設: ${CLASS_ROOT}/../${APP_NAME}.lock -->
        <lock-file></lock-file>
    </global>
    
    <!-- 要刪除的日誌檔案列表(可配置多個,由 DelFileRunner 執行)
      1) DelFileRunner 會遞迴刪除符合條件的資料夾及其中的所有檔案
      2) 注意:在判斷是否刪除資料夾時,檢測的是資料夾的最後修改時間,而不是其中檔案的最後修改時間
      3) DelFileRunner 適用於清理 “定期產生新日誌檔案” 的應用程式日誌
    -->
    <!-- delete-files.expire: 日誌檔案過期時間(天), 預設: 90 -->
    <delete-files expire="30">
        <!-- file.path: 檔案所在目錄, 必須填寫, 不能包含萬用字元 -->
        <!-- file: 檔案或資料夾名稱, 必須填寫, 可包含萬用字元 -->
        <file path="/opt/LogCutter/logs">LogCutter.log*</file>
        <file path="/opt/hMailServer/Logs">*.log</file>
        <file path="/opt/tomcat-6.0/logs">*.log</file>
    </delete-files>
    <delete-files expire="365">
        <file path="~/backup">*</file>
    </delete-files>
    
    <!-- 要截斷的日誌檔案列表(可配置多個,由 CutFileRunner 執行)
        1) CutFileRunner 只會掃描符合條件的檔案,不會掃描資料夾
        2) CutFileRunner 會截斷檔案的前部內容,保留後部內容
        3) CutFileRunner 適用於清理 “日誌檔案不斷追加增長” 的應用程式日誌
    -->
    <!-- cut-files.threshold:    日誌檔案截斷閥值(KB), 預設: 10240 -->
    <!-- cut-files.reserve:      日誌檔案保留內容(KB), 預設: 1024 -->
    <!--
         <!注!> 'cut-files.reserve' 是保留內容的近似值, 實際內容按行取整保留
            如下列日誌檔案內容:
                ...... ...... ......
                 line1: xxxxxxxxxxxxxxxxxxxxx
                 line2: xxxxxxxxxxPyyyyyyyyyy
                 line3: zzzzzzzzzzzzzzzzzzzzz
                 line4: zzzzzzzzzzzzzzzzzzzzz
                 ...... ...... ...... (EOF)
             'P'為定位得到的保留起點, 程式實際會在'P'點開始查詢下一個換行符,
             從該換行符的後一個字元開始保留, 也就是從第三行開始保留到檔案末尾
    -->
    <cut-files threshold="10240" reserve="512">
        <file path="/opt/apache-2.2/logs">*.log</file>
        <file path="/opt/mysql-server-5.1/data">*.err</file>
    </cut-files>
    
    <!-- 要歸檔的日誌檔案列表(可配置多個,由 ArcFileRunner 執行)
      1) ArcFileRunner 把符合條件的檔案或資料夾壓縮歸檔到指定目錄,並刪除原檔案或資料夾
      2) 歸檔檔案格式:{原檔案/資料夾名稱}_{系統時間}.zip
      3) 注意:在判斷是否歸檔資料夾時,檢測的是資料夾的最後修改時間,而不是其中檔案的最後修改時間
      4) ArcFileRunner 適用於清理 “定期產生新日誌檔案或日誌目錄” 的應用程式日誌
    -->
    <!-- archive-files.expire:          日誌檔案過期時間(天), 預設: 90 -->
    <!-- archive-files.archive-path:    日誌檔案歸檔目錄 -->
    <archive-files expire="120" archive-path="~/backup">
        <file path="/opt/mysql-server-5.1/data">mysql-bin.*</file>
    </archive-files>
</CONFIG>

Log-Cutter 2.0.2 更新:

1、增加檔案歸檔執行器 ArcFileRunner

1) ArcFileRunner 把符合條件的檔案或資料夾壓縮歸檔到指定目錄,並刪除原檔案或資料夾 

2) 屬性 expire 指定歸檔到期時間,屬性 archive-path 指定歸檔目錄 

3) 歸檔檔案格式:{原檔案/資料夾名稱}_{系統時間}.zip
<!-- 例如:下面的配置把最後修改時間超過 90 天的檔案或資料夾歸檔到 ‘E:\backup’ 目錄 -->
<archive-files archive-path="E:\backup" expire=90>
    <file path="X:\MyApp\logs">*</file>
    <file path="X:\nginx-1.4.1\logs">*.log</file>
</archive-files>

2、支援多組檔案清理策略
   
1) config.xml 可以配置多項 <delete-files>、<cut-files> 或 <archive-files>

2) 不同的配置項可以使用不同的清理策略引數
<!-- 例如:下面配置的兩組歸檔清理策略中,分別指定不同的歸檔到期時間和歸檔目錄 -->
<archive-files archive-path="E:\backup" expire=90>
    <file path="X:\MyApp\logs">*</file>
    <file path="X:\nginx-1.4.1\logs">*.log</file>
</archive-files>
<archive-files archive-path="E:\backup2" expire=300>
    <file path="X:\MyApp2\logs">*</file>
    <file path="X:\Tomcat-6\logs">*.log</file>
</archive-files>

3、檔案刪除執行器 DelFileRunner 支援遞迴刪除資料夾

1) DelFileRunner 會遞迴刪除符合條件的資料夾及其中的所有檔案
   
2) 注意:在判斷是否刪除資料夾時,檢測的是資料夾的最後修改時間,而不是其中檔案的最後修改時間
<!-- 例如:下面的配置會刪除 logs 目錄下所有最後修改時間超過 90 天的檔案或資料夾 -->
<delete-files expire=90>
    <file path="X:\MyApp\logs">*</file>
</delete-files>

4、執行器首次啟動延時配置 ‘<start-check-delay>’ 支援指定絕對時間
  
1) 當指定為一個整數值時,執行器首次啟動延時時間為該值設定的小時數
   
2) 當指定為一個 ‘hh:mm’ 格式的值時,執行器首次啟動時間為該時分值
<!--(例如)-->
<!-- 12 小時後首次啟動執行器 -->
<start-check-delay>12</start-check-delay>
<!-- 12 點 34 分首次啟動執行器,如果當前時間超過 12 點 34 分則在明天的 12 點 34 分首次啟動執行器 -->
<start-check-delay>12:34</start-check-delay>

5、增加單次執行模式(running-only-once mode)

1) 在單次執行模式下,LogCutter 在啟動時立刻執行所有執行器,當所有執行器執行完畢後退出程式 

2) 單次執行模式可避免 LogCutter 作為常駐程式一直執行,配合 CronTab 等任務排程器一起使用則能達到定時清理的目的 

 3) 在單次執行模式下 執行 LogCutter 會忽略配置檔案的 ‘start-check-delay’ 和 ‘check-interval’ 配置項 

 4) 通過命令列引數 ‘-1’ 指示使用單次執行模式啟動 LogCutter

(例如) 

Windows : > run.bat -1 
Unix/Linux : > run.sh -1 [ -d ]

6、優化啟動指令碼 run.sh / run.bat

1) 只需配置好系統環境變數 ‘JAVA_HOME’(或 ‘JRE_HOME’) 和 ‘CLASSPATH’ 即可通過啟動指令碼執行 LogCutter 

2) 啟動指令碼接受命令列引數並傳遞到 LogCutter 程式中。其中 run.sh 通過額外的引數 ‘-d’ 指示後臺執行 LogCutter


相關連結
來自:開源中國
相關閱讀
評論(1)

相關文章