日誌切割logrotate和定時任務crontab詳解

Leon發表於2019-01-19
logrotate

1、關於日誌切割
　　日誌檔案包含了關於系統中發生的事件的有用資訊，在排障過程中或者系統效能分析時經常被用到。對於忙碌的伺服器，日誌檔案大小會增長極快，伺服器會很快消耗磁碟空間，這成了個問題。除此之外，處理一個單個的龐大日誌檔案也常常是件十分棘手的事。
　　logrotate是個十分有用的工具，它可以自動對日誌進行截斷（或輪循）、壓縮以及刪除舊的日誌檔案。例如，你可以設定logrotate，讓/var/log/foo日誌檔案每30天輪循，並刪除超過6個月的日誌。配置完後，logrotate的運作完全自動化，不必進行任何進一步的人為干預。

2、安裝logrotate

[root@localhost ~]# cat /etc/redhat-release 
CentOS release 6.9 (Final)

[root@localhost ~]# uname -r
2.6.32-696.23.1.el6.x86_64

　預設centos系統安裝自帶logrotate，如果沒有安裝可以使用yum安裝，安裝方法如下:

yum -y install logrotate crontabs

軟體包資訊說明：

[root@localhost ~]# rpm -ql logrotate
/etc/cron.daily/logrotate
/etc/logrotate.conf
/etc/logrotate.d

安裝完成之後需要啟動rsyslog：

service rsyslog start

logrotate的配置檔案是/etc/logrotate.conf，通常不需要對它進行修改。日誌檔案的輪循設定在獨立的配置檔案中，它（們）放在/etc/logrotate.d/目錄下。

3、實踐配置logrotate

3.1
測試logrotate如何管理日誌
這裡我們將建立一個10MB的日誌檔案/var/log/log-file。我們將展示怎樣使用logrotate來管理該日誌檔案。我們從建立一個日誌檔案開始吧，然後在其中填入一個10MB的隨機位元流資料檔案。

[root@localhost ~]# dd if=/dev/zero of=/var/log/log_file bs=1M count=10

現在日誌檔案已經準備好，我們將配置logrotate來輪循該日誌檔案。讓我們為該檔案建立一個配置檔案。

[root@localhost ~]# vim /etc/logrotate.d/log_file 

/var/log/log_file {

    monthly
    rotate 5
    compress
    delaycompress
    missingok
    notifempty
    create 644 root root
    postrotate
        /usr/bin/killall -HUP rsyslogd
    endscript
}

3.2配置檔案說明

  • monthly:日誌檔案將按月輪循。其它可用值為‘daily’，‘weekly’或者‘yearly’。
  • rotate 5: 一次將儲存5個歸檔日誌。對於第六個歸檔，時間最久的歸檔將被刪除。
  • compress: 在輪循任務完成後，已輪循的歸檔將使用gzip進行壓縮。

  • delaycompress:總是與compress選項一起用，delaycompress選項指示logrotate不要將最近的歸檔壓縮，壓縮 將在下一次輪循週期進行。這在你或任何軟體仍然需要讀取最新歸檔時很有用。

  • missingok: 在日誌輪循期間，任何錯誤將被忽略，例如“檔案無法找到”之類的錯誤。
  • notifempty: 如果日誌檔案為空，輪循不會進行。
  • create 644 root root: 以指定的許可權建立全新的日誌檔案，同時logrotate也會重新命名原始日誌檔案。

  • postrotate/endscript:在所有其它指令完成後，postrotate和endscript裡面指定的命令將被執行。在這種情
    況下，rsyslogd程式將立即再次讀取其配置並繼續執行。

上面的模板是通用的，而配置引數則根據你的需求進行調整，不是所有的引數都是必要的。

/var/log/log_file {
    size=50M
    rotate 5
    dateext
    create 644 root root
    postrotate
        /usr/bin/killall -HUP rsyslogd
    endscript
}

在上面的配置檔案中，我們只想要輪詢一個日誌檔案，size=50M指定日誌檔案大小可以增長到50MB,dateext指
示讓舊日誌檔案以建立日期命名。

3.3手動執行logrotate
logrotate可以在任何時候從命令列手動呼叫。
呼叫/etc/lograte.d/下配置的所有日誌：

[root@localhost ~]# logrotate /etc/logrotate.conf

要為某個特定的配置呼叫logrotate：

[root@localhost ~]# logrotate /etc/logrotate.d/log_file

排障過程中的最佳選擇是使用‘-d’選項以預演方式執行logrotate。要進行驗證，不用實際輪循任何日誌檔案，
可以模擬演練日誌輪循並顯示其輸出。

[root@localhost ~]# logrotate -d /etc/logrotate.d/log_file

reading config file /etc/logrotate.d/log_file
reading config info for /var/log/log_file 

Handling 1 logs

rotating pattern: /var/log/log_file  monthly (5 rotations)
empty log files are not rotated, old logs are removed
considering log /var/log/log_file
  log does not need rotating
not running postrotate script, since no logs were rotated

正如我們從上面的輸出結果可以看到的，logrotate判斷該輪循是不必要的。如果檔案的時間小於一天，這就會發生了。

3.4強制輪循即使輪循條件沒有滿足，我們也可以通過使用‘-f’選項來強制logrotate輪循日誌檔案，‘-v’引數提供了詳細的輸出。

[root@localhost ~]# logrotate -vf /etc/logrotate.d/log_file 

reading config file /etc/logrotate.d/log_file
reading config info for /var/log/log_file 

Handling 1 logs

rotating pattern: /var/log/log_file  forced from command line (5 rotations)
empty log files are not rotated, old logs are removed
considering log /var/log/log_file
  log needs rotating
rotating log /var/log/log_file, log->rotateCount is 5
dateext suffix `-20180503`
glob pattern `-[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]`
previous log /var/log/log_file.1 does not exist
renaming /var/log/log_file.5.gz to /var/log/log_file.6.gz (rotatecount 5, logstart 1, i 5), 
old log /var/log/log_file.5.gz does not exist
renaming /var/log/log_file.4.gz to /var/log/log_file.5.gz (rotatecount 5, logstart 1, i 4), 
old log /var/log/log_file.4.gz does not exist
renaming /var/log/log_file.3.gz to /var/log/log_file.4.gz (rotatecount 5, logstart 1, i 3), 
old log /var/log/log_file.3.gz does not exist
renaming /var/log/log_file.2.gz to /var/log/log_file.3.gz (rotatecount 5, logstart 1, i 2), 
old log /var/log/log_file.2.gz does not exist
renaming /var/log/log_file.1.gz to /var/log/log_file.2.gz (rotatecount 5, logstart 1, i 1), 
old log /var/log/log_file.1.gz does not exist
renaming /var/log/log_file.0.gz to /var/log/log_file.1.gz (rotatecount 5, logstart 1, i 0), 
old log /var/log/log_file.0.gz does not exist
log /var/log/log_file.6.gz doesn`t exist -- won`t try to dispose of it
fscreate context set to unconfined_u:object_r:var_log_t:s0
renaming /var/log/log_file to /var/log/log_file.1
creating new /var/log/log_file mode = 0644 uid = 0 gid = 0
running postrotate script
set default create context

3.5 logrotate定時任務
logrotate需要的cron任務應該在安裝時就自動建立了，我把cron檔案的內容貼出來，以供大家參考。

[root@localhost ~]# cat /etc/cron.daily/logrotate 

    #!/bin/sh
    
    /usr/sbin/logrotate /etc/logrotate.conf
    EXITVALUE=$?
    if [ $EXITVALUE != 0 ]; then
        /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
    fi
    exit 0

4、logrotate生產應用

4.1為nginx設定日誌切割、防止日誌檔案過大

    [root@localhost ~]# cat /etc/logrotate.d/nginx 
    
/var/log/nginx/*.log {
    daily
    rotate 5
    missingok
    notifempty
    create 644 www www
    postrotate
      if [ -f /application/nginx/logs/nginx.pid ]; then
          kill -USR1 `cat /application/nginx/logs/nginx.pid`
      fi
endscript
}

logrotate工具對於防止因龐大的日誌檔案而耗盡儲存空間是十分有用的。配置完畢後，程式是全自動的，可以長
時間在不需要人為干預下執行。本教程重點關注幾個使用logrotate的幾個基本樣例，你也可以定製它以滿足你的
需求。

5、常見配置引數小結：

  • daily ：指定轉儲週期為每天
  • weekly ：指定轉儲週期為每週
  • monthly ：指定轉儲週期為每月
  • rotate count ：指定日誌檔案刪除之前轉儲的次數，0指沒有備份，5 指保留5 個備份
  • tabooext [+] list：讓logrotate不轉儲指定副檔名的檔案，預設的副檔名是：.rpm-orig, .rpmsave,
    v, 和 ~
  • missingok：在日誌輪循期間，任何錯誤將被忽略，例如“檔案無法找到”之類的錯誤。
  • size size：當日志檔案到達指定的大小時才轉儲，bytes(預設)及KB(sizek)或MB(sizem)
  • compress： 通過gzip壓縮轉儲以後的日誌
  • nocompress： 不壓縮
  • copytruncate：用於還在開啟中的日誌檔案，把當前日誌備份並截斷
  • nocopytruncate： 備份日誌檔案但是不截斷
  • create mode owner group ： 轉儲檔案，使用指定的檔案模式建立新的日誌檔案
  • nocreate： 不建立新的日誌檔案
  • delaycompress： 和 compress 一起使用時，轉儲的日誌檔案到下一次轉儲時才壓縮
  • nodelaycompress： 覆蓋 delaycompress選項，轉儲同時壓縮。

  • errors address ： 專儲時的錯誤資訊傳送到指定的Email 地址

  • ifempty ：即使是空檔案也轉儲，這個是logrotate 的預設選項。
  • notifempty ：如果是空檔案的話，不轉儲

  • mail address ： 把轉儲的日誌檔案傳送到指定的E-mail地址

  • nomail ： 轉儲時不傳送日誌檔案

  • olddir directory：儲後的日誌檔案放入指定的目錄，必須和當前日誌檔案在同一個檔案系統

  • noolddir： 轉儲後的日誌檔案和當前日誌檔案放在同一個目錄下
  • prerotate/endscript： 在轉儲以前需要執行的命令可以放入這個對，這兩個關鍵字必須單獨成行

Linux下的crontab定時執行任務命令詳解

在LINUX中，週期執行的任務一般由cron這個守護程式來處理[ps -ef|grep cron]。cron讀取一個或多個配置檔案，這些配置檔案中包含了命令列及其呼叫時間。
cron的配置檔案稱為“crontab”，是“cron table”的簡寫。

一、cron服務
　　cron是一個linux下 的定時執行工具，可以在無需人工干預的情況下執行作業。
　　service crond start //啟動服務
　　service crond stop //關閉服務
　　service crond restart //重啟服務
　　service crond reload //重新載入配置
　　service crond status //檢視服務狀態

二、cron在3個地方查詢配置檔案：
1、/var/spool/cron/ 這個目錄下存放的是每個使用者包括root的crontab任務，每個任務以建立者的名字命名，比如tom建的crontab任務對應的檔案就是/var/spool/cron/tom。一般一個使用者最多隻有一個crontab檔案。

三、/etc/crontab 這個檔案負責安排由系統管理員制定的維護系統以及其他任務的crontab:

[root@localhost cron]# cat /etc/crontab 
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed

MAILTO=root：是說，當 /etc/crontab 這個檔案中的例行性命令發生錯誤時，會將錯誤訊息或者是螢幕顯示的訊息傳給誰？由於 root 並無法再使用者端收信，因此，我通常都將這個 e-mail 改成自己的賬號，好讓我隨時瞭解系統的狀態！

[root@localhost cron]# cat /etc/cron.d/0hourly 
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/
01 * * * * root run-parts /etc/cron.hourly

01 root run-parts /etc/cron.hourly：在 #run-parts 這一行以後的命令，我們可以發現，五個數字後面接的是 root ，這一行代表的是『執行的級別為root身份』當然，你也可以將這一行改為成其他的身份！而 run-parts代表後面接的 /etc/cron.hourly 是『一個目錄內（/etc/cron.hourly）的所有可執行檔案』，也就是說，每個小時的01分，系統會以root身份去/etc/cron.hourly這個目錄下執行所有可執行的檔案！後面三行也是類似的意思！你可以到 /etc/ 底下去看看，系統本來就預設了這4個目錄！你可以將每天需要執行的命令直接寫到/etc/cron.daily即可，還不需要使用到crontab -e的程式！

四、/etc/cron.d/ 這個目錄用來存放任何要執行的crontab檔案或指令碼。

五、許可權
crontab許可權問題到/etc下一看，檔案cron.allow和cron.deny是否存在
用法如下：
1、如果兩個檔案都不存在，則只有root使用者才能使用crontab命令。
2、如果cron.allow存在但cron.deny不存在，則只有列在cron.allow檔案裡的使用者才能使用crontab命令，如果root使用者也不在裡面，則root使用者也不能使用crontab。
3、如果cron.allow不存在, cron.deny存在，則只有列在cron.deny檔案裡面的使用者不能使用crontab命令，其它使用者都能使用。
4、如果兩個檔案都存在，則列在cron.allow檔案中而且沒有列在cron.deny中的使用者可以使用crontab，如果兩個檔案中都有同一個使用者，以cron.allow檔案裡面是否有該使用者為準，如果cron.allow中有該使用者，則可以使用crontab命令。

AIX 中 普通使用者預設都有 crontab 許可權，如果要限制使用者使用 crontab ,就需要編輯/etc/cron.deny
HP-UNIX 中預設普通使用者沒得crontab 許可權 ，要想放開普通使用者的crontab 許可權可以編

六、建立cron指令碼
第一步：寫cron指令碼檔案,命名為crontest.cron。
15,30,45,59 echo “xgmtest…..” >> xgmtest.txt 表示，每隔15分鐘，執行列印一次命令
第二步：新增定時任務。執行命令 “crontab crontest.cron”
第三步：”crontab -l” 檢視定時任務是否成功或者檢測/var/spool/cron下是否生成對應cron指令碼

注意：這操作是直接替換該使用者下的crontab，而不是新增

七、crontab用法
crontab命令用於安裝、刪除或者列出用於驅動cron後臺程式的表格。使用者把需要執行的命令序列放到crontab檔案中以獲得執行。每個使用者都可以有自己的crontab檔案。/var/spool/cron下的crontab檔案不可以直接建立或者直接修改。該crontab檔案是通過crontab命令建立的

在crontab檔案中如何輸入需要執行的命令和時間。該檔案中每行都包括六個域，其中前五個域是指定命令被執行的時間，最後一個域是要被執行的命令。每個域之間使用空格或者製表符分隔。格式如下：
minute hour day-of-month month-of-year day-of-week commands 合法值 00-59 00-23 01-31 01-12 0-6 (0 is sunday) 除了數字還有幾個個特殊的符號就是”“、”/”和”-“、”,”，代表所有的取值範圍內的數字，”/”代表每的意思,”/5″表示每5個單位，”-“代表從某個數字到某個數字,”,”分開幾個離散的數字。
-l 在標準輸出上顯示當前的crontab。
-r 刪除當前的crontab檔案。
-e 使用VISUAL或者EDITOR環境變數所指的編輯器編輯當前的crontab檔案。當結束編輯離開時，編輯後的檔案將自動安裝。

八、例子：
每天早上6點
0 6 * echo “Good morning.” >> /tmp/test.txt //注意單純echo，從螢幕上看不到任何輸出，因為cron把任何輸出都email到root的信箱了。

每兩個小時
0 /2 echo “Have a break now.” >> /tmp/test.txt

晚上11點到早上8點之間每兩個小時和早上八點
0 23-7/2，8 * echo “Have a good dream” >> /tmp/test.txt

每個月的4號和每個禮拜的禮拜一到禮拜三的早上11點
0 11 4 * 1-3 command line

1月1日早上4點
0 4 1 1 * command line SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root //如果出現錯誤，或者有資料輸出，資料作為郵件發給這個帳號 HOME=/

每小時執行/etc/cron.hourly內的指令碼
01 root run-parts /etc/cron.hourly
每天執行/etc/cron.daily內的指令碼
02 4 * root run-parts /etc/cron.daily

每星期執行/etc/cron.weekly內的指令碼
22 4 0 root run-parts /etc/cron.weekly

每月去執行/etc/cron.monthly內的指令碼
42 4 1 root run-parts /etc/cron.monthly

注意: “run-parts”這個引數了，如果去掉這個引數的話，後面就可以寫要執行的某個指令碼名，而不是資料夾名。 　

每天的下午4點、5點、6點的5 min、15 min、25 min、35 min、45 min、55 min時執行命令。
5，15，25，35，45，55 16，17，18 * command

每週一，三，五的下午3：00系統進入維護狀態，重新啟動系統。
00 15 1，3，5 shutdown -r +5

每小時的10分，40分執行使用者目錄下的innd/bbslin這個指令：
10，40 innd/bbslink

每小時的1分執行使用者目錄下的bin/account這個指令：
1 bin/account

每天早晨三點二十分執行使用者目錄下如下所示的兩個指令（每個指令以;分隔）：
20 3 * （/bin/rm -f expire.ls logins.bad;bin/expire$#@62;expire.1st）　　

每年的一月和四月，4號到9號的3點12分和3點55分執行/bin/rm -f expire.1st這個指令，並把結果新增在mm.txt這個檔案之後（mm.txt檔案位於使用者自己的目錄位置）。
12,55 3 4-9 1,4 * /bin/rm -f expire.1st$#@62;$#@62;mm.txt

6、參考：
1、https://www.nmtui.com/clsn/lx…
2、https://linux.cn/article-4126…
3、https://www.cnblogs.com/longj…

相關文章