Centos下Nginx配置WEB訪問日誌並結合shell指令碼定時切割

OldBoy~發表於2018-01-10
CentOSNginxWeb指令碼

在一個成熟的WEB系統裡，沒有日誌管理是不可以的，有了日誌，可以幫助你得到使用者地域來源、跳轉來源、使用終端、某個URL訪問量等相關資訊；通過錯誤日誌，你可以得到系統某個服務或server的效能瓶頸等。因此，將日誌好好利用，你可以得到很多有價值的資訊。

日誌格式及定義

（1）log_format
log_format用來設定日誌格式，也就是日誌檔案中每條日誌的格式，具體如下：
log_format name(格式名稱) type(格式樣式)

log_format main '$server_name $remote_addr - $remote_user [$time_local] "$request" '
'$status $uptream_status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for" '
'$ssl_protocol $ssl_cipher $upstream_addr $request_time $upstream_response_time';

引數說明：

$server_name：虛擬主機名稱。
$remote_addr：遠端客戶端的IP地址。
-：空白，用一個“-”佔位符替代，歷史原因導致還存在。
$remote_user：遠端客戶端使用者名稱稱，用於記錄瀏覽者進行身份驗證時提供的名字，如登入百度的使用者名稱scq2099yt，如果沒有登入就是空白。
[$time_local]：訪問的時間與時區，比如18/Jul/2012:17:00:01 +0800，時間資訊最後的"+0800"表示伺服器所處時區位於UTC之後的8小時。
$request：請求的URI和HTTP協議，這是整個PV日誌記錄中最有用的資訊，記錄伺服器收到一個什麼樣的請求
$status：記錄請求返回的http狀態碼，比如成功是200。
$uptream_status：upstream狀態，比如成功是200.
$body_bytes_sent：傳送給客戶端的檔案主體內容的大小，比如899，可以將日誌每條記錄中的這個值累加起來以粗略估計伺服器吞吐量。
$http_referer：記錄從哪個頁面連結訪問過來的。 
$http_user_agent：客戶端瀏覽器資訊
$http_x_forwarded_for：客戶端的真實ip，通常web伺服器放在反向代理的後面，這樣就不能獲取到客戶的IP地址了，通過$remote_add拿到的IP地址是反向代理伺服器的iP地址。反向代理伺服器在轉發請求的http頭資訊中，可以增加x_forwarded_for資訊，用以記錄原有客戶端的IP地址和原來客戶端的請求的伺服器地址。
$ssl_protocol：SSL協議版本，比如TLSv1。
$ssl_cipher：交換資料中的演算法，比如RC4-SHA。 
$upstream_addr：upstream的地址，即真正提供服務的主機地址。 
$request_time：整個請求的總時間。 
$upstream_response_time：請求過程中，upstream的響應時間。

（2）access_log

access_log指令用來指定日誌檔案的存放路徑（包含日誌檔名）、格式和快取大小，具體如下：
access_log path(存放路徑) [format(自定義日誌格式名稱) [buffer=size | off]]
舉例說明如下：
access_log logs/access.log main;
如果想關閉日誌，可以如下：
access_log off;
能夠使用access_log指令的欄位包括：http、server、location。
需要注意的是：Nginx程式設定的使用者和組必須對日誌路徑有建立檔案的許可權，否則，會報錯。
小技巧：如果需要在access_log中記錄post請求的引數，可以參考這裡。
Nginx支援為每個location指定強大的日誌記錄。同樣的連線可以在同一時間輸出到不止一個的日誌中，更多資訊請檢視這裡，這裡，還有這裡。

下面拿我本地的虛擬機器來簡單配置一下日誌，並獲取日誌資訊。

日誌生成的到Nginx根目錄logs/access.log檔案，預設使用“main”日誌格式，也可以自定義格式。

在Nginx下配置的虛擬主機

server {
 listen 80;
 server_name mytest.com;
 location / {
    root /data/wwwroot/default/mytest;   //網站目錄
    index index.html;
 }
 access_log  /data/wwwlogs/mytest_log/access_nginx.log main; //日誌路徑
 當然也可以配置錯誤日誌路徑error_log......

}

Nginx主配置檔案的配置規則

http { 
  include mime.types;
  log_format  main '$remote_addr - $remote_user  [$time_local]  "$request" '
                        '$status  $body_bytes_sent "http_referer" '
                        ' "$http_user_agent" "$http_x_forwarded_for" ';
......
}

記得配置完成先命令測試下是否OK，然後在重新載入配置檔案

[root@localhost mytest_log]# nginx -tc /usr/local/nginx/conf/nginx.conf
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful

 下面來說一下定時切割（雖然新版的Nginx已經支援）

根據上面的配置，確定了日誌路徑之後，我在/data/crontab目錄下建立了一個指令碼

#!/bin/bash
LOGPATH=/data/wwwlogs/mytest_log/access_nginx.log //nginx的日誌路徑
BAKPATH=/data/wwwlogs/bak  //要備份的路徑
bak=$BAKPATH/$(date -d yesterday +%Y%m%d%H%M).mytest.access.log  //定義了的bak變數
echo $bak  //執行輸出一下
[root@localhost crontab]# chmod 777 nginx_log.sh   //賦許可權
[root@localhost crontab]# ./nginx_log.sh  //執行指令碼
/data/wwwlogs/bak/201801101205.mytest.access.log //輸出的格式

完整指令碼如下

#!/bin/bash
#設定日誌檔案存放目錄
LOGPATH=/data/wwwlogs/mytest_log/access_nginx.log
BAKPATH=/data/wwwlogs/bak
 #備分檔名稱
bak=$BAKPATH/$(date -d yesterday +%Y%m%d%H%M).mytest.access.log
#echo $bak
 #重新命名日誌檔案
mv $LOGPATH $bak
touch $LOGPATH
 #向nginx主程式發訊號重新開啟日誌,確保nginx.pid路徑正確
 #[root@localhost wwwlogs]# find / -name nginx.pid
 #/var/run/nginx.pid
kill -USR1 `cat  /var/run/nginx.pid`

 然後建立定時器

關於定時器詳細的講解在http://www.cnblogs.com/wt645631686/p/6868672.html下

01 00 * * * /data/crontab/nginx_log.sh  # 每天0時1分(建議在02-04點之間,系統負載小)

檢視一下/data/wwwlogs/bak就會有日誌檔案了

相關文章