Nginx日誌分析解決方案

利用Nginx強大的日誌功能可以做非常多的事情，比如點選統計、流量分析、線上人數統計以及其他高階資料探勘等。 現在簡單講解下日誌分析的思路。 一，日誌的切割 週期性切割日誌，比如每天分割一下日誌，如果不注意這點日誌檔案很快就上G，給後續工作帶來不便。 分割日誌很簡單，就是把日誌檔案複製到別的地方，然後再通知讓 Nginx 重新生成日誌就可以了。 shell指令碼如下： #!/bin/bash logs_path="/nginx/logs/" mv ${logs_path}access.log ${logs_path}access_$(date -d "yesterday" +"%Y%m%d").log kill -USR1 `cat /nginx/logs/nginx.pid` 其中 "/nginx/logs" 指的是nginx的log日誌檔案所在目錄，生成的日誌檔案是以昨天日期命名的。 為了達到每天自動分割的目的，在crontab中加入以下部分： 1 0 * * * sh /home/zyf/sh/cut_nginx_log.sh 這樣就每天的0點1分把nginx日誌重新命名為日期格式，並重新生成今天的新日誌檔案。 二，Awstats的配置 日誌檔案分割好了，接下來就是分析了，也就是工具軟體Awstats的使用了。 Awstats的配置檔案預設會儲存在/etc/awstats/目錄下，包括你安裝時設定的域名如：awstats.www.xxxxke.com.conf。 在這個配置檔案中修改這個地方： LogFile="/nginx/logs/access_%YYYY-24%MM-24%DD-24.log" 這個意思是要去讀取nginx昨天的日誌檔案，關於後邊%YYYY-24%MM-24%DD-24的設定，規則如下： # You can also use tags in this filename if you need a dynamic file name # depending on date or time (Replacement is made by AWStats at the beginning # of its execution). This is available tags : # %YYYY-n is replaced with 4 digits year we were n hours ago # %YY-n is replaced with 2 digits year we were n hours ago # %MM-n is replaced with 2 digits month we were n hours ago # %MO-n is replaced with 3 letters month we were n hours ago # %DD-n is replaced with day we were n hours ago # %HH-n is replaced with hour we were n hours ago # %NS-n is replaced with number of seconds at 00:00 since 1970 # %WM-n is replaced with the week number in month (1-5) # %Wm-n is replaced with the week number in month (0-4) # %WY-n is replaced with the week number in year (01-52) # %Wy-n is replaced with the week number in year (00-51) # %DW-n is replaced with the day number in week (1-7, 1=sunday) # use n=24 if you need (1-7, 1=monday) # %Dw-n is replaced with the day number in week (0-6, 0=sunday) # use n=24 if you need (0-6, 0=monday) # Use 0 for n if you need current year, month, day, hour 三，開始分析、生成結果 最後，可以執行分析了。 使用這個命令： /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.xxxxke.com 這個命令會把結果生成到/var/lib/awstats 目錄下 awstatsXXXX.www.XXXX.com.txt檔案。 當然這樣看起來不太方便，可以再用下面的命令來生成html頁面，更加直觀。 perl /usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.xxxxoke.com -lang=cn -dir=/html/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl 這樣就會在/html/awstats目錄下生成很直觀的分析結果頁。 四,自動化 要是每天都去伺服器上執行幾條命令肯定是件令人煩燥的事情，幸虧Linux的世界裡有crontab， 下面是從網友那找的 crontab 1 0 * * * sh /home/zyf/sh/cut_nginx_log.sh 0 1 * * * /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.xxxxke.com 0 2 * * * perl /usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.xxxxke.com -lang=cn -dir=/html/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl LogFile="/usr/local/nginx/logs/%YYYY-24/%MM-24/expotia2.access_%YYYY-24%MM-24%DD-24.log" log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"';