ELK監控nginx日誌總結

newknight發表於2022-03-07
Nginx

ELK介紹

ELK即ElasticSearch + Logstash + kibana

  • ES:作為儲存引擎
  • Logstash：用來採集日誌
  • Kibana可以將ES中的資料進行視覺化，可以進行資料分析中常見的對屬性求和、平均值、計數，按照時間戳或其他日誌展示出來
    整體的流程就是先把logstash啟動，讀取nginx日誌資料儲存到ES中，再用kibana進行統計以及視覺化

一.nginx

第一步需要先把nginx的日誌格式修改為json格式，這樣方便logstash讀取
找到配置檔案位置，我的是在/usr/local/nginx/conf
在其中新增

    log_format main_json '{"@timestamp": "$time_local", '
                        '"remote_addr": "$remote_addr", '
                        '"referer": "$http_referer", '
                        '"request": "$request", '
                        '"status": $status, '
                        '"bytes": $body_bytes_sent, '
                        '"agent": "$http_user_agent", '
                        '"x_forwarded": "$http_x_forwarded_for", '
                        '"up_addr": "$upstream_addr",'
                        '"up_host": "$upstream_http_host",'
                        '"up_resp_time": "$upstream_response_time",'
                        '"request_time": "$request_time"'
                        ' }';

    access_log  logs/access.log main_json; # 引用日誌格式名稱

改完以後日誌的格式就會變為json字串，如下所示

{
    "@timestamp": "25/Feb/2022:10:58:15 +0800",
    "remote_addr": "192.168.2.95",
    "referer": "-",
    "request": "GET /api/getScreenshot?url=http://www.qhjyedu.com/0e/bd/c12a3773/page.htm&path=/data2/ncs-cyber/mirror/page_image/situation_image/gdzx20211020/ddd38417-971b-400f-b430-834022c57d97.png&errorKeyWord=中國民族偉大復興&successKeyWord=中華民族偉大復興 HTTP/1.1",
    "status": 304,
    "bytes": 0,
    "agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36",
    "x_forwarded": "-",
    "up_addr": "192.168.3.222:9848",
    "up_host": "-",
    "up_resp_time": "12.193",
    "request_time": "12.193"
}

二.logstash

接著便是寫logstash配置檔案了，自己寫一個配置檔案，我的名字叫做nginx-access.conf，配置如下

input {
    file {
        path => ["/usr/local/nginx/logs/access.log"]   # 讀取日誌檔案的路徑
	start_position => "beginning"
	codec => json {    # 這裡是將json字串轉化為json，不然的話會在es中存一個<屬性,json字串>
		charset => ["UTF-8"]
		}
    }
}
filter {  # 簡單處理，無過濾操作
    }
output {
    elasticsearch {
        hosts => ["你的ip:port"]  # 你的es的ip+埠
	index => "logstash-nginx-access-%{+YYYY.MM.dd}" # 你的索引名
	
    }
    stdout {
        codec => rubydebug
    }
}

這樣配置完配置檔案以後，就可以執行logstash指令了，根據配置檔案，讀取指定的日誌檔案

logstash-6.7.2/bin/./logstash -f /home/xxx/nginx_access.conf --path.data=/home/xxx/logstash

之後可以在es中檢視自己新建立的索引

由於我這裡伺服器的logstash和es都是已經部署好的，沒有部署的話需要檢視一下部署的教程，部署一下

另外，日誌採集其實也可以使用fleatbeats，是一個更加輕量易用的日誌採集工具

三.kibana

接著就可以在kibana中對es索引進行視覺化了

1.management新增索引



選擇你在es中儲存的索引，直接一路next。

2.Discover檢視索引

3.Visualize建立儀表盤模板

選擇你想要展示的圖示模式，我這裡簡單的測試了一下折線圖，統計的同學應該對這些操作更加熟悉


縱軸選擇count，橫軸選擇terms，執行一下，圖表就出來了


點選上側導航欄的save即可將你建立的這個檢視模板儲存，之後可以將其放入到dashboard持續監測

4.Dashboard

可以選擇建立好的visualize，在這個地方進行展示

總結

一次關於elk的簡單實踐，主要的操作都在於部署、配置，不過由於我的伺服器已經部署好了這些，只需要配置就行了。
另外不容易操作的點就在於visualize的配置，可能需要一些統計學知識，才能對資料進行更好的統計分析，以便公司做出更優的決策

相關文章