利用ELK搭建Docker容器化應用日誌中心

概述

應用一旦容器化以後，需要考慮的就是如何採集位於Docker容器中的應用程式的列印日誌供運維分析。典型的比如 SpringBoot應用的日誌收集。本文即將闡述如何利用ELK日誌中心來收集容器化應用程式所產生的日誌，並且可以用視覺化的方式對日誌進行查詢與分析，其架構如下圖所示：

注：本文首發於 My 公眾號 CodeSheep ，可長按或掃描下面的 小心心 來訂閱 ↓ ↓ ↓

映象準備

ElasticSearch映象
Logstash映象
Kibana映象
Nginx映象（作為容器化應用來生產日誌）

開啟Linux系統Rsyslog服務

修改Rsyslog服務配置檔案：

vim /etc/rsyslog.conf
複製程式碼

開啟下面三個引數：

$ModLoad imtcp
$InputTCPServerRun 514

*.* @@localhost:4560
複製程式碼

意圖很簡單：讓Rsyslog載入imtcp模組並監聽514埠，然後將Rsyslog中收集的資料轉發到本地4560埠！

然後重啟Rsyslog服務：

systemctl restart rsyslog
複製程式碼

檢視rsyslog啟動狀態：

netstat -tnl
複製程式碼

部署ElasticSearch服務

docker run -d  -p 9200:9200 \
 -v ~/elasticsearch/data:/usr/share/elasticsearch/data \
 --name elasticsearch elasticsearch
複製程式碼

部署Logstash服務

新增 ~/logstash/logstash.conf 配置檔案如下：

input {
  syslog {
    type => "rsyslog"
    port => 4560
  }
}

output {
  elasticsearch {
    hosts => [ "elasticsearch:9200" ]
  }
}
複製程式碼

配置中我們讓Logstash從本地的Rsyslog服務中取出應用日誌資料，然後轉發到ElasticSearch資料庫中！

配置完成以後，可以通過如下命令來啟動Logstash容器：

docker run -d -p 4560:4560 \
-v ~/logstash/logstash.conf:/etc/logstash.conf \
--link elasticsearch:elasticsearch \
--name logstash logstash \
logstash -f /etc/logstash.conf
複製程式碼

部署Kibana服務

docker run -d -p 5601:5601 \
--link elasticsearch:elasticsearch \
-e ELASTICSEARCH_URL=http://elasticsearch:9200 \
--name kibana kibana
複製程式碼

啟動nginx容器來生產日誌

docker run -d -p 90:80 --log-driver syslog --log-opt \
syslog-address=tcp://localhost:514 \
--log-opt tag="nginx" --name nginx nginx
複製程式碼

很明顯Docker容器中的Nginx應用日誌轉發到本地syslog服務中，然後由syslog服務將資料轉給Logstash進行收集。

至此，日誌中心搭建完畢，目前一共四個容器在工作：

實驗驗證

瀏覽器開啟localhost:90來開啟Nginx介面，並重新整理幾次，讓後臺產生GET請求的日誌
開啟Kibana視覺化介面：localhost:5601

收集Nginx應用日誌

查詢應用日誌

在查詢框中輸入program=nginx可查詢出特定日誌

後記

作者更多的SpringBt實踐文章在此：

如果有興趣，也可以抽點時間看看作者一些關於容器化、微服務化方面的文章：