日誌是服務執行過程中的一個關鍵環節，藉助日誌，我們可以排查定位問題，也可以藉助集中化的日誌管理平臺（如ELK）來做一些必要的資料統計分析。在Docker環境中，日誌的採集比傳統環境更為複雜，因此瞭解Docker日誌的管理機制，及基於此熟悉日誌採集的最佳實踐對於開發運維人員來說也是避不開的一個知識點。那就開始吧。
Docker容器的日誌管理機制
1. Docker Daemon日誌
Docker Daemon在Linux中本身作為systemd service啟動，因此可以通過 sudo journalctl -u docker 命令來檢視Daemon本身的日誌。
2. Docker容器日誌
通過 docker logs container_id|container_name 可以檢視Docker容器的輸出日誌，但這裡的日誌只包含容器的標準輸出（STDOUT）與標準錯誤輸出（STDERR），適用於一些將日誌輸出到STDOUT的容器,比如Nginx，檢視nginx的dockerfile可發現其是將日誌檔案連結到了STDOUT與STDERR來實現的，
RUN ln -sf /dev/stdout /var/log/nginx/access.log
&& ln -sf /dev/stderr /var/log/nginx/error.log複製程式碼但如果容器內部應用日誌是輸出到日誌檔案（比如Spring Boot專案或Tomcat容器，一般將日誌輸出到日誌檔案中），則無法通過 docker logs 命令檢視。
docker logs會顯示歷史日誌，日誌太多的話要等半天才能看到最新日誌，同時也對Docker Daemon造成一定的壓力，可使用docker logs --tail 200 container_id來檢視最新的N條或使用docker logs -f container_id（類似於tail -f）
3. Docker日誌處理機制
當我們啟動一個容器時，其實是作為Docker Daemon的一個子程式執行，Docker Daemon可以拿到容器裡程式的標準輸出與標準錯誤輸出，然後通過Docker的Log Driver模組來處理。如下圖所示
目前支援的Log Drvier包括：
- none：容器沒有日誌，
docker logs不輸出任何內容 - local：日誌以自定義格式儲存
- json-file：日誌以json格式儲存，預設的Log Driver
- syslog：將日誌寫入syslog。syslog守護程式必須在主機上執行
- journald：將日誌寫入journald。journald守護程式必須在主機上執行
- gelf：將日誌寫入Graylog Extended Log Format端點，如Graylog或Logstash
- fluentd：將日誌寫入fluentd。fluentd守護程式必須在主機上執行
- awslogs：將日誌寫入Amazon CloudWatch Logs
- splunk：通過HTTP Event Collector將日誌寫入splunk
- etwlogs：將日誌作為ETW（Event Tracing for Windows）事件寫入。只在Windows平臺可用
- gcplogs：將日誌寫入Google Cloud Platform Logging
- logentries：將日誌寫入Rapid7 Logentries
使用Docker-CE版本時，docker logs命令僅適用於 local， json-file， journald 三種Log Driver。
可通過docker info來檢視Docker Daemon（針對所有容器）或docker inspect來檢視單個容器所使用的Log Driver
# Docker Daemon
[devuser@test-server-1 ~]$ docker info |grep "Logging Driver"
Logging Driver: json-file
# 單個Docker 容器
[devuser@test-server-1 ~]$ docker inspect -f '{{.HostConfig.LogConfig.Type}}' 76f82aa32468
json-file複製程式碼修改Docker Daemon使用的Log Driver可通過修改配置檔案 /etc/docker/daemon.json 進行，重啟Docker後該配置對該Docker Daemon管理的所有容器生效， 如
{
"log-driver": "local",
"log-opts": {
"max-size": "10m",
"max-file": 3
}
}複製程式碼設定單個容器的Log Driver則可以在容器執行時通過引數指定，如
[root@tool-server ~]# docker run -d --name nginx -p 80:80 --log-driver local --log-opt max-size=10m --log-opt max-file=3 --restart=always nginx
63155291e724276d6154a26958b0e523a003958b1cdf7df9f1f0903bfc989b99
[root@tool-server ~]# tail -f /var/lib/docker/containers/63155291e724276d6154a26958b0e523a003958b1cdf7df9f1f0903bfc989b99/local-logs/container.log
stdoutҭʡ?ā192.168.40.160 - - [02/Apr/2020:06:05:56 +0000] "GET / HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" "-"ܻ
stdout?¡?㿱92.168.40.160 - - [02/Apr/2020:06:05:56 +0000] "GET /favicon.ico HTTP/1.1" 404 555 "http://192.168.40.110/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" "-"複製程式碼以下對常用的幾種Log Driver進行詳細介紹
1. local
local Log Driver會將容器的STDOUT/STDERR輸出寫到宿主機的磁碟。前面示例了將Docker Daemon或單個容器的Log Driver設定為local，可以看到local的日誌儲存路徑為 /var/lib/docker/containers/{container_id}/local-logs/container.log
local Log Driver支援的配置屬性如下
| 配置屬性 | 描述 |
|---|---|
| max-size | 單個日誌檔案的最大大小，預設為20m（單位可為k,m,g） |
| max-file | 最多存在多少個日誌檔案，檔案數超過該值則會刪除最舊的檔案，預設為5 |
| compress | 是否對切割檔案進行壓縮，預設為true |
2. json-file
json-file Log Driver是Docker預設啟用的Driver，將容器的STDOUT/STDERR輸出以json的格式寫到宿主機的磁碟，日誌檔案路徑為 /var/lib/docker/containers/{container_id}/{container_id}-json.log
格式如下，包含三個欄位： log, stream, time。
[root@tool-server ~]# tail -f /var/lib/docker/containers/2cef9daeac7b009c636ed2b1a7ad8fe3342bc0d5dcd55e69d7a45a586d7abc47/2cef9daeac7b009c636ed2b1a7ad8fe3342bc0d5dcd55e69d7a45a586d7abc47-json.log
{"log":"2020-03-31T10:27:30.639+0000 I SHARDING [conn4] Marking collection yapi.project as collection version: \u003cunsharded\u003e\n","stream":"stdout","time":"2020-03-31T10:27:30.639749587Z"}
{"log":"2020-03-31T10:27:30.756+0000 I SHARDING [conn2] Marking collection yapi.log as collection version: \u003cunsharded\u003e\n","stream":"stdout","time":"2020-03-31T10:27:30.756744876Z"}複製程式碼json-file將日誌的每一行封裝到一個json串中，因此像Java的異常棧日誌將會被拆分為多條json，在匯入到ELK日誌管理系統中時需要做合併處理。
json-file Log Driver支援的配置屬性如下
| 配置屬性 | 描述 |
|---|---|
| max-size | 單個日誌檔案的最大大小，單位可為k,m,g。預設-1，表示無限制 |
| max-file | 最多存在多少個日誌檔案，檔案數超過該值則會刪除最舊的檔案，預設為1 |
| labels | 在啟動Docker容器時以逗號分隔的與日誌相關的標籤列表 |
| env | 在啟動Docker容器時以逗號分隔的與日誌相關的環境變數列表 |
| env-regex | 類似於env，用於匹配與日誌相關的環境變數的正規表示式 |
| compress | 是否對切割檔案進行壓縮，預設為disabled |
3. journald
journald Log Driver將容器的STDOUT/STDERR傳送到systemd journal，與local，json-file一樣可以使用 docker logs 來檢視。也可以使用 journalctl命令來檢視，如
[root@tool-server ~]# docker run -d --name nginx -p 80:80 --log-driver journald --log-opt labels=profile --log-opt env=ONLINE --label profile=dev --env "ONLINE=false" --restart=always nginx
2011dc967d7e068b14d974bdc083d072fd09498a7de74984d482897d1b5c4200
[root@tool-server ~]# journalctl -f CONTAINER_NAME=nginx
-- Logs begin at Tue 2020-03-31 18:24:36 CST. --
Apr 02 18:20:05 tool-server 2011dc967d7e[3655]: 192.168.40.160 - - [02/Apr/2020:10:20:05 +0000] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" "-"複製程式碼journalctl的命令形式
journalctl CONTAINER_NAME=nginx # 輸出指定容器的日誌
journalctl -b CONTAINER_NAME=nginx # 輸出從上次啟動以來的所有日誌
journalctl -o json CONTAINER_NAME=nginx # 以json格式顯示日誌，包含了label，env中指定的屬性值
journalctl -f CONTAINER_NAME=nginx # 類似於tail -f複製程式碼journald Log Driver支援的配置屬性如下
| 配置屬性 | 描述 |
|---|---|
| tag | 指定要在日誌中設定CONTAINER_TAG與SYSLOG_IDENTIFIER值的模板 |
| labels | 定義一個標籤列表，可在後面通過 --label 設定標籤的值，該標籤值會包含在日誌體中 |
| env | 定義一個環境變數列表，可在後面通過 --env 指定環境變數的值，並且值會包含在日誌體重 |
| env-regex | 與env類似，用於匹配與日誌相關的環境變數的正規表示式 |
下圖是使用 journalctl -o json CONTAINER_NAME=nginx 命令輸出的完整json格式日誌，其中包含了前面設定的profile標籤與ONLINE環境變數。
除此之外，journald日誌體中還會加上下面的資料
- CONTAINER_ID： 容器ID，12位
- CONTAINER_ID_FULL：完整的容器ID，64位
- CONTAINER_NAME：容器名稱
- CONTAINER_TAG，SYSLOG_IDENTIFIER：容器的tag
具體從上圖也可以看出。
4. syslog
syslog Log Driver將日誌傳送到syslog的伺服器，在Linux中，一般使用rsyslog服務。
修改rsyslog配置，開啟udp或tcp監聽
[root@tool-server ~]# vim /etc/rsyslog.conf
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514
# Provides TCP syslog reception
#$ModLoad imtcp
#$InputTCPServerRun 514複製程式碼重啟rsyslog
[root@tool-server ~]# systemctl restart rsyslog
[root@tool-server ~]# netstat -ano|grep 514
udp 0 0 0.0.0.0:514 0.0.0.0:* off (0.00/0/0)
udp6 0 0 :::514 :::* off (0.00/0/0)複製程式碼以syslog Log Driver啟動nginx容器
[root@tool-server ~]# docker run -d --name nginx -p 80:80 --log-driver syslog --log-opt syslog-address=udp://127.0.0.1:514 --restart=always nginx
989db94a01c36b7ea767bcb8db8ccc64bd558291ef7bcb364efa1352c78b8878
# 檢視syslog日誌
[root@tool-server ~]# tail -f /var/log/messages
Apr 2 18:58:06 localhost 989db94a01c3[3655]: 192.168.40.160 - - [02/Apr/2020:10:58:06 +0000] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36" "-"複製程式碼容器日誌採集實踐
對於使用STDOUT/STDERR輸出日誌的容器，比如nginx，可通過預設的json-file，從前文提到的目錄下通過filebeat或logstash進行監聽採集
對於使用日誌檔案記錄的容器，比如tomcat，可通過目錄掛載的方式將容器日誌目錄掛載到宿主機目錄，然後監聽宿主機目錄進行日誌採集，比如啟動時指定引數
-v /data/tomcat/logs:/usr/local/tomcat/logs。但這種方式如果同一應用的容器在一個伺服器節點上啟動多個時，會造成日誌檔名相同產生衝突，對於這種情況，如果使用的是logback日誌框架，之前的文章自定義logback日誌檔案的名稱 提供了一種方案如果既有標準輸出又有日誌檔案輸出，可考慮第三方日誌採集框架，比如阿里巴巴開源的log-pilot
如果是Serverless環境，即沒有具體的物理機或虛擬機器，通過雲容器服務部署的情況，則可以通過掛載雲盤的方式，將容器日誌目錄掛載到雲盤目錄下，通過監聽雲盤目錄進行日誌採集
出於篇幅與時間關係，這裡只列出幾種不同場景的日誌採集方案，1,2場景比較好理解，對於4一般雲平臺都有相關的文件可查閱，場景3後續可再整理一篇實操文來補充說明。
參考： www.cnblogs.com/operationho… github.com/AliyunConta… yq.aliyun.com/articles/67…
作者：空山新雨，一枚仍在學習路上的IT老兵
近期作者寫了幾十篇技術部落格，內容包括Java、Spring Boot、Spring Cloud、Docker，技術管理心得等
歡迎關注作者微信公眾號：空山新雨的技術空間，檢視更多系列技術文章，一起學習成長
