萬能資料收集器 Fluentd - 每天5分鐘玩轉 Docker 容器技術（91）

萬能資料收集器 Fluentd - 每天5分鐘玩轉 Docker 容器技術（91）

原創 CloudMan CloudMan 2017-11-08

第91篇

萬能資料收集器 Fluentd

 

前面的 ELK 中我們是用 Filebeat 收集 Docker 容器日誌，利用的是 Docker 預設的 logging driver json-file，本節我們將使用 fluentd 來收集容器的日誌。

Fluentd 是一個開源的資料收集器，它目前有超過 500 種的 plugin，可以連線各種資料來源和資料輸出元件。在接下來的實踐中，Fluentd 會負責收集容器日誌，然後傳送給 Elasticsearch。日誌處理流程如下：

這裡我們用 Filebeat 將 Fluentd 收集到的日誌轉發給 Elasticsearch。這當然不是唯一的方案，Fluentd 有一個 plugin fluent-plugin-elasticsearch 可以直接將日誌傳送給 Elasticsearch。條條道路通羅馬，開源世界給予了我們多種可能性，可以根據需要選擇合適的方案。

安裝 Fluentd

同樣的，最高效的實踐方式是執行一個 fluentd 容器。

 

docker run -d -p 24224:24224 -p 24224:24224/udp -v /data:/fluentd/log fluent/fluentd

 

 

fluentd 會在 TCP/UDP 埠 24224 上接收日誌資料，日誌將儲存在 Host 的 /data 目錄中。

重新配置 Filebeat

編輯 Filebeat 的配置檔案 /etc/filebeat/filebeat.yml，將 /data 新增到監控路徑中。

重啟 Filebeat。

 

systemctl restart filebeat.service

 

 

監控容器日誌

啟動測試容器。

 

docker run -d \
           --log-driver=fluentd \
           --log-opt fluentd-address=localhost:24224 \
           --log-opt tag="log-test-container-A" \
           busybox sh -c 'while true; do echo "This is a log message from container A"; sleep 10; done;'

docker run -d \
           --log-driver=fluentd \
           --log-opt fluentd-address=localhost:24224 \
           --log-opt tag="log-test-container-B" \
           busybox sh -c 'while true; do echo "This is a log message from container B"; sleep 10; done;'

 

 

--log-driver=fluentd 告訴 Docker 使用 Fluentd 的 logging driver。

--log-opt fluentd-address=localhost:24224 將容器日誌傳送到 Fluentd 的資料接收埠。

--log-opt tag="log-test-container-A" 和 --log-opt tag="log-test-container-B" 在日誌中新增一個可選的 tag，用於區分不同的容器。

容器啟動後，Kibana 很快就能夠查詢到容器的日誌。

Fluentd 我們們就討論到這裡，下一節開始學習 Graylog。

書籍：
1.《每天5分鐘玩轉Docker容器技術》
https://item.jd.com/16936307278.html（點選“閱讀原文”直達）

2.《每天5分鐘玩轉OpenStack》
https://item.jd.com/12086376.html