輕鬆搞定對容器例項日誌設定定期清理和回捲

說明：該文轉載自騰訊雲技術社群騰雲閣，已徵求作者本人同意。

引言

Kubernetes對於容器例項的日誌收集，並沒有提供原生的解決方案。但提供使用kubectl logs命令檢視容器例項執行時的日誌。kubectl logs命令實現的基本原理為：容器執行時預設將標準輸出和標準錯誤中的日誌輸出到磁碟上儲存。 儲存至主機目錄：/var/lib/docker/containers/container_id/目錄。使用者呼叫kubectl logs命令時，kubelet讀取對應的日誌檔案中的資料，將資料回傳給master，再由master返回到使用者。從而實現使用者對日誌的檢視。

騰訊雲容器服務利用kubectl logs命令，實現在控制檯即可檢視對應容器例項的日誌，並且提供檢視某個特定時間段的日誌的功能，這極大的方便了使用者對容器例項中的程式進行定位和跟蹤。但是，由於在容器例項日誌儲存在本地，當程式中大量列印日誌時，很容易造成主機上的磁碟空間大量被佔用。在日誌服務上線一段時間後，發現使用者遇到這種情況時，一般是手動去清理日誌。我們就考慮是不是有比較簡單的方式，在叢集節點對日誌進行定期清理和回捲。

通過logrotate服務實現日誌定期清理和回捲

logrotate是個十分有用的工具，它可以自動對日誌進行截斷（或輪循）、壓縮以及刪除舊的日誌檔案。例如，你可以設定logrotate，讓/var/log/foo日誌檔案每30天輪循，並刪除超過6個月的日誌。配置完後，logrotate的運作完全自動化，不必進行任何進一步的人為干預。 但如果按照之前的部署方式，需要手動在每個節點上都安裝和配置對應logrotate工具。如果通過Kubernetes容器服務編排的能力，將logrotate通過Kubernetes中服務的方式部署到各個節點上，這樣既可以實現只需要一次部署，部署到所有節點。並且通過容器的方式保證了logrotate配置的一致性。

具體的實施方案如下圖所示： 方案的具體實現是在Kubernetes叢集中，建立DaemonSet資源實現。DaemonSet資源會在每個Node節點上都部署一個logrotate的容器例項，並且在容器例項中設定對映主機的log日誌目錄，從而實現日誌的定時清理和回捲。

建立DaemonSet的示例如下：

apiVersion: extensions/v1beta1 kind: DaemonSet metadata: name: logrotate spec: template: metadata: labels: app: logging id: logrotate name: logrotate spec: containers: - name: logrotate-es image: blacklabelops/logrotate securityContext: privileged: true volumeMounts: - name: containers mountPath: /var/lib/docker/containers - name: varlog mountPath: /var/log/docker - name: logs mountPath: /logs env: - name: LOGS_DIRECTORIES value: "/var/lib/docker/containers /var/log/docker" - name: LOGROTATE_INTERVAL value: "hourly" - name: LOGROTATE_OLDDIR value: "/logs" volumes: - hostPath: path: /var/lib/docker/containers name: containers - hostPath: path: /var/log/docker name: varlog - hostPath: path: /var/log/containers/ name: logs

使用這個yaml檔案，可以直接在Kubernetes中進行部署。

kubectl create -f logrotate_ds.yamldaemonset "logrotate" created 在示例的yaml檔案中，logrotate服務將按照定時(1小時)的對日誌進行回捲，回捲超過5個副本後則會對日誌進行清理。如果有需要，可以修改相應的引數，設定不同的回捲規則和清理規則。詳細的引數說明可以參考：https://github.com/blacklabelops/logrotate。

通過修改dockerd引數進行回捲和清理

由於Kubernetes的日誌收集，底層是通過docker來實現。而docker提供了一定的日誌回捲和清理功能。可以通過在dockerd的啟動引數中，增加log-opts()引數實現對日誌的回捲和清理,其中max-size引數設定日誌一個副本的最大值，max-file設定日誌的最大的副本數。超過這個副本數則會對日誌進行刪除。

具體的修改過程包括三個步驟：

1、建立/etc/dockerd/daemon.json { "log-driver":"json-file", "log-opts":{ "max-size" :"10m","max-file":"3" } } 引數說明： 設定單個容器日誌超過10M則進行回捲，回捲的副本數超過3個就進行清理。

2、修改dockerd 服務配置檔案 在 /etc/systemd/system/multi-user.target.wants/dockerd.serviced檔案中 新增dockerd啟動引數--config-file=/etc/docker/daemon.json

3、重新啟動dockerd服務 systemctl daemon-reload service dockerd restart