環境說明
- linux
CentOS Linux release 7.5.1804 (Core) - docker
Docker version 1.13.1 - elk
sebp/elk latest - filebeat
filebeat-6.4.0
elk跟filebeat在同一臺機器上
架構
-
Elasticsearch
一個近乎實時查詢的全文搜尋引擎。Elasticsearch 的設計目標就是要能夠處理和搜尋巨量的日誌資料。 -
Logstash
讀取原始日誌，並對其進行分析和過濾，然後將其轉發給其他元件（比如 Elasticsearch）進行索引或儲存。Logstash 支援豐富的 Input 和 Output 型別，能夠處理各種應用的日誌。 -
Kibana
一個基於 JavaScript 的 Web 圖形介面程式，專門用於視覺化 Elasticsearch 的資料。Kibana 能夠查詢 Elasticsearch 並通過豐富的圖表展示結果。使用者可以建立 Dashboard 來監控系統的日誌。 -
Filebeat
引入Filebeat作為日誌蒐集器，主要是為了解決Logstash開銷大的問題。相比Logstash，Filebeat 所佔系統的 CPU 和記憶體幾乎可以忽略不計。
日誌處理流程：
Filebeat將日誌傳送給Logstash進行分析和過濾，然後由Logstash轉發給Elasticsearch，最後由Kibana視覺化Elasticsearch 的資料
安裝 ELK 套件
ELK 的部署方案可以非常靈活，在規模較大的生產系統中，ELK 有自己的叢集，實現了高可用和負載均衡。我們的目標是在最短的時間內學習並實踐 ELK，因此將採用最小部署方案：在容器中搭建 ELK。
- 執行ELK映象需要vm.max_map_count至少需要262144記憶體
切換到root使用者修改配置sysctl.conf
vi /etc/sysctl.conf
在尾行新增以下內容
vm.max_map_count=262144
並執行命令
sysctl -p
複製程式碼elk啟動的時候可能會提示如下錯誤:
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
檢視容器日誌：docker logs 容器ID
參考連結：blog.csdn.net/jiankunking…
- 安裝docker
線上安裝吧，如果自定義安裝請搜尋下安裝方法，這裡就不再描述了
yum install docker
啟用服務
systemctl start docker
開機啟動
systemctl enable docker
複製程式碼- 執行ELK映象
sudo docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk
複製程式碼- 配置logstash
檢視容器資訊
docker ps -a
進入容器
sudo docker exec -it elk /bin/bash
或
sudo docker exec -it 容器ID /bin/bash
修改02-beats-input.conf
cd /etc/logstash/conf.d/
vi 02-beats-input.conf
複製程式碼/etc/logstash/conf.d/02-beats-input.conf修改成如下圖所示：
這裡vi命令使用有點問題，我是通過DEL鍵一行一行的刪掉了那3行的
將以下三行刪除掉。這三行的意思是是否使用證照，本例是不使用證照的，如果你需要使用證照，將logstash.crt拷貝到客戶端，然後在filebeat.yml裡面新增路徑即可
ssl => true
ssl_certificate => "/pki/tls/certs/logstash.crt"
ssl_key => "/pki/tls/private/logstash.key"
複製程式碼注意：sebp/elk docker是自建立了一個證照logstash.crt，預設使用*通配配符，如果你使用證照，filebeat.yml使用的伺服器地址必須使用域名，不能使用IP地址，否則會報錯
這裡如果不去掉這三行配置的話，在後面啟動filebeat時，會提示如下錯誤：
2018-09-12T10:01:29.770+0800 ERROR logstash/async.go:252 Failed to publish events caused by: lumberjack protocol error
2018-09-12T10:01:29.775+0800 ERROR logstash/async.go:252 Failed to publish events caused by: client is not connected
2018-09-12T10:01:30.775+0800 ERROR pipeline/output.go:109 Failed to publish events: client is not connected
複製程式碼- 重啟elk容器
docker restart 容器ID
複製程式碼- kibana視覺化頁面
在瀏覽器輸入：http://ip:5601 ，稍等一會即可看到kibana啟動成功管理頁面
Elasticsearch的JSON介面：http://[Host IP]:9200/_search?pretty
安裝Filebeat
filebeat有多種安裝方式，我這裡採用rpm包的安裝方式，可自動註冊為systemd的服務
- 下載filebeat的rpm包
cd /opt/softwares
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-x86_64.rpm
複製程式碼或者到官網檢視最新版本直接下載：www.elastic.co/downloads/b…
- 安裝filebeat
rpm -ivh filebeat-6.4.0-x86_64.rpm
複製程式碼- 配置filebeat
cd /etc/filebeat
vi filebeat.yml
複製程式碼配置改成如下所示：
#=========================== Filebeat inputs =============================
filebeat.inputs:
- type: log
enabled: true
paths:
- /opt/datas/logs/*/*.log
tags: ["測試環境"]
multiline:
pattern: '^\s*(\d{4}|\d{2})\-(\d{2}|[a-zA-Z]{3})\-(\d{2}|\d{4})'
# pattern: '^\s*("{)'
negate: true
match: after
max_lines: 1000
timeout: 30s
複製程式碼enabled：filebeat 6.0後，enabled預設為關閉，必須要修改成true
paths：為你想要抓取分析的日誌所在路徑
multiline：如果不進行該合併處理操作的話，那麼當採集的日誌很長或是像輸出xml格式等日誌，就會出現採集不全或是被分割成多條的情況
pattern：配置的正規表示式，指定匹配的表示式（匹配以 2017-11-15 08:04:23:889 時間格式開頭的字串），如果匹配不到的話，就進行合併行。
參考連結
配置改為上圖所示。
註釋掉Elasticsearch output，開啟Logstash output。
hosts：elk所在機器IP地址
如果直接將日誌傳送到Elasticsearc，請編輯此行：Elasticsearch output
如果直接將日誌傳送到Logstash，請編輯此行：Logstash output
只能使用一行輸出，其它的注掉即可
- 啟動filebeat服務
啟動filebeat
systemctl start filebeat.service
檢視filebeat狀態
systemctl status filebeat.service
檢視filebeat日誌
tail -f /var/log/filebeat/filebeat
複製程式碼參考連結：www.jianshu.com/p/7ca38fa88…
kibana配置
點選左上角的Discover按鈕，如下圖所示，提示建立“index pattern”：
參考連結：
blog.csdn.net/qq_39284787…
blog.csdn.net/boling_cava…
www.cnblogs.com/CloudMan6/p…
blog.csdn.net/boling_cava…