elk的安裝部署三（kibana的安裝及使用filebeat收集日誌）

kibana的安裝及使用filebeat收集日誌

一、kibana的安裝

1、kibana的概述

    Kibana是一個開源的分析與視覺化平臺，可以用kibana搜尋、檢視、互動存放在Elasticsearch索引裡的資料，使用各種不同的圖表、表格、地圖等，kibana能夠很輕易地展示高階資料分析與視覺化。

2、kibana下載安裝

    Kibana可以安裝在任意一臺主機上，但是要能與elasticsearch叢集通訊。

   下載kibana:

]# wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.2-x86_64.rpm

    安裝kibana:

]# rpm -ivh kibana-5.5.2-x86_64.rpm 
warning: kibana-5.5.2-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
Preparing...           ################################# [100%]
Updating / installing...
   1:kibana-5.5.2-1   ################################# [100%]

3、配置kibana

    Kibana的配置比較簡單，主要配置的引數有當前主機的名稱，elasticsearch主機的地址，登入時是如啟用認證及使用者名稱及密碼。

    Kibana的配置檔案為/etc/kibana/kibana.yml，我們需要修改的配置引數有：

server.host: "10.0.0.13"      #kibana所在主機的主機地址
server.name: "elk3"         #kibana坐在主機的主機名
elasticsearch.url: "http://10.0.0.11:9200"    #elasticsearch地址

    如果需要啟用認證，還需要修改如下兩項：

#elasticsearch.username: "user"
#elasticsearch.password: "pass"

4、啟動kibana

    Kibana配置完成後就可以啟動kibana，kibana啟動後預設使用5601埠。

]# systemctl enable kibana.service
]# systemctl start kibana.service
]# systemctl status kibana
● kibana.service - Kibana
   Loaded: loaded (/etc/systemd/system/kibana.service; disabled; vendor preset: disabled)
   Active: active (running) since Mon 2017-09-25 18:10:58 CST; 2h 27min left
 Main PID: 2401 (node)
   CGroup: /system.slice/kibana.service
           └─2401 /usr/share/kibana/bin/../node/bin/node --no-warnings /usr/share/kibana/bin/../src/cli -c /etc/kibana/kibana.yml...

5、Kibana的簡單使用

    Kibana啟動成功後就可以通過瀏覽器登入使用kibana。第一次登入kibana時沒有任何資訊，需要根據elasticsearch中的索引建立索引。Kibana中的索引名支援萬用字元。

   我們在elasticsearch中建立過名稱為“student”的索引（如果刪除了，需重新建立），所以我們在kibana的輸入框中輸入“student”，然後點選“creeate”建立索引。

圖一 建立索引

       建立完索引後，我們點選”Discover”選單，就可以看到“student”索引中的相關資料，此時，還可以在搜尋框中輸入關鍵字對搜尋相關的資料，如圖二所示。

圖二  搜尋資料

     至此，kibana的安裝配置完成。

一、安裝filebeat及使用filebeat收集日誌

1、filebeat的概述

     Filebeat是一個日誌檔案託運工具，在伺服器上安裝客戶端後，filebeat會監控日誌目錄或者指定的日誌檔案，追蹤讀取這些檔案（追蹤檔案的變化，不停的讀），並且轉發這些資訊傳送非elasticsearch或者logstarsh。

     Filebeat相對於logstash而言，更輕量級，佔用系統資源少。

2、filebeat的下載安裝

    Filebeat需要安裝在收集日誌的伺服器上，即日誌所在的伺服器上，然後將所在伺服器的指定日誌傳送給logstash或者elasticsearch。

]# Wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.5.1-x86_64.rpm
]# rpm -ivh filebeat-5.5.1-x86_64.rpm 
warning: filebeat-5.5.1-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:filebeat-5.5.1-1                 ################################# [100%]

3、配置filebeat將日誌傳送給elasticsearch

    Filebeat的配置檔案為“/etc/filebeat/filebeat.yml”，主要的配置選項有配置需要收集的日誌的位置，需要傳送到的elasticsearch的地址或者logstash的地址。

     此處，以收集nginx的日誌為例，將日誌直接傳送給elasticsearch，需要修改的配置項為：

  - /var/log/nginx/access.log           #需要收集的日誌位置
   hosts: ["elk1:9200", "elk2:9200"]      #host配置為主機名時，當前節點要能解析主機名。此行配置為elasticsearch選項下的配置。

4、啟動filebeat

     Filebeat啟動後，filebeat會實時將配置檔案中指定需要收集的日誌傳送給elasticsearch。

]# systemctl enable filebeat.service
]# systemctl start filebeat.service
]# systemctl status filebeat
● filebeat.service - filebeat
   Loaded: loaded (/usr/lib/systemd/system/filebeat.service; disabled; vendor preset: disabled)
   Active: active (running) since Mon 2017-09-25 18:11:58 CST; 1h 30min left
     Docs: https://www.elastic.co/guide/en/beats/filebeat/current/index.html
 Main PID: 2227 (filebeat)
   CGroup: /system.slice/filebeat.service
           └─2227 /usr/share/filebeat/bin/filebeat -c /etc/filebeat/filebeat.yml -path.home /usr/share/filebeat -path.config /etc...
Sep 25 18:11:58 elk3 systemd[1]: Started filebeat.
Sep 25 18:11:58 elk3 systemd[1]: Starting filebeat...

5、在kibana中建立filebeat的索引

     filebeat啟動後，filebeat會實時的將日誌傳送到elasticsearch中，為了方便檢視日誌，需要在kibana中建立filebeat的索引，選擇kibana的“Managenment”——》“Index Patterns”——》 Create Index Pattern”，在

    輸入框中輸入“filebeat-*”，點選“create”即可完成索引的建立。如圖三所示。

圖三 建立filebeat索引

     建立完成後在kibana介面的“Discover”中選擇“filebeat-*”可檢視filebeat傳送過來的日誌資訊，如圖四所示。

圖四 filebeat收集的日誌