ELK+FileBeat+Kafka搭建日誌管理平臺

清風許許發表於2019-05-17
Kafka

管理平臺流程

ELK+FileBeat+Kafka搭建日誌管理平臺

環境準備

  • elasticsearch-6.0.0.tar.gz
  • filebeat-7.0.1-linux-x86_64.tar.gz
  • kibana-6.0.0-linux-x86_64.tar.gz
  • logstash-6.0.0.tar.gz
  • kafka_2.11-2.1.1.tgz

除了kafka以外，其它四個均可以在elastic官網中下載，具體的可以在下載地址選擇軟體和版本進行下載，本文件都是基於6.0.0的版本操作的
Kafka可以在Apache中下載

本文件均是基於CentOS Linux release 7.2.1511 (Core) 64位系統安裝部署的，檢視版本和位數可以使用如下命令

  • cat /etc/centos-release：檢視版本號
  • getconf LONG_BIT：檢視位數

安裝及部署

因為是基於Java的，所以在部署之前，要先確保系統上安裝了Jdk，本系統安裝的Jdk版本為1.8
所有的檔案都放在/usr/elk/下

Kibana部署

  1. 解壓檔案
[root@localhost elk]# tar -zxvf kibana-6.0.0-linux-x86_64.tar.gz
複製程式碼
  1. 修改配置，修改/conf/kibana.yml檔案
# 設定elasticsearch地址
elasticsearch.url: "http://localhost:9200"
server.host: 0.0.0.0
複製程式碼

elasticsearch部署

  1. 解壓檔案
[root@localhost elk]# tar -zxvf elasticsearch-6.0.0.tar.gz
複製程式碼
  1. 啟動該專案的時候，不能使用root許可權，所以要新建一個使用者來啟動
# 新建一個組
[root@localhost elk]# groupadd elkgroup
# 在該組下新增使用者 useradd 使用者名稱 -g 組名 -p 密碼
[root@localhost elk]# useradd elkuser -g elkgroup -p 123456
# 賦許可權 chown -R 使用者名稱:組名 檔案
[root@localhost elk]# chown -R elsearch:elsearch elasticsearch-6.0.0
# 切換使用者並且啟動elasticsearch
[root@localhost elk]# su elkuser
[elkuser@localhost elasticsearch-6.0.0]$ ./bin/elasticsearch
複製程式碼

logstash部署

  1. 解壓檔案
[root@localhost elk]# tar -zxvf logstash-6.0.0.tar.gz
複製程式碼
  1. 在conf目錄下新建一個配置檔案logstash.conf
input{
file{
type=>"log"
path=>"/usr/logs/*.log"
start_position=>"beginning"
}
}

output{
stdout{
codec=>rubydebug{}
}

elasticsearch{
hosts=>"127.0.0.1"
index=>"log-%{+YYYY.MM.dd}"
}
}
複製程式碼
  1. 根據配置檔案啟動
[root@localhost elk]# ./logstash -f ../config/logstash.conf
複製程式碼

Kafka部署

  1. 安裝glibc
[root@localhost elk]# yum -y install glibc.i686
複製程式碼
  1. 配置zookeeper
[root@localhost elk]# vi config/zookeeper.properties 
# 配置內容
dataDir=/data/programs/kafka_2.11-0.10.0.0/data
dataLogDir=/data/programs/kafka_2.11-0.10.0.0/logs
clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=10
# 配置完成儲存退出，然後根據配置啟動zookeeper
[root@localhost kafka_2.11-2.1.1]# ./bin/zookeeper-server-start.sh config/zookeeper.properties
複製程式碼
  1. 配置kafka檔案
[root@localhost kafka_2.11-2.1.1]# vi config/server.properties
# 配置內容
broker.id=0
port=9092
host.name=127.0.0.1
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/logs/kafka
num.partitions=2
num.recovery.threads.per.data.dir=1
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
# 配置完成儲存退出，然後根據配置啟動kafka
[root@localhost kafka_2.11-2.1.1]# ./bin/kafka-server-start.sh config/server.properties
複製程式碼

在啟動過程中，可能會提示記憶體不足，

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 1073741824 bytes for committing reserved memory.
# An error report file with more information is saved as:
複製程式碼

因為預設kafka配置的為1G，所以修改啟動配置

將 /bin/kafka-server-start.sh的
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
修改為
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
複製程式碼

然後重新啟動就可以了

fileBeat部署

  1. 修改filebeat.yml配置
[root@localhost filebeat-7.0.1-linux-x86_64]# vi filebeat.yml
# 新增輸出到kafka配置，該配置是yml格式，所以配置的時候要符合yml規範
#--------------------------- kafka output ----------------------------------
output.kafka:
    enabled: true
    hosts: ["127.0.0.1:9092"]
    topic: test
# 並且修改相關配置
enabled: true
# 獲取日誌的路徑
paths:
    - /home/elk/log/access.log
# 日誌標籤，在kibana中檢視資料可以找到該標籤，並且可以根據該tag標籤過濾查詢資料
tags: ["nginx-accesslog"]
# 啟動服務
[root@localhost filebeat-7.0.1-linux-x86_64]# ./filebeat -e
複製程式碼

問題及注意點

在啟動logstash的時候報了一個小問題，提示
Connection to node -1 could not be established. Broker may not be available.
該問題是由於開始我啟動kafka的時候配置的host.name=10.12.1.52，這個地址是伺服器的地址，但是在logstash中配置的kafka地址為127.0.0.1導致的
注意點：

  • logstash的配置
  • kafka的佇列名要對應

關於各個軟體的詳細配置，在後續的文章中再介紹了，詳情也可以參考官方文件，地址如下：
Kibana
Logstash
Elasticsearch
Filebeat

相關文章