搭建ELK叢集

Federico發表於2018-11-15

搭建ELK叢集

環境準備

基礎環境介紹

作業系統	部署應用	應用版本號	IP地址	主機名
CentOS 7.4	Elasticsearch/Logstash	6.4.3	192.168.1.1	elk1
CentOS 7.4	Elasticsearch/Logstash/Redis	6.4.3	192.168.1.2	elk2
CentOS 7.4	Elasticsearch/Kibana	6.4.3	192.168.1.3	elk3

基礎環境配置

安裝基本軟體包以及配置hosts

yum -y install vim net-tools epel-release wget
cat /etc/hosts

192.168.1.1 elk1
192.168.1.2 elk2
192.168.1.3 elk3

修改檔案描述符以及核心引數

vim /etc/sysctl.conf

vm.max_map_count = 655360

sysctl -p /etc/sysctl.conf
vim /etc/security/limits.conf

* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

不需要重啟，退出重連即可顯示最新配置。使用ulimit -n檢視。

安裝及配置Java環境

yum -y install java-1.8.0-openjdk.x86_64 java-1.8.0-openjdk-devel.x86_64
vim /etc/profile

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64
export JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

建立應用所需使用者

user add elk

關閉防火牆

systemctl stop firewalld.service

下載所需應用安裝包

Elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz

Logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.4.3.tar.gz

Kibana

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.3-linux-x86_64.tar.gz

應用部署

部署elasticsearch服務

tar xf elasticsearch-6.4.3.tar.gz -C /usr/local/
chown -R elk:elk /usr/local/elasticsearch-6.4.3/
mkdir /data ; chown -R elk:elk /data
vim /usr/local/elasticsearch-6.4.3/config/elasticsearch.yml

cluster.name: elk_cluster
node.name: elk1
node.attr.rack: r1
path.data: /data/
path.logs: /usr/local/elasticsearch-6.4.3/logs
node.master: true
node.data: true
network.host: elk1
http.port: 9200
discovery.zen.ping.unicast.hosts: ["elk1","elk2","elk3"]
discovery.zen.minimum_master_nodes: 2
discovery.zen.commit_timeout: 100s
discovery.zen.publish_timeout: 100s
discovery.zen.ping_timeout: 100s
discovery.zen.fd.ping_timeout: 100s
discovery.zen.fd.ping_interval: 10s
discovery.zen.fd.ping_retries: 10
action.destructive_requires_name: true
http.cors.allow-origin: "*"
http.cors.enabled: true

以下是Elasticsearch配置項內容詳解。

cluster.name: elasticsearch
配置es的叢集名稱，預設是elasticsearch，es會自動發現在同一網段下的es，如果在同一網段下有多個叢集，就可以用這個屬性來區分不同的叢集。

node.name: "Franz Kafka"
節點名，預設隨機指定一個name列表中名字，該列表在es的jar包中config資料夾裡name.txt檔案中，其中有很多作者新增的有趣名字。

node.master: true
指定該節點是否有資格被選舉成為node，預設是true，es是預設叢集中的第一臺機器為master，如果這臺機掛了就會重新選舉master。

node.data: true
指定該節點是否儲存索引資料，預設為true。

index.number_of_shards: 5
設定預設索引分片個數，預設為5片。

index.number_of_replicas: 1
設定預設索引副本個數，預設為1個副本。

path.conf: /path/to/conf
設定配置檔案的儲存路徑，預設是es根目錄下的config資料夾。

path.data: /path/to/data
設定索引資料的儲存路徑，預設是es根目錄下的data資料夾，可以設定多個儲存路徑，用逗號隔開，例：
path.data: /path/to/data1,/path/to/data2

path.work: /path/to/work
設定臨時檔案的儲存路徑，預設是es根目錄下的work資料夾。

path.logs: /path/to/logs
設定日誌檔案的儲存路徑，預設是es根目錄下的logs資料夾

path.plugins: /path/to/plugins
設定外掛的存放路徑，預設是es根目錄下的plugins資料夾

bootstrap.mlockall: true
設定為true來鎖住記憶體。因為當jvm開始swapping時es的效率會降低，所以要保證它不swap，可以把ES_MIN_MEM和ES_MAX_MEM兩個環境變數設定成同一個值，並且保證機器有足夠的記憶體分配給es。同時也要允許elasticsearch的程式可以鎖住記憶體，linux下可以通過`ulimit -l unlimited`命令。

network.bind_host: 192.168.0.1
設定繫結的ip地址，可以是ipv4或ipv6的，預設為0.0.0.0。


network.publish_host: 192.168.0.1
設定其它節點和該節點互動的ip地址，如果不設定它會自動判斷，值必須是個真實的ip地址。

network.host: 192.168.0.1
這個引數是用來同時設定bind_host和publish_host上面兩個引數。

transport.tcp.port: 9300
設定節點間互動的tcp埠，預設是9300。

transport.tcp.compress: true
設定是否壓縮tcp傳輸時的資料，預設為false，不壓縮。

http.port: 9200
設定對外服務的http埠，預設為9200。

http.max_content_length: 100mb
設定內容的最大容量，預設100mb

http.enabled: false
是否使用http協議對外提供服務，預設為true，開啟。

gateway.type: local
gateway的型別，預設為local即為本地檔案系統，可以設定為本地檔案系統，分散式檔案系統，hadoop的HDFS，和amazon的s3伺服器，其它檔案系統的設定方法下次再詳細說。

gateway.recover_after_nodes: 1
設定叢集中N個節點啟動時進行資料恢復，預設為1。

gateway.recover_after_time: 5m
設定初始化資料恢復程式的超時時間，預設是5分鐘。

gateway.expected_nodes: 2
設定這個叢集中節點的數量，預設為2，一旦這N個節點啟動，就會立即進行資料恢復。

cluster.routing.allocation.node_initial_primaries_recoveries: 4
初始化資料恢復時，併發恢復執行緒的個數，預設為4。

cluster.routing.allocation.node_concurrent_recoveries: 2
新增刪除節點或負載均衡時併發恢復執行緒的個數，預設為4。

indices.recovery.max_size_per_sec: 0
設定資料恢復時限制的頻寬，如入100mb，預設為0，即無限制。

indices.recovery.concurrent_streams: 5
設定這個引數來限制從其它分片恢復資料時最大同時開啟併發流的個數，預設為5。

discovery.zen.minimum_master_nodes: 1
設定這個引數來保證叢集中的節點可以知道其它N個有master資格的節點。預設為1，對於大的叢集來說，可以設定大一點的值（2-4）

discovery.zen.ping.timeout: 3s
設定叢集中自動發現其它節點時ping連線超時時間，預設為3秒，對於比較差的網路環境可以高點的值來防止自動發現時出錯。

discovery.zen.ping.multicast.enabled: false
設定是否開啟多播發現節點，預設是true。

discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
設定叢集中master節點的初始列表，可以通過這些節點來自動發現新加入叢集的節點。

su elk
/usr/local/elasticsearch-6.4.3/bin/elasticsearch
以上方式啟動不會將程式執行在後臺，適用於程式除錯使用。
nohup /usr/local/elasticsearch-6.4.3/bin/elasticsearch &
將程式放置後臺執行。
ss -lnt

State       Recv-Q Send-Q                        Local Address:Port                                       Peer Address:Port
LISTEN      0      100                            164.52.7.154:25                                                    *:*
LISTEN      0      128                                       *:2525                                                  *:*
LISTEN      0      128                                       *:52580                                                 *:*
LISTEN      0      128                      ::ffff:192.168.1.1:9300                                                 :::*
LISTEN      0      128                                      :::52580                                                :::*

curl -X GET "192.168.1.1:9200/_cat/health?v"

epoch      timestamp cluster     status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1542005103 01:45:03  elk_cluster green           3         3      0   0    0    0        0             0                  -                100.0%

搭建ELK叢集

檢視狀態正常。

配置Redis服務

yum -y install redis
vim /etc/redis.conf

bind elk2
maxmemory 1gb
protected-mode yes
port 6379
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize yes
supervised no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile /var/log/redis/redis.log
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
dir /var/lib/redis
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
slave-priority 100
appendonly no
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes

ss -lnt

State       Recv-Q Send-Q                        Local Address:Port                                       Peer Address:Port
LISTEN      0      128                             192.168.1.2:6379                                                  *:*
LISTEN      0      100                               127.0.0.1:25                                                    *:*
LISTEN      0      128                                       *:52580                                                 *:*
LISTEN      0      128                      ::ffff:192.168.1.2:9200                                                 :::*
LISTEN      0      128                      ::ffff:192.168.1.2:9300                                                 :::*
LISTEN      0      100                                     ::1:25                                                   :::*
LISTEN      0      128                                      :::52580                                                :::*

檢視Redis服務已經啟動，後續我們可以配置Logstash使用Redis。

配置Logstash服務

tar xf logstash-6.4.3.tar.gz -C /usr/local/
chown -R elk:elk /usr/local/logstash-6.4.3/
vim /usr/local/logstash-6.4.3/config/logstash.yml
log --> Redis

input {
  file {
    path => "/var/log/messages"
    type => "syslog"
    start_position => "beginning"
  }

}

output {
  redis {
        data_type => "channel"
        key => "logstash-*"
        host => "192.168.1.2"
        port => 6379

 }

}

Redis --> Elasticsearch

input {
  redis {
        data_type => "channel"
        key => "logstash-*"
        host => "192.168.1.2"
        port => 6379

 }

}
output {
    elasticsearch {
        hosts => "elk1:9200"
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
    }
}

vim /usr/local/logstash-6.4.3/config/logstash.yml

node.name: elk1
path.data: /usr/local/logstash-6.4.3/data
http.host: "elk1"
path.logs: /usr/local/logstash-6.4.3/logs

配置Kibana服務

tar xf kibana-6.4.3-linux-x86_64.tar.gz -C /usr/local/
chown -R elk:elk /usr/local/kibana-6.4.3-linux-x86_64/
touch /var/run/kibana.pid
chown -R /var/run/kibana.pid
su elk
nohup /usr/local/kibana-6.4.3-linux-x86_64/bin/kibana &
ss -lnt

State       Recv-Q Send-Q                        Local Address:Port                                       Peer Address:Port
LISTEN      0      100                               127.0.0.1:25                                                    *:*
LISTEN      0      128                             192.168.1.3:5601                                                  *:*
LISTEN      0      128                                       *:52580                                                 *:*
LISTEN      0      128                      ::ffff:192.168.1.3:9200                                                 :::*
LISTEN      0      128                      ::ffff:192.168.1.3:9300                                                 :::*
LISTEN      0      100                                     ::1:25                                                   :::*
LISTEN      0      128                                      :::52580                                                :::*

搭建ELK叢集

Kibana已經部署並啟動成功。
搭建ELK叢集

可以展示Elasticsearch中的資料。

Docker搭建ELK叢集
2021-06-29
Docker
Centos7 ELK7.6.2叢集搭建
2020-12-18
CentOS
Windows 10環境簡單搭建ELK叢集
2019-03-20
Windows
06 . ELK Stack + kafka叢集
2020-07-24
Kafka
搭建zookeeper叢集（偽叢集）
2020-11-22
zookeeper叢集及kafka叢集搭建
2021-06-28
Kafka
Redis系列：搭建Redis叢集(叢集模式)
2020-09-23
Redis模式
linux下搭建ZooKeeper叢集（偽叢集）
2019-03-27
Linux
Hadoop叢集搭建
2023-02-21
Hadoop
Zookeeper叢集搭建
2023-01-13
redis叢集搭建
2021-09-13
Redis
mysql叢集搭建
2021-10-19
MySql
zookeeper 叢集搭建
2020-09-23
搭建 Redis 叢集
2020-10-04
Redis
RabbitMQ叢集搭建
2020-12-18
MQ
nacos 叢集搭建
2021-08-09
HBASE叢集搭建
2020-11-29
Ambari叢集搭建
2018-11-28
kafka叢集搭建
2019-01-19
Kafka
Hadoop搭建叢集
2018-06-26
Hadoop
Centos8 部署 ElasticSearch 叢集並搭建 ELK，基於Logstash同步MySQL資料到ElasticSearch
2021-11-18
CentOSElasticsearchMySql
【環境搭建】RocketMQ叢集搭建
2022-12-24
MQ
Docker Swarm 叢集搭建
2024-12-01
DockerSwarm
搭建redis cluster叢集
2024-07-03
Redis
Hbase 2.2.5叢集搭建
2023-01-28
docker搭建consul叢集
2023-03-13
Docker
快速搭建Jenkins叢集
2022-11-09
Jenkins
搭建MongoDB分片叢集
2024-05-03
MongoDB
redis 4.0.11 叢集搭建
2021-09-09
Redis
MySQL MGR 叢集搭建
2019-07-31
MySql
【greenplum】greenplum叢集搭建
2020-06-05
Kubernetes 叢集搭建（上）
2020-06-02
Kubernetes 叢集搭建（下）
2020-06-02
MongoDB 分片叢集搭建
2019-12-19
MongoDB
ElasticSearch 7.8.1叢集搭建
2020-08-13
Elasticsearch
Redis--叢集搭建
2020-10-18
Redis
Docker 搭建叢集 MongoDB
2020-09-08
DockerMongoDB
zookeeper叢集的搭建
2020-09-26

搭建ELK叢集

環境準備

基礎環境介紹

基礎環境配置

安裝基本軟體包以及配置hosts

修改檔案描述符以及核心引數

安裝及配置Java環境

建立應用所需使用者

關閉防火牆

下載所需應用安裝包

Elasticsearch

Logstash

Kibana

應用部署

部署elasticsearch服務

配置Redis服務

配置Logstash服務

配置Kibana服務

相關文章