ELK 搭建筆記--Docker 方式

839891627發表於2019-01-18
筆記Docker

環境要求

  1. Docker
  2. A minimum of 4GB RAM assigned to Docker
  3. A limit on mmap counts equal to 262,144 or more

    Linux 需要修改系統 sysctl vm.max_map_count 引數

  4. Access to TCP port 5044 from log-emitting clients

相關配置檔案

https://github.com/839891627/ELK
這裡面我對 laravel的日誌格式做了一些定義：

現在 kibana 皮膚顯示的時間即 日誌檔案 中的時間，可以排序啦

服務端

安裝 ELK

這裡使用 sebp/elk 映象來安裝

  1. docker pull sebp/elk:651
  2. docker run -d -v /path/ElK/logstash/conf.d:/etc/logstash/conf.d -p 127.0.0.1:5601:5601 -p 9200:9200 -p 5044:5044 --restart=always -it --name elk sebp/elk:651
    • 5601 (Kibana web interface). 這裡做了 5601埠本地的對映限制，是為了搭配後面nginx的認證（如果不需要，則去掉 127.0.0.1）
    • 9200 (Elasticsearch JSON interface).
    • 5044 (Logstash Beats interface, receives logs from Beats such as Filebeat).
  3. 現在即可通過 ip:port 方式訪問 Kibana web 後臺了

    後面會通過 nginx 做 web 認證登入

客戶端

filebeat 安裝

客戶端使用 filebeat 來蒐集日誌

  1. docker pull prima/filebeat:6.4.2
  2. 配置檔案 filebeat.yml
  3. 建立並啟動容器 
    docker run -d -v  /data/wwwroot/filebeat/filebeat.yml:/filebeat.yml -v /path/需要蒐集的日誌目錄/logs:/home/logs --restart=always --name filebeat prima/filebeat:6.4.2

通過nginx認證登入kibana

  1. 安裝 apache 工具： yum install httpd-tools -y
  2. 生成密碼配置檔案： htpasswd -c -b /usr/local/nginx/conf/passwd/kibana.passwd username passwd
  3. nginx配置： 
    server {
      listen       80;
      server_name kibana.jt.com;
      #proxy_connect_timeout 6500s;
      location / {
         #proxy_connect_timeout 6500s;
         #proxy_read_timeout 6500s;
         auth_basic "secret";
         auth_basic_user_file /usr/local/nginx/conf/kibana.passwd;
         proxy_pass http://127.0.0.1:5601;
         proxy_set_header Host $host:5601;
         proxy_set_header X-Real-IP $remote_addr;
         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
         proxy_set_header Via "nginx";
      }
      access_log off
}

  4. 同時需要配置 /opt/kibana/config/kibana.yml;

    不再需要。因為在建立 elk 容器的時候，指定了 127.0.0.1:5601 埠的對映

    # 只允許本地訪問
server.host: "localhost"

其他命令

安裝 elasticsearch 外掛

  1. docker exec -it elk bash
  2. cd /opt/elasticsearch/bin
  3. elasticsearch-plugin install xxx
本作品採用《CC 協議》，轉載必須註明作者和本文連結

相關文章