爬蟲日誌監控 -- Elastc Stack(ELK)部署

Eri發表於2020-09-26

傻瓜式部署,只需替換IP與使用者

導讀:

現ELK四大元件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(採集)、kibana(視覺化)
elastic官網下載元件tar包,各元件版本最好一致,配合fdm會快一點點

注意:如若後續用到sentinl(開源監控警報外掛,可webhook接釘釘等),ELK的元件版本應選擇與sentinl版本一致,
sentinl版本比ELK元件更新慢
我的杯具:Plugin sentinl [7.6.1] is incompatible with Kibana [7.9.0]

環境

  • linux mint19
  • 自帶open jdk 11 ( 不能低於1.8 )

配置

主目錄建立itcast,然後分配許可權,本機使用user0

chown -R user0:user0 /itcast

本機配置:解壓包tar -xzvf /itcast/*.tar.gz /itcast/ 、修改以下配置檔案

(注意:1、解壓目錄換成自己的版本,下略;2、縮排距離以預設檔案為主)

elasticsearch相關:

/itcast/(elasticsearch解壓目錄)/config/elasticsearch.yml

# 叢集名稱,預設是elasticsearch
cluster.name: my-application

# 節點名稱
node.name:node-1

# 配置IP埠
network.host:0.0.0.0
http.port: 9200

# 可以指定es的資料儲存目錄,預設儲存在es_home/data目錄下
# path.data: /path/to/data

# 可以指定es的日誌儲存目錄,預設儲存在es_home/logs目錄下
# path.logs: /path/to/logs

# 子叢集節點,用的上述節點設定的名稱
discovery.seed_hosts:[node-1]

# !!通過配置這個引數來防止叢集腦裂現象 (叢集總節點數量/2)+1
discovery.zen.minimum_master_nodes= ( master候選節點數量/2+1 )

# 處理跨域的相關引數
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE
http.cors.allow-headers: "X-Reqested-With, Content-Type, Content-Length, X-User"

kibana相關:

/itcast/(kibana解壓目錄)/config/kibana.yml

server.port: 5601
server.host: "0.0.0.0"

elasticsearch.hosts: ["http://192.168.199.224:9200"]
kibana.index: ".kibana"

# 自定義安全引數

xpack.encryptedSavedObjects.encryptionKey:encryptedSavedObjects12345678909876543210123
xpack.security.encryptionKey: encryptionKeysecurity12345678909876543210123
xpack.reporting.encryptionKey: encryptionKeyreporting12345678909876543210123

elasticsearch.requestTimeout: 90000
i18n.locale: "zh-CN"

logstash相關:

/itcast/(logstash解壓目錄)/config/logstash-sample.conf

input {
  beats {
    port => 5044
  }
}

filter {
 # 重要功能,對日誌處理均在此步,按需自行搜尋
  mutate {
    split => {"message" => "|"}
  }
  mutate {
    add_field => {
      "Date" => "%{[message][0]}"
      # 坑點!!!新版本中%{}裡欄位如message需要加上中括號[]作為識別
      "Level" => "%{[message][1]}"
      "result" => "%{[message][2]}"
    }
  }
  mutate {
    convert => {
      "Date" => "string"
      "Leverl" => "string"
      "result" => "string"
    }
  }
}

output {
  elasticsearch {
    hosts => ["http://192.168.199.224:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
  }
}

filebeat相關:( 實際中 filebeat 部署在業務執行的主機上 )

/itcast/(filebeat解壓目錄)/filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    #目標檔案,自行匹配
  - /var/log/*.log
  #- /itcast/elasticsearch/logs/*
  tags: ["spider"]
#不需要logstash處理可直接傳ela本身
#output.elasticsearch:
#  hosts: ["192.168.199.224:9200"]
out.logstash:
  hosts: ["192.168.199.224:5044"]
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:
  host: "192.168.199.224:5601"

其他

logstash外掛sentinl安裝(按需)

(kibana目錄)/bin/kibana-plugin install file:~/sentinl-v7.6.1.zip  # zip包自行github下載

執行

用 ufw 開啟有關埠:es、kibana、logstash ( 執行業務的 filebeat連到logstash埠 )

sudo ufw allow 9200
sudo ufw allow 5601
sudo ufw allow 5044
sudo ufw enable

/etc/security/limits.conf 尾部加上欄位

*                soft   nproc          65536
*                hard   nproc          65536
*                soft   nofile         65536
*                hard   nofile         65536

切換到使用者,執行命令如下,

su - user0
ulimit -n

# 返回65536即設定成功,保持user0狀態開啟elasticsearch服務
/itcast/(elasticsearch解壓目錄)/bin/elasticsearch

執行另外的元件( 實際 filebeat 在業務執行的主機上執行)

/itcast/(kibana解壓目錄)/bin/kibana
/itcast/(logstash解壓目錄)/bin/logstash -f ./config/logstash-sample.conf
/itcast/(filebeat解壓目錄)/filebeat -e -c filebeat.yml

測試

新建控制檯,cd至 filebeat 監控日誌目錄,此處為 /var/log

  1. 執行以下命令數次
echo "2020-09-01 | DEBUG  | create a logmsg demo" >> demo.log
  1. 開啟kibana(此處為192.168.199.224:5601)
  2. 選單開啟Stack Management( 管理中心 )
  3. kibana索引模式建立索引( logstash 的配置輸出中 index => "logstash-%{+YYYY.MM.dd}" ),此處輸入 logstash-* 即可
  4. (1)選單開啟 discover,建立新條目,選擇上一步的索引,調整時間段即可返回相關資料
    (2)選單開啟日誌,選擇索引 logstash-* 亦可返回流式資料

kibana簡易食用方法:

  1. 建立索引 (視為資料來源,操作的根本)
  2. 建立表格( discover )
  3. 建立視覺化(Visualize 餅圖,柱形圖等……)
  4. 建立儀表盤(dashboard 把視覺化組合起來)

持續更新,權當記錄

  • logstash外掛multiline,用於報錯而產生的多行時能匹配成一條日誌資料( 預設多少行=多少條資料)
./bin/logstash-plugin install logstash-filter-multiline    # logstash安裝外掛

logstash-simple.conf中的filter里加入

multiline {
    pattern => "^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}"
    negate => true
    what => "previous"
  }

# multiline {
#      charset=>...          #可選                    字元編碼        
#      max_bytes=>...        #可選     bytes型別       設定最大的位元組數
#      max_lines=>...        #可選     number型別      設定最大的行數,預設是500行
#      multiline_tag...      #可選     string型別      設定一個事件標籤,預設是multiline
#      pattern=>...          #必選     string型別      設定匹配的正規表示式
#      patterns_dir=>...     #可選     array型別       可以設定多個正規表示式
#      negate=>...           #可選     boolean型別     預設false不顯示,可設定ture
#      what=>...             #必選                    向前previous , 向後 next
# 
#  }

相關文章