## 一、Elasticsearch + Kibana + Fluentd 簡單介紹
**EFK** 架構可用於日誌的收集、儲存、搜尋和分析。元件的功能說明如下：

- **Fluentd** 用以收集日誌。
- **Elasticsearch** 簡稱 `es` 主要用以資料的儲存並提供索引與搜尋功能。
- **Kibana** 搜尋與分析。

## 二、環境準備
在[滴滴雲](https://blog.didiyun.com)官網購買一臺 [DC2](https://help.didiyun.com/hc/kb/article/1145869/) 例項，規格無需太大，需要帶 EIP 方便下載和安裝。
  
## 三、Elasticsearch + Kibana + Fluentd 安裝
###  登陸滴滴雲伺服器進行如下操作（本例使用的作業系統版本為 CentOS7.4）

#### 1. 安裝部署 Fluentd

```shell
curl -L 'https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh' | sh
#安裝es外掛
/usr/sbin/td-agent-gem install fluent-plugin-elasticsearch

```
#### 2. 修改 Fluentd 配置檔案 td-agent.conf（本例以收集nginx的日誌為模板）
```
vim /etc/td-agent/td-agent.conf
<source>
  @type tail
  path /var/log/nginx.log # 要收集的日誌檔案路徑
  pos_file /var/log/td-agent/nginx.log.pos 
  tag nginx.log # 標籤

# 分析提取日誌資訊,最終的正規表示式以nginx的欄位為準。
  format /^(?<time>[^\]]*) (?<remote_ip>[^ ]*) (?<user>[^ ]*) "(?<host>[^ ]*)" "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code class=" prettyprint">[^ ]*) (?<size>[^ ]*) "(?<referer>[^\"]*)" "(?<agent>[^\"]*)" (?<request_time>[^ ]*) (?<upstream_time>[^ ]*) (?<pipe>[^ ]*)$/
</pipe></upstream_time></request_time></agent></referer></size></code></path></method></host></user></remote_ip></time><source>
<match nginx.log="">
  @type copy
  <store>
# debug模式 (tail -f /var/log/td-agent/td-agent.log)可以檢視日誌收集情況
    @type stdout
  </store>
  <store>
    @type elasticsearch # 使用的資料儲存的外掛
    host dc2例項內網的IP地址 # es伺服器地址
    port 9200			# es埠
    logstash_format true 
    flush_interval 10
  </store>
</match>

```
#### 3. 啟動 Fluentd 服務
```shell
systemctl start td-agent

systemctl status td-agent

```

#### 4. 安裝部署 Elasticsearch

```shell
wget -S 'https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.1.rpm'

rpm -ivh elasticsearch-6.6.1.rpm

```
#### 5. 修改 elasticsearch.yml 配置檔案

```
vim /etc/elasticsearch/elasticsearch.yml
...

network.host: dc2例項內網的IP地址

...

http.port: 9200

...

```

#### 6. 啟動 Elasticsearch 服務

```shell
systemctl start elasticsearch

systemctl status elasticsearch

```

#### 7. 安裝 Kibana

```shell
wget -S 'https://artifacts.elastic.co/downloads/kibana/kibana-6.6.1-x86_64.rpm'

rpm -ivh kibana-6.6.1-x86_64.rpm

```
#### 8. 修改 kibana.yml 配置檔案
```
vim /etc/kibana/kibana.yml
...
server.port: 5601

...

server.host: "dc2例項內網的IP地址"

...

elasticsearch.hosts: ["http://dc2例項內網的IP地址:9200"]

...

```

#### 9. 啟動 Kibana 服務
```shell
systemctl start kibana

systemctl status kibana

```

#### 10. 配置滴滴雲 SLB 和安全組規則
* [安全規則設定](https://help.didiyun.com/hc/kb/article/1091031/)：安全組中新增 5601 埠的入方向規則，授權物件為：0.0.0.0/0
  
#### 11. 服務驗證
* 瀏覽器中輸入 http://EIP:5601 即可看到 Kibana 的主頁，在簡單的配置之後即可看到收集的 Nginx 日誌資訊。

基於滴滴雲部署 Elasticsearch + Kibana + Fluentd

相關文章