### 前言

ELK 是三個開源專案的首字母縮寫：Elasticsearch、Logstash 和 Kibana。但後來出現的 FileBeat 可以完全替代 Logstash的資料收集功能，也比較輕量級。本文將介紹 **EFK:** Elasticsearch、Filebeat 和 Kibana

Elasticsearch：分散式搜尋和分析引擎，具有高可伸縮、高可靠和易管理等特點。基於 Apache Lucene 構建，能對大容量的資料進行接近實時的儲存、搜尋和分析操作。通常被用作某些應用的基礎搜尋引擎，使其具有複雜的搜尋功能；

Kibana：資料分析和視覺化平臺。與 Elasticsearch 配合使用，對其中資料進行搜尋、分析和以統計圖表的方式展示；

Filebeat：Filebeat 是一個輕量級的傳送器，用於轉發和集中日誌資料。Filebeat 作為代理安裝在您的伺服器上，監控您指定的日誌檔案或位置，收集日誌事件，並將它們轉發到 Elasticsearch 或 Logstash 以進行索引。

通過本文了解如何將執行在 Rainbond 上的應用，通過開啟 FileBeat 外掛的方式收集應用日誌併傳送到 Elasticsearch 中。

### 整合架構

在收集日誌時，需要在應用中啟用 FileBeat 外掛進行收集，FileBeat收集日誌有三種方式：

1. 指定日誌路徑
2. 收集所有容器日誌
3. 指定 Label 自動發現

本文使用 指定日誌路徑進行收集，這種方式我們可以自定義收集日誌的規則等。

我們將 FileBeat 製作成 Rainbond 的 [一般型別外掛](https://www.rainbond.com/docs/get-start/concept/plugin?channel=itpub) ，在應用啟動之後，外掛也隨之啟動並自動收集日誌傳送至 Elasticsearch,整個過程對應用容器無侵入，且擴充性強。對接其他日誌收集也可以用類似方式，使用者通過替換外掛實現對接不同的日誌收集工具。

下圖展示了在Rainbond使用FileBeat外掛收集應用日誌併傳送到 Elasticsearch 的結構。

![image-20211223162213573](https://grstatic.oss-cn-shanghai.aliyuncs.com/wechat/EFK/es_architecture.png)

### 外掛實現原理解析

Rainbond外掛體系是相對於Rainbond應用模型的一部分，外掛主要用來實現應用容器擴充套件運維能力。由於運維工具的實現有較大的共性，因此外掛本身可以被複用。外掛必須繫結到應用容器時才具有執行時狀態，用以實現一種運維能力，比如效能分析外掛、網路治理外掛、初始化型別外掛。

具有執行時的外掛的執行環境與所繫結的元件從以下幾個方面保持一致：

* **網路空間** 這個一個至關重要的特性，網路空間一致使外掛可以對元件網路流量進行旁路監聽和攔截，設定元件本地域名解析等。
* **儲存持久化空間** 這個特性使得外掛與元件之間可以通過持久化目錄進行檔案交換。
* **環境變數** 這個特性使得外掛可以讀取元件的環境變數。

在製作 FileBeat 外掛的過程中，使用到了 **一般型別外掛**，可以理解為一個POD啟動兩個 Container，Kubernetes原生支援一個POD中啟動多個 Container，但配置起來相對複雜，在Rainbond中通過外掛實現使使用者操作簡單。

### 通過Rainbond 應用商店一鍵安裝 EK

我們已將 elasticsearch + Kibana 製作為應用併發布至應用市場，使用者可基於開源應用商店一鍵安裝。

1. 安裝 Rainbond
2. 在開源應用商店搜尋 elasticsearch，點選安裝即可一鍵安裝；

![image-20211223163856435](https://grstatic.oss-cn-shanghai.aliyuncs.com/wechat/EFK/es_store.png)

![image-20211223164246240](https://grstatic.oss-cn-shanghai.aliyuncs.com/wechat/EFK/es_topology.png)

3. `elasticsearch` 預設啟用了 xpack 安全模組來保護我們的叢集，所以我們需要一個初始化的密碼。我們進入 `elasticsearch` Web終端執行如下所示的命令，Web終端內執行 `bin/elasticsearch-setup-passwords` 命令來生成預設的使用者名稱和密碼：

```shell
bin/elasticsearch-setup-passwords 引數
auto 自動生成
interactive 手動填寫
```

4. 進入 `Kibana` 元件的環境變數中，修改預設連線 `elasticsearch`的環境變數 `ELASTICSEARCH_PASSWORD`。

### 收集應用日誌

使用 Nginx 作為本文的演示應用，在Rainbond上使用映象建立元件，

* 映象地址：`nginx:latest`
* 掛載儲存：`/var/log/nginx`，將Nginx日誌持久化，Filebeat外掛可讀取到該日誌檔案。

**製作 FileBeat 外掛**

在Rainbond團隊介面點選外掛後進入外掛介面，點選新建外掛，建立一般型別外掛。

* 映象地址：docker.elastic.co/beats/filebeat:7.15.2
* 其他自定義即可。

![image-20211223165325136](https://grstatic.oss-cn-shanghai.aliyuncs.com/wechat/EFK/create_plugin.png)

建立外掛並構建，構建成功後我們在 Nginx元件的外掛中開通 FileBeat 外掛。

在Nginx元件的環境配置中，新增 FileBeat 配置檔案 如下，更多配置可參考 [官方文件](https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-reference-yml.html)

* 配置檔案掛載路徑：/usr/share/filebeat/filebeat.yml
* 配置檔案許可權：644

```yaml
filebeat.inputs:
- type: log
  paths:
    - /var/log/nginx/*.log
output.elasticsearch:
  hosts: '127.0.0.1:9200'
  username: "elastic"
  password: "elastic"
```

**建立依賴關係**

將 Nginx 與 elasticsearch 建立依賴關係，使其能通過 `127.0.0.1`地址與 `elasticsearch` 通訊，更新Nginx元件使依賴生效。

**訪問Kibana**

> Kibana預設已漢化

1. 點選 `Stack Management` > 索引管理，可看到我們的 `filebeat` 索引已存在。

2. `Stack Management` > 索引模式，建立 `filebeat` 索引模式。

3. `Discover` 頁面即可看到日誌資訊。

![image-20211223180227267](https://grstatic.oss-cn-shanghai.aliyuncs.com/wechat/EFK/discover.png)

### 總結

基於Rainbond的外掛機制與 EFK 結合，使使用者可以快速的通過`EFK`收集應用日誌進行分析，並且可靈活的將外掛 `FileBeat` 替換為 `Logstash`。

除此之外，Rainbond的外掛機制具有開放性，通過外掛機制對應用治理功能進行擴充套件，例如網路治理類、資料備份類外掛，在對原應用邏輯無侵入的情況下，能夠通過網路治理類外掛對服務的效能進行分析，對接ELK等日誌收集系統；對於資料庫等元件而言，使用備份外掛對資料進行備份。

### 關於Rainbond

Rainbond 是一個開源的雲原生應用管理平臺，使用簡單，不需要懂容器和Kubernetes，支援管理多個Kubernetes叢集，提供企業級應用的全生命週期管理，功能包括應用開發環境、應用市場、微服務架構、應用持續交付、應用運維、應用級多雲管理等。

Github：https://github.com/goodrain/rainbond

官網：https://www.rainbond.com

微信群：請搜尋新增群助手微訊號 `wylhzmyj`

釘釘群：請搜尋釘釘群號 `31096419`

Rainbond通過外掛整合ELK/EFK，實現日誌收集

相關文章