概述
當下分散式系統的 日誌收集、日誌分析、日誌處理、視覺化 的熱門技術棧方案當然非 ELK（ElasticSearch、Logstash、Kibana）莫屬，從 L → E → K 構成了一條資料的 Pipeline管道：
- Logstash：與資料來源對接，用於收集、過濾處理你的日誌、事務或其他資料
- ElasticSearch： 是一個開源的，分散式 RESTful 搜尋引擎，在 ELK中可以初略理解為資料儲存的地方
- Kibana：將 Elasticsearch 的資料分析並渲染為視覺化的報表，便於高效分析
而且在我的前文《利用 ELK搭建 Docker容器化應用日誌中心》之中，曾利用 ELK 搭建了一條資料管道，用作 Docker容器化應用的日誌中心。
為什麼先講Logstash
作為與資料來源 “直接對接” 的 Logstash，位置處於 ELK 資料管道的 最前端，其主要作用是 收集、過濾分析、輸出 各種結構化或者非結構化的原始資料（典型的如日誌資料），原始資料從 “無序變有序” 的重擔就落在了Logstash的肩上了，因此其作用舉足輕重。
說到Logstash，不得不說其中的 外掛機制，其幾乎所有的功能都是靠外掛來實現的，因此靈活易用：
- 關於 資料收集，Logstash 提供了輸入外掛來支援各種不同的資料來源
- 關於 資料分析，Logstash 則提供了過濾器外掛來支援對輸入原始資料的花式處理
- 關於 資料輸出，Logstash 也提供了各種輸出外掛，從而支援將結果資料輸出到各種地方，比如標準控制檯，檔案，各種資料庫包括 ElasticSearch 等
Logstash的外掛管理
Logstash 外掛是使用 Ruby開發的，Logstash 從很早的1.5.0+版開始，其外掛模組和核心模組便分開維護，其外掛使用的是 RubyGems包管理器來管理維護。所以 Logstash外掛本質上就是自包含的RubyGems。
RubyGems（簡稱 gems）是一個用於對 Ruby元件進行打包的 Ruby 打包系統。 它提供一個分發 Ruby 程式和庫的標準格式，還提供一個管理程式包安裝的工具。
可以在網址 rubygems.org上搜尋所有Logstash外掛：
關於外掛的常用操作如下：
- 安裝外掛
可以線上安裝：
bin/plugin install [外掛名稱]
複製程式碼當然也可以將外掛提前下載到本地，然後本地安裝：
bin/plugin install path/logstash-xxx-x.x.x.gem
複製程式碼- 解除安裝外掛
bin/plugin uninstall [外掛名稱]
複製程式碼- 更新外掛
bin/plugin update [外掛名稱]
複製程式碼其會將外掛更新到最新的版本
Logstash的外掛定義語法結構
Logstash 外掛的定義其實使用的就是一套其自定義的 DSL語法，我還是習慣用圖來說明吧：
從圖中可以看出主要包含以下幾大部分內容：
1. 需要的依賴
該部分一般會用require語法引入如下依賴：
require "logstash/XXX/base"
require "logstash/namespace"
複製程式碼- 前者引入 特定型別外掛的依賴
- 後者引入 模組名稱空間
2. 類定義
需要用 class語法給每一個外掛定義一個類，後面我會用實際程式碼說明
3. 配置外掛名字
通過 config_name 語法來給外掛取一個名字，這個名字將會用到 Logstash.conf 配置檔案的外掛配置之中
4. 配置選項設定
可以使用 config 語法來按需定義任意個配置項。可以設定配置選項的名字、資料型別、預設值以及是否為必選項：
舉例：
config :percentage, :validate => :number, :default =>100
複製程式碼:percentage：定義配置項的名字:validate：配置指定引數的資料型別，如此處為 number型別:default：指定配置項的預設值:required：用於指定配置項是否必選
5. 外掛方法
每一種型別的外掛都需要實現一些方法，如下表所示：
| 外掛型別 | 外掛方法 |
|---|---|
| 輸入外掛 | register、 run |
| 過濾器外掛 | register、 filter |
| 輸出外掛 | register、 receive |
| 編解碼外掛 | register、 encode、 decode |
Logstash 外掛所具備的業務處理功能就來源於上述外掛方法業務邏輯實現！
好了，理論部分總結到這，下面結合一份Logstash外掛定義的原始碼來例析一下！
一份Logstash外掛定義檔案例析
我們以 Logstash 外掛的官網給出的一個 Logstash 過濾器外掛 logstash-filter-example 的原始碼為例來進行分析，麻雀雖小，五臟俱全！程式碼解析已經標註於圖中，不再贅述。
當然此處的例項給出的是一個入門例項，畢竟不可能在一篇篇幅有限的文章裡給出一個太過複雜的 Logstash的外掛原始碼。對照該原始碼和上一節的內容，我想應該不難理解Logstash的外掛原始碼結構了吧。
計劃後續展示一個 根據具體資料需求 來自定義開發一個滿足特定需求的 Logstash外掛的例項。
後記
注： 本文首發於 My 公眾號 CodeSheep ，可 長按 或 掃描 下面的 小心心 來訂閱 ↓ ↓ ↓