十八、.net core（.NET 6）搭建ElasticSearch(ES)系列之使用Logstash通過Rabbitmq接收Serilog日誌到ES

WeskyNet發表於2021-06-30

ElasticsearchMQ

使用Logstash通過Rabbitmq接收Serilog日誌到ES

首先，要部署logstash

為了與前面的ElasticSearch版本保持一致，此處Logstash下載的版本也是7.13.1，下載地址：

https://artifacts.elastic.co/downloads/logstash/logstash-7.13.1-windows-x86_64.zip

解壓以後，修改一些配置：

在config目錄下，修改jvm.options檔案，設定記憶體佔用最小值和最大值：如果配置比較低，建議配置成512MB即可，如果電腦或伺服器配置比較好，那就請隨意。如果只是普通用途，比如記錄普通日誌啥的，配個4G內基本足夠了。

在config裡面，有一個logstash-sample.conf檔案，可以當做參考配置，隨後我們們新建一個用於接收RabbitMQ的配置檔案。先來寫程式碼~~

在package包專案下，新增引用 Serilog.Sinks.RabbitMQ元件：

然後，在Program檔案下面，新增serilog日誌寫入到RabbitMQ的一些配置：

以上程式碼如下：

 logger.WriteTo.RabbitMQ((clientConfiguration, sinkConfig) =>
                         {
                             clientConfiguration.Username = "wesky";
                             clientConfiguration.Password = "wesky123";
                             clientConfiguration.Exchange = "WeskyExchange";
                             clientConfiguration.ExchangeType = "direct";
                             clientConfiguration.DeliveryMode = RabbitMQDeliveryMode.Durable;
                             clientConfiguration.RouteKey = "WeskyLog";
                             clientConfiguration.Port = 5672;
                             clientConfiguration.Hostnames.Add("127.0.0.1");
                             sinkConfig.TextFormatter = new JsonFormatter();
                         });

以上為了方便，所以寫死了，大佬們可以寫到配置檔案裡面去進行讀取，這樣好一點。

然後，程式啟動時候，進行主動建立一個Exchange為WeskyExchange的，RouteKey是WeskyLogs的訊息佇列，包括生產者和消費者。之前有做過簡單的RabbitMQ建立的案例，所以直接在原來的基礎上做一些改動：

設定了兩個RouteKey:WeskyLog和WeskyLog2,以及兩個佇列 Log1和Log2。我們們主要使用WeskyLog和 Log1。

在消費者監聽上面，做個過濾，對於佇列是Log1的訊息，直接返回不做處理，這樣做到目的是訊息不被消費，讓logstash來消費訊息：

現在開始配置logstash，上面有一個logstash-sample.conf檔案，拷貝一分，重新命名為 rabbitmq.conf 然後往裡面更改一些配置資訊，如下：

logstash部分配置程式碼：

十八、.net core（.NET 6）搭建ElasticSearch(ES)系列之使用Logstash通過Rabbitmq接收Serilog日誌到ES

input {
  rabbitmq {
    host => "127.0.0.1"
    port => 5672
    user => "wesky"
    password => "wesky123"
    queue => "Log1"
    key => "WeskyLog"
    exchange => "WeskyExchange"
    durable => true
  }
}

filter {
  grok {
    match => {"Timestamp" => "%{TIMESTAMP_ISO8601:ctime}"}
    add_field => ["create_time","%{@timestamp}"]
  }
  date {
    match => ["ctime","yyyy-MM-dd HH:mm:ss.SSS","ISO8601"]
    target => "@timestamp"
  }
  mutate {
    remove_field => ["@version","Properties","Timestamp","ctime"]
    rename => {"MessageTemplate" => "message"}
    rename => {"Level" => "level"}
  }
  ruby {
    code => "event.set('create_time',event.get('@timestamp').time.localtime)"
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "log-%{+YYYYMMdd}"
  }
}