Kibana,Logstash 和 Cerebro 的安裝執行

碼農充電站發表於2021-02-05

公號:碼農充電站pro
主頁:https://codeshellme.github.io

1,安裝 Kibana

Kibana 用於資料視覺化,我們可以進入到 Kibana 下載頁面下載 Kibana,如下所示:

在這裡插入圖片描述

接下來根據自己的系統,下載相應的版本,然後進行解壓,得到如下資料夾:

在這裡插入圖片描述

其中 bin 目錄是一些工具命令,config 目錄中是配置檔案。

bin 目錄中的 kibana.batKibana 的啟動程式,先來使用 --help 引數檢視其用法:

> bin\kibana --help

  Usage: bin/kibana [command=serve] [options]

  Kibana is an open source (Apache Licensed), browser based analytics and search dashboard for Elasticsearch.

  Commands:
    serve  [options]  Run the kibana server
    help  <command>   Get the help for a specific command

  "serve" Options:

    -e, --elasticsearch <uri1,uri2>  Elasticsearch instances
    -c, --config <path>              Path to the config file, use multiple --config args to include multiple config files
    -p, --port <port>                The port to bind to
    -q, --quiet                      Prevent all logging except errors
    -Q, --silent                     Prevent all logging
    --verbose                        Turns on verbose logging
    -H, --host <host>                The host to bind to
    -l, --log-file <path>            The file to log to
    --plugin-dir <path>              A path to scan for plugins, this can be specified multiple times to specify multiple directories
    --plugin-path <path>             A path to a plugin which should be included by the server, this can be specified multiple times to specify multiple paths
    --plugins <path>                 an alias for --plugin-dir
    --optimize                       Deprecated, running the optimizer is no longer required
    -h, --help                       output usage information

配置檔案無須做任何修改就可以執行,使用 bin\kibana 命令啟動一個 Kibana 例項,如果執行成功,Kibana 將在 5601 埠監聽服務。

在執行 Kibana 之前要使 ES 處於執行狀態。

使用瀏覽器訪問本地的 5601 埠,檢視 Kibana 是否啟動成功,如果像下面這樣,說明啟動成功:

在這裡插入圖片描述

2,簡單使用 Kibana

點選下面的框框,可以新增資料:

在這裡插入圖片描述

這裡有一些測試資料:

在這裡插入圖片描述

點選 Add data 可以將資料新增到系統中(這些資料其實是新增到了 ES 中)。

新增資料成功後,可以到 Dashboard 頁面檢視資料。

在這裡插入圖片描述

3,Deve Tools

Kibana 中的 Dev Tools 是個有用的工具:

在這裡插入圖片描述

Dev tools 中可以執行 ES 命令:

在這裡插入圖片描述

4,Kibana 外掛

使用 bin\kibana-plugin 命令可以安裝 Kibana 外掛:

> bin\kibana-plugin --help

  Usage: bin/kibana-plugin [command] [options]

  The Kibana plugin manager enables you to install and remove plugins that provide additional functionality to Kibana

  Commands:
    list                            list installed plugins
    install  [options] <plugin/url> install a plugin
    remove  [options] <plugin>      remove a plugin
    help  <command>                 get the help for a specific command

5,安裝 Logstash

Logstash 用於向 ES 中匯入資料。首先進入到 Logstash 下載頁面下載 logstash:

在這裡插入圖片描述

接下來是根據自己的系統下載相應的版本,下載完成後,解壓後可得到如下目錄:

cerebro

其中 bin 目錄中是一些工具命令,config 目錄中是配置檔案,config\logstash-sample.conf 檔案是 logstash 的配置檔案示例。

6,使用 Logstash

這裡是一份 MovieLens 資料集,我們將其下載下來,並用 logstash 將其匯入 ES。

使用 logstash 匯入檔案時,要為其指定配置檔案,我們將下面內容命名為 logstash.conf,並將其放在 config 目錄中。

input {
  file {
    path => "C:/logstash-7.10.1/ml-latest-small/movies.csv"
    start_position => "beginning"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {
    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }
}
output {
   elasticsearch {
     hosts => "http://localhost:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

這個配置檔案中的內容,你不必全部看懂,只需要知道下面兩點:

  • input.file.path 表示要匯入的檔案路徑。
  • output.elasticsearch.hosts 表示 ES 的地址。

下面使用 bin\logstash 命令將 movies.csv 檔案中的資料匯入 ES,使用 -f 指定配置檔案:

> bin\logstash -f config\logstash.conf

7,使用 Kibana 檢視匯入的資料

當匯入完成後,可以使用 Kibana 檢視匯入的資料:

在這裡插入圖片描述

然後點選索引管理

在這裡插入圖片描述

然後可以看到下面的頁面:

在這裡插入圖片描述

點選 movies 索引,可以看到它的詳細資料:

在這裡插入圖片描述

還可以檢視 SettingMapping 等資料。

8,安裝及執行 Cerebro

Cerebro 是一個開源的 ElasticSearch 管理工具。

在 Windows 系統中可以使用 choco 來安裝:

choco install cerebro-es

也可以在下載頁下載安裝包。

下載 / 安裝好之後,使用 bin/cerebro 執行程式,啟動成功後,它會在 9000 埠監聽服務。

使用瀏覽器訪問 9000 埠:

在這裡插入圖片描述

然後填入 ES 地址,點選 Connect,可以看到 ES 的管理介面:

在這裡插入圖片描述

(本節完。)


推薦閱讀:

ElasticSearch 入門簡介

ElasticSearch 安裝與執行


歡迎關注作者公眾號,獲取更多技術乾貨。

碼農充電站pro

相關文章