公號:碼農充電站pro
主頁:https://codeshellme.github.io
1,安裝 Kibana
Kibana 用於資料視覺化,我們可以進入到 Kibana 下載頁面下載 Kibana,如下所示:
接下來根據自己的系統,下載相應的版本,然後進行解壓,得到如下資料夾:
其中 bin 目錄是一些工具命令,config 目錄中是配置檔案。
bin 目錄中的 kibana.bat 是 Kibana 的啟動程式,先來使用 --help
引數檢視其用法:
> bin\kibana --help
Usage: bin/kibana [command=serve] [options]
Kibana is an open source (Apache Licensed), browser based analytics and search dashboard for Elasticsearch.
Commands:
serve [options] Run the kibana server
help <command> Get the help for a specific command
"serve" Options:
-e, --elasticsearch <uri1,uri2> Elasticsearch instances
-c, --config <path> Path to the config file, use multiple --config args to include multiple config files
-p, --port <port> The port to bind to
-q, --quiet Prevent all logging except errors
-Q, --silent Prevent all logging
--verbose Turns on verbose logging
-H, --host <host> The host to bind to
-l, --log-file <path> The file to log to
--plugin-dir <path> A path to scan for plugins, this can be specified multiple times to specify multiple directories
--plugin-path <path> A path to a plugin which should be included by the server, this can be specified multiple times to specify multiple paths
--plugins <path> an alias for --plugin-dir
--optimize Deprecated, running the optimizer is no longer required
-h, --help output usage information
配置檔案無須做任何修改就可以執行,使用 bin\kibana
命令啟動一個 Kibana 例項,如果執行成功,Kibana 將在 5601 埠監聽服務。
在執行 Kibana 之前要使 ES 處於執行狀態。
使用瀏覽器訪問本地的 5601 埠,檢視 Kibana 是否啟動成功,如果像下面這樣,說明啟動成功:
2,簡單使用 Kibana
點選下面的框框,可以新增資料:
這裡有一些測試資料:
點選 Add data
可以將資料新增到系統中(這些資料其實是新增到了 ES 中)。
新增資料成功後,可以到 Dashboard
頁面檢視資料。
3,Deve Tools
Kibana 中的 Dev Tools
是個有用的工具:
在 Dev tools
中可以執行 ES 命令:
4,Kibana 外掛
使用 bin\kibana-plugin
命令可以安裝 Kibana 外掛:
> bin\kibana-plugin --help
Usage: bin/kibana-plugin [command] [options]
The Kibana plugin manager enables you to install and remove plugins that provide additional functionality to Kibana
Commands:
list list installed plugins
install [options] <plugin/url> install a plugin
remove [options] <plugin> remove a plugin
help <command> get the help for a specific command
5,安裝 Logstash
Logstash 用於向 ES 中匯入資料。首先進入到 Logstash 下載頁面下載 logstash:
接下來是根據自己的系統下載相應的版本,下載完成後,解壓後可得到如下目錄:
其中 bin 目錄中是一些工具命令,config 目錄中是配置檔案,config\logstash-sample.conf
檔案是 logstash 的配置檔案示例。
6,使用 Logstash
這裡是一份 MovieLens 資料集,我們將其下載下來,並用 logstash 將其匯入 ES。
使用 logstash 匯入檔案時,要為其指定配置檔案,我們將下面內容命名為 logstash.conf,並將其放在 config 目錄中。
input {
file {
path => "C:/logstash-7.10.1/ml-latest-small/movies.csv"
start_position => "beginning"
}
}
filter {
csv {
separator => ","
columns => ["id","content","genre"]
}
mutate {
split => { "genre" => "|" }
remove_field => ["path", "host","@timestamp","message"]
}
mutate {
split => ["content", "("]
add_field => { "title" => "%{[content][0]}"}
add_field => { "year" => "%{[content][1]}"}
}
mutate {
convert => {
"year" => "integer"
}
strip => ["title"]
remove_field => ["path", "host","@timestamp","message","content"]
}
}
output {
elasticsearch {
hosts => "http://localhost:9200"
index => "movies"
document_id => "%{id}"
}
stdout {}
}
這個配置檔案中的內容,你不必全部看懂,只需要知道下面兩點:
input.file.path
表示要匯入的檔案路徑。output.elasticsearch.hosts
表示 ES 的地址。
下面使用 bin\logstash
命令將 movies.csv
檔案中的資料匯入 ES,使用 -f
指定配置檔案:
> bin\logstash -f config\logstash.conf
7,使用 Kibana 檢視匯入的資料
當匯入完成後,可以使用 Kibana 檢視匯入的資料:
然後點選索引管理:
然後可以看到下面的頁面:
點選 movies 索引,可以看到它的詳細資料:
還可以檢視 Setting,Mapping 等資料。
8,安裝及執行 Cerebro
Cerebro 是一個開源的 ElasticSearch 管理工具。
在 Windows 系統中可以使用 choco 來安裝:
choco install cerebro-es
也可以在下載頁下載安裝包。
下載 / 安裝好之後,使用 bin/cerebro 執行程式,啟動成功後,它會在 9000 埠監聽服務。
使用瀏覽器訪問 9000 埠:
然後填入 ES 地址,點選 Connect,可以看到 ES 的管理介面:
(本節完。)
推薦閱讀:
歡迎關注作者公眾號,獲取更多技術乾貨。