Logstash mysql匯入es注意
input {
jdbc {
jdbc_driver_library => "D:/lmhworksapce/DBCPP/WebRoot/WEB-INF/lib/mysql-connector-java-8.0.11.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver" # 8.0以上版本:一定要把serverTimezone=UTC天加上
jdbc_connection_string => "jdbc:mysql://localhost:3306/db_film?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true"
jdbc_user => "root"
jdbc_password => "root"
#schedule => "* * * * *"
statement => "select * from sea_data"
#use_column_value => true
#tracking_column_type => "timestamp"
#tracking_column => "update_time"
#last_run_metadata_path => "syncpoint_table"
}
}
output {
elasticsearch {
# ES的IP地址及埠
hosts => ["127.0.0.1:9200"]
# 索引名稱 可自定義
index => "movie"
# 需要關聯的資料庫中有有一個id欄位,對應型別中的id
document_id => "%{v_id}"
document_type => "_doc"
}
stdout {
# JSON格式輸出
codec => json_lines
}
}
//注意 document_id => "%{v_id}"中 的v_id要與資料庫中的欄位對應
相關文章
- Logstash同步ES
- logstash匯入movielens測試資料
- docker搭建Elasticsearch、Kibana、Logstash 同步mysql資料到ESDockerElasticsearchMySql
- Mysql匯入大表檔案時注意修改引數MySql
- ES模組化的匯入和匯出
- Mysql匯入&匯出MySql
- Mysql匯入匯出MySql
- es6模組化的匯入匯出
- mysql 命令匯入匯出MySql
- mysql匯入匯出慢MySql
- mysql 匯入、匯出命令MySql
- mariadb審計日誌通過 logstash匯入 hiveHive
- SqlServer 匯入 MySqlServerMySql
- mysql資料匯入匯出MySql
- mysql資料匯出匯入MySql
- sqoop匯入orcle注意事項OOP
- MySQL入門--匯出和匯入資料MySql
- SQLServer匯出匯入資料到MySQLServerMySql
- mysql 匯入匯出 sql檔案MySql
- MySQL匯入匯出平面檔案MySql
- mysql 資料庫匯入匯出MySql資料庫
- MySQL資料庫匯入匯出MySql資料庫
- Python匯入包的注意事項Python
- python相對匯入注意事項Python
- 【mysql】資料庫匯出和匯入MySql資料庫
- mysql多執行緒匯出匯入MySql執行緒
- MySQL匯入匯出檔案檔案MySql
- mysql匯入匯出.csv格式資料MySql
- mysqldump匯入匯出mysql資料庫MySql資料庫
- MySQL表資料匯入與匯出MySql
- Mysql 資料庫匯入與匯出MySql資料庫
- Mysql匯入csv檔案MySql
- Mysql匯入本地檔案MySql
- excel 表匯入到mysqlExcelMySql
- MySQL資料的匯入MySql
- JavaScript中AMD和ES6模組的匯入匯出對比JavaScript
- MySQL匯入CSV/TXT等資料來源中資料操作流程及注意事項MySql
- 資料庫 MySQL 資料匯入匯出資料庫MySql