Logstash mysql匯入es注意
input {
jdbc {
jdbc_driver_library => "D:/lmhworksapce/DBCPP/WebRoot/WEB-INF/lib/mysql-connector-java-8.0.11.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver" # 8.0以上版本:一定要把serverTimezone=UTC天加上
jdbc_connection_string => "jdbc:mysql://localhost:3306/db_film?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true"
jdbc_user => "root"
jdbc_password => "root"
#schedule => "* * * * *"
statement => "select * from sea_data"
#use_column_value => true
#tracking_column_type => "timestamp"
#tracking_column => "update_time"
#last_run_metadata_path => "syncpoint_table"
}
}
output {
elasticsearch {
# ES的IP地址及埠
hosts => ["127.0.0.1:9200"]
# 索引名稱 可自定義
index => "movie"
# 需要關聯的資料庫中有有一個id欄位,對應型別中的id
document_id => "%{v_id}"
document_type => "_doc"
}
stdout {
# JSON格式輸出
codec => json_lines
}
}
//注意 document_id => "%{v_id}"中 的v_id要與資料庫中的欄位對應
相關文章
- Logstash同步ES
- logstash匯入movielens測試資料
- docker搭建Elasticsearch、Kibana、Logstash 同步mysql資料到ESDockerElasticsearchMySql
- Mysql匯入&匯出MySql
- mariadb審計日誌通過 logstash匯入 hiveHive
- ES模組化的匯入和匯出
- sqoop匯入orcle注意事項OOP
- SqlServer 匯入 MySqlServerMySql
- es6模組化的匯入匯出
- MySQL入門--匯出和匯入資料MySql
- python相對匯入注意事項Python
- Python匯入包的注意事項Python
- SQLServer匯出匯入資料到MySQLServerMySql
- import匯入檔案路徑注意點Import
- Mysql 資料庫匯入與匯出MySql資料庫
- Mysql匯入本地檔案MySql
- Mysql匯入csv檔案MySql
- MySQL資料的匯入MySql
- 使用Logstash工具匯入sqlserver資料到elasticSearch及elk分散式日誌中心SQLServerElasticsearch分散式
- 資料庫 MySQL 資料匯入匯出資料庫MySql
- 【MySQL】白話說MySQL(五),資料的匯出與匯入MySql
- 超簡單1分鐘瞭解 ES6 匯入匯出
- Linux 上將 txt 匯入 mysqlLinuxMySql
- MySQL匯入CSV/TXT等資料來源中資料操作流程及注意事項MySql
- FlinkSQL寫入Kafka/ES/MySQL示例-JAVAKafkaMySqlJava
- 【node】如何在ES modules中匯入JSON檔案JSON
- MySQL MHA資訊的收集【Filebeat+logstash+MySQL】MySql
- ELK(ElasticSearch,Logstash,Kibana)入門Elasticsearch
- JavaScript中AMD和ES6模組的匯入匯出對比JavaScript
- Mysql透過workbench對錶進行匯出匯入MySql
- mysql匯入匯出指令碼的區別對比MySql指令碼
- sqoop用法之mysql與hive資料匯入匯出OOPMySqlHive
- 向mysql中匯入.sql檔案MySql
- MySQL匯入百萬資料實踐MySql
- MySQL 8:備份&匯入【備忘】MySql
- Python批量匯入Excel資料到MySQLPythonExcelMySql
- Windows 下 MySQL 資料匯入 RedisWindowsMySqlRedis
- Linux mysql 備份和匯入命令LinuxMySql