Logstash mysql匯入es注意

qq_28205003發表於2020-11-25

input {
  jdbc {
    jdbc_driver_library => "D:/lmhworksapce/DBCPP/WebRoot/WEB-INF/lib/mysql-connector-java-8.0.11.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"    # 8.0以上版本:一定要把serverTimezone=UTC天加上
    jdbc_connection_string => "jdbc:mysql://localhost:3306/db_film?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true"
    jdbc_user => "root"
    jdbc_password => "root"
    #schedule => "* * * * *"
    statement => "select * from sea_data"
    #use_column_value => true
    #tracking_column_type => "timestamp"
    #tracking_column => "update_time"
    #last_run_metadata_path => "syncpoint_table"
  }
}
output {
    elasticsearch {
        # ES的IP地址及埠
        hosts => ["127.0.0.1:9200"]
        # 索引名稱 可自定義
        index => "movie"
        # 需要關聯的資料庫中有有一個id欄位,對應型別中的id
        document_id => "%{v_id}"
        document_type => "_doc"
    }
    stdout {
        # JSON格式輸出
        codec => json_lines
    }
}

 

//注意   document_id => "%{v_id}"中 的v_id要與資料庫中的欄位對應

相關文章