5分鐘教你使用idea除錯SeaTunnel自定義外掛

海豚调度發表於2024-03-20

在用Apache SeaTunnel研發SM2加密元件過程中,發現社群關於本地除錯SeaTunnel文章過於簡單,很多情況沒有說明,於是根據自己遇到問題總結這篇文件。SeaTunnel本地除錯官方文件,希望對大家有所幫助!

使用的引擎為Flink(不需要下載,SeaTunnel中有載入依賴),輸入輸出方式為:mysql to mysql

一、工具說明

1.idea2023.3.2

2.MySQL8.0.36

3.jdk1.8

4.seatunnel 2.3.4-release

二、開發前準備

1.從github拉下來程式碼

github地址:https://github.com/apache/seatunnel/

2.在控制檯執行編譯

編譯指令為:

./mvnw clean install

file

Apache SeaTunnel2.3.3版本的編譯可以參考大飛哥的部落格4.2.1

3.建立資料庫建立表

(注意,資料庫不要使用mysql系統庫(如:information_schema,mysql,performance_schema,sys),需要自己建立新的資料庫,seatunnel會排除這些系統庫,2.3.4新增,2.3.3沒有這個判斷)。

file

4.新增配置檔案

在seatunnel-flink-connector-v2-example專案的resource/examples下新增需要執行的配置檔案,並修改SeaTunnelApiExample.java指向的檔案路徑

file

test.json(seatunnel支援執行json和config格式的配置檔案)

{
"env" : {
"job.name" : "test"
},
"source" : [ {
"query" : "select t.id,t.name,t.depId,t.salary from seatunnel.t_employee t",
"fetch_size" : 0,
"url" : "jdbc:mysql://localhost:3306/seatunnel",
"driver" : "com.mysql.cj.jdbc.Driver",
"user" : "root",
"password" : "123456",
"plugin_name" : "Jdbc",
"result_table_name" : "_seatunnel_table_jdbc_8"
} ],
"transform" : [ {
"original_text" : "name",
"plugin_name" : "Sm2Encrypt",
"result_table_name" : "_seatunnel_table_sm2_9",
"source_table_name" : "_seatunnel_table_jdbc_8"
} ],
"sink" : [ {
"database" : "seatunnel",
"table" : "t_employee",
"support_upsert_by_query_primary_key_exist" : true,
"generate_sink_sql" : true,
"primary_keys" : [ "name" ],
"max_retries" : 3,
"batch_size" : 300,
"is_exactly_once" : false,
"url" : "jdbc:mysql://localhost:3306/seatunnel",
"driver" : "com.mysql.cj.jdbc.Driver",
"user" : "root",
"password" : "123456",
"plugin_name" : "Jdbc",
"source_table_name" : "_seatunnel_table_sm2_9"
} ]
}

Sm2Encrypt是我自己研發的國密加密元件,自定義外掛的程式碼可以參考SeaTunnel擴充套件Transform外掛,自定義轉換外掛

5.新增maven

seatunnel-flink-connector-v2-example專案新增下列pom依賴並重新整理maven,沒有這些依賴會報錯,連線方式用到什麼就要新增什麼,我這裡使用的是connector-jdbc。如果source或sink用到http連線就需要新增connect-http依賴,具體有哪些可以看seatunnel-connectors-v2專案下的包

org.apache.seatunnel connector-jdbc ${project.version}

因為使用的是mysql資料庫,所以還需要引入mysql驅動

mysql mysql-connector-java 8.0.27

三、本地除錯

1.debug執行

debug執行SeaTunnelApiExample.java下的主類,

就可以在需要除錯的地方斷點除錯了

file

2.執行結果

file

本文由 白鯨開源 提供釋出支援!

相關文章