FLINKCDC3.0 datastream程式執行測試

自在现实發表於2024-05-05

1.編寫程式本地執行正常

2.程式正常打包

3.提交作業到FLINK叢集
./bin/flink run -m hdf1:8081 -c com.org.cdc.FlinkCDCDataStreamTest ./FlinkCdc-test.jar

4.監控作業執行
作業正常執行,cud檢視 taskmanager log,可以看到cud變更資料

5.給當前的Flink程式建立Savepoint
bin/flink savepoint 79440d0a1e3f8bf9fbbb0eb5fc04e8e0 hdfs://hdf1:8020/flinkCDC/save

在WebUI中cancelJob
在MySQL的表中新增、修改或者刪除資料

從Savepoint重啟程式
bin/flink run -s hdfs://hdf1:8020/flinkCDC/save/savepoint-5dadae-02c69ee54885 -c com.org.cdc.FlinkCDCDataStreamTest ./FlinkCdc-test.jar
觀察TaskManager日誌,會從檢查點讀取表資料

6.報錯 No path for the flink jar passed. Using the location of class org.apache.flink.yarn.YarnClusterDescriptor to locate the jar
該錯暫時擱置,無法手動建立儲存點

flink savepoint 5e8c92c0cea783738c9b62abbe84c504 /tmp/flink/checkpoints/

相關文章