介紹

Apache Flink CDC 3.0 是 Flink CDC 的新版本，它對之前的版本做了很多改進，包括效能、穩定性和易用性等方面。

特性

1. 新的 CDC 聯結器

Flink CDC 3.0 提供了對 MySQL、PostgreSQL、Oracle 和 SQL Server 等主流資料庫的 CDC 支援。這些聯結器使用資料庫的原生 CDC 介面，可以高效地捕獲資料庫中的資料變更。

2. 更快的讀取速度

Flink CDC 3.0 支援並行讀取，可以顯著提高讀取速度。並行讀取是指將資料讀取任務分解成多個小任務，然後由多個執行緒同時執行這些任務。這樣可以大大提高資料讀取的吞吐量。

3. 更高的可靠性

Flink CDC 3.0 支援端到端檢查點，可以保證資料的一致性和準確性。端到端檢查點是指將資料讀取任務的狀態和資料都儲存到檢查點中。如果發生故障，可以從檢查點恢復資料讀取任務，而不會丟失任何資料。

4. 更低的延遲

Flink CDC 3.0 支援增量讀取，可以減少延遲。增量讀取是指只讀取上次讀取之後的資料變更。這樣可以減少需要讀取的資料量，從而降低延遲。

5. 更簡單的使用

Flink CDC 3.0 提供了統一的 API，可以輕鬆地整合到 Flink 中。統一的 API是指所有資料庫的 CDC 聯結器都使用相同的 API。這樣可以簡化開發人員的使用，並降低學習成本。

6. 高可用

Flink CDC 3.0 支援高可用性，可以保證在發生故障時資料仍然能夠被讀取。高可用性是指在發生故障時，Flink CDC 3.0 能夠自動將資料讀取任務轉移到其他節點繼續執行。這樣可以保證資料讀取任務不會中斷，並且不會丟失任何資料。

7. 可擴充套件性

Flink CDC 3.0 支援可擴充套件性，可以輕鬆地擴充套件到更大的資料量。可擴充套件性是指 Flink CDC 3.0 能夠透過增加節點來提高資料讀取的吞吐量。這樣可以滿足不斷增長的資料量需求。

8. 安全性

Flink CDC 3.0 支援安全性，可以保證資料的安全傳輸。安全性是指 Flink CDC 3.0 可以使用 SSL 加密來保護資料傳輸。這樣可以防止資料在傳輸過程中被竊取。

1. 資料同步：可以將資料從源資料庫同步到目標資料庫。

2. 資料分析：可以將資料從源資料庫同步到資料分析平臺，以便進行資料分析。

3. 資料整合：可以將資料從源資料庫同步到其他系統，以便進行資料整合。

4. 資料備份：可以將資料從源資料庫同步到備份系統，以便進行資料備份。

https://mp.weixin.qq.com/s/dCJMdCRH9LO6vB2GuRM_0Q