亞信安慧AntDB MTK資料同步工具之資料稽核

資料稽核是一種用於確保表資料準確性和一致性的重要方法，它涉及到檢查資料的完整性、致性、有效性和合法性，以及與預期規範的匹配程度等多個方面。隨著大資料時代的到來，透過有效的資料稽核，組織可以提高決策的準確性和效率，最佳化業務流程，並增強資料的可靠性和可用性。資料稽核也可以幫助組織發現資料質量問題、識別潛在的資料錯誤，併為資料管理和決策提供可靠的基礎。本文介紹了 MTK資料稽核的功能以及操作步驟。

MTK支援資料稽核功能，資料稽核包含表記錄數稽核、表資料稽核和表結構稽核，它不僅支援同構資料庫之間的資料稽核，還支援異構資料庫之間的資料稽核，同時也可以進行不同schema對映下的表資料稽核。在資料遷移後，對遷移庫的表資料進行資料稽核，可以發現資料的一致性、完整性、準確性等問題。=

表記錄數稽核

表記錄數稽核透過對源表和目標表分別執行：select count(*) from schemaName.tableName以獲取表名對應的記錄數，比較記錄數是否一致，需要注意的是支援源端和目標端的schema名稱不同。表記錄數稽核可用於快速發現資料的完整性問題。

資料校驗選中需要校驗的所有表，校驗範圍選擇行數。

圖1：校驗範圍-行數

行數校驗結果如下圖2所示，可以看到源表和目標表在行數不一致時分別展示源錶行數和目標表行數：

圖2：行數校驗結果

表資料稽核

表資料稽核透過select語句將表資料查詢出來，再進行內容比對。若遇到大表,且有主鍵表，再根據主鍵拆分成多個select語句多執行緒處理；若是無主鍵表,則根據rowid或者ctid分段查詢，需注意的是不同資料庫採用的分段策略有所不同，透過分段查詢可以提高資料校驗的處理速度。表資料稽核可用於全方面的檢查資料的一致性、完整性、準確性等問題。

   

圖3：校驗範圍-模型和資料

表資料稽核比對結果如下圖4所示，可以看到表內容比對的記錄數，當表資料不一致時，可以點選詳情按鈕檢視源表和目標表具體的內容差異明細：

圖4：校驗結果-模型和資料

表差異內容明細圖如下圖5所示：

圖5:表內容差異明細

 

表結構稽核

表結構稽核可以檢視源表和目標表的欄位差異，包括對欄位名稱、欄位型別、欄位長度的校驗。表結構稽核可以用於檢查不同環境DDL(資料定義語言)的一致性問題。

圖6：表結構差異明細

綜上所述， MTK工具的資料校驗是一項重要任務。透過使用MTK工具，可以對 資料進行 校驗、驗證和修復，以確保資料的準確性和完整性MTK工具提供不同的校驗方法和規則，用於檢查資料中的錯誤、不一致性和異常值，從而保證資料的質量和可靠性。MTK工具的資料校驗也可以幫助我們 最佳化資料流程、 快速發現和解決潛在的資料問題，併為後續分析和決策提供可靠的資料基礎。因此，在使用MTK工具進行資料校驗時，應確保選擇適當的校驗方法和配置引數，以滿足特定的資料質量要求。

關於亞信安慧AntDB資料庫

AntDB資料庫始於2008年，在運營商的核心繫統上，服務國內24個省市自治區的數億使用者，具備高效能、彈性擴充套件、高可靠等產品特性，峰值每秒可處理百萬筆通訊核心交易，保障系統持續穩定執行超十年，並在通訊、金融、交通、能源、物聯網等行業成功商用落地。