分散式及高可用後設資料採集原理

精選提問：

問1：請問如何提高後設資料採集的效率，減少對第三方系統的影響？

答：主要有兩個方面，1、提高採集效率，減少佔用第三方系統的時間，2、選擇在第三方系統空閒時間進行採集。

問2：通過後設資料ID去正式表裡查詢就可得出哪些後設資料是新增和刪除的。刪除的後設資料，是不是一次採集的全部資料都得在記憶體中？如果一次採集的資料，記憶體裝不下呢？另外就是，使用資料庫事務肯定是不行的了，那如果資料寫到一半，因為一些原因出異常了，這資料的一致性是怎麼考慮的？

答：採集後設資料時可以分批次抽取資料，例如採集某一資料庫，可以先採集一部分Schema，入庫之後，再採集另一部分，這樣可以解決記憶體的溢位問題。寫入資料時，一次採集會在資料庫裡建立一個臨時表(temporary table),先將資料寫入到臨時表，然後在複製臨時表資料到正式表，這樣可以保證資料的一致性。

問3：後設資料採集過程中和之後，在安全方面應該考慮哪些？

答：採集過程遵循最小許可權原則，例如採集資料庫後設資料時給使用者設定最小許可權，在使用後設資料管理工具時，給不同的使用者賦不同的檢視、修改、刪除等許可權。

問4：後設資料在金融領域實用哪些場景？

答：金融領域這塊主要是監管報送資料來源分析，保證資料來源的準確性。

問5：後設資料採集、安全傳輸、綜合應用、版本維護這些在普元的後設資料方案中如何體現的？

答：後設資料採集是通過分散式採集來實現的，通過部署採集端實現不同來源後設資料的採集。傳輸過程目前是通過資料庫jdbc訪問方式實現，給使用者設定最小許可權，保證資料採集過程安全。綜合應用中提供了影響分析、資料地圖應用場景，版本管理是對後設資料版本的管理，是綜合運用的一塊內容。

問6：後設資料是描述資料的資料，後設資料的質量如何保障，對於採集到的後設資料如何提升挖掘分析能力，也就是後設資料的關聯分析都有哪些模型？

答：後設資料的質量是通過管理+技術的手段來保證的。管理方面要制定後設資料的標準，從後設資料的完整性、準確性、時效性等不同維度來制定管理的規範。技術方面要提供功能支撐。

問7：後設資料分散式採集中，後設資料的版本如何管理？後設資料儲存都有哪些資料庫，對於後設資料分散式採集和儲存，一般支援的資料庫有哪些後設資料版本管理？

答：你說版本管理應該是後設資料變更後的歷史資訊管理吧，採集時通過後設資料ID比對，刷選出新增或刪除的後設資料，比對屬性ID，篩選出修改的後設資料，把變更資訊記錄資料庫中。後設資料儲存庫常見的有MySql和Oracle。

問8：後設資料採集的核心是什麼呢？

答：後設資料採集的核心是擴充套件性和採集的準確性，後設資料管理涉及到不同來源和不同型別的資料，要有良好的擴充套件性，還要保證採集的準確性，如果採集準確性都不能保證，管理員就不能做出有效的決策。

問9：後設資料編碼+後設資料型別+後設資料父級路徑能詳細解釋下如何定義，為什麼這3個能確定唯一一次變動嗎？

答：後設資料編碼是同型別後設資料的區分標識, 後設資料型別是標識該後設資料是什麼型別，後設資料父級路徑指的後設資料所有父級後設資料ID組成的字串，還有一個後設資料屬性ID，該後設資料的所有屬性生成的ID，這四個欄位能確定後設資料是否有變更。

問10：後設資料設計時，是否需要帶有版本資訊；後設資料儲存時，採用什麼方式，便於高效索引或者比對？

答：1、後設資料設計時，需要有變更資訊表，專門存放後設資料的變更歷史資訊。2、後設資料儲存時，要有唯一ID和後設資料屬性ID，這樣比對是比較高效的。

問11：正式表md5值是預先就生成好了，然後在採集時直接做呼叫對比？程式計算md5的效率如何？對程式效能影響大嗎？

答：1、MD5值是採集時生成的，然後和後設資料儲存庫裡的MD5值比對，得出變更的後設資料。2、生成MD5值的效率很快，對採集效能影響不大。