資料庫靜態脫敏

產品簡介

中安威士資料靜態脫敏系統（簡稱 VS-DM-S ）是一款由中安威士自主研發的資料遮蔽和模擬脫敏產品。該產品採用了一系列專有的資料脫敏規則，包括：資料遮蔽、資料模擬、關鍵部分替換、資料隨機替換等，以達到隱藏或模糊處理真實敏感資訊的目的，提高生產資料在應用開發、測試、以及第三方工具做資料分析等使用場景中的安全性。同時，脫敏後的資料能夠保持原有的語義和關聯關係，保證了資料的有效性。

產品功能

資料抽取

本系統採用了靈活的資料抽取方式，既為所有資料庫應用環境提供了通用模式的資料處理介面，又為部分資料庫應用環境提供了基於極速模式的資料處理介面。這保證了本系統對於各式各樣的資料庫應用場景具備最大限度的相容性，同時又能針對一些特定的應用場景開啟技術模式，顯著提升資料脫敏效能，提高脫敏業務的時效性。

資料發現

本系統能自動執行資料掃描任務，先從資料來源中獲取少量的樣本資料，再與系統內建的敏感資料指紋特徵進行比對，快速識別敏感資料型別，並記錄敏感資料的存放位置。

本系統內建了數十種敏感資料發現規則，涵蓋電力、金融、公安、社保、工商、稅務等行業的資料特徵識別需求。有些資料在特定應用場景中也會具備敏感性，對於這類脫敏需求，本系統提供了特徵字典和正則表達兩種資料匹配的方式的配置介面，可根據情況自行定義。

資料脫敏

資料不落地：在執行資料抽取、脫敏計算、資料裝載等任務時，不會在本地磁碟上記錄任何資料，所有資料均只在記憶體中進行處理。

脫敏規則靈活豐富：可根據實際需要提供資料遮蔽、資料模擬、關鍵部分替換、隨機字串、重置固定值等多種多樣的敏感資料處理方式，以達到隱藏或模糊處理真實敏感資訊的目的，提高生產資料在應用開發、測試、以及第三方工具做資料分析等使用場景中的安全性。

資料的有效性和一致性：保證生產環境中的真實資料經過脫敏系統處理後，仍然保持原有的語義、長度和關聯關係。脫敏後的資料在測試、分析場景中仍能具有可用性、規範性和 “ 真實性 ” 。相同的資料通過脫敏系統多次分發並寫入到不同應用環境時，還可以保持一致性。同時，也不改變資料庫中的資料。

資料對比

本脫敏系統提供脫敏前後資料校驗功能，從資料庫結構、資料物件、表數量、表內資料量等維度對比分析源庫資料和目標庫資料的差異。使用者管理員可據此判斷該脫敏任務是否勝利完成，脫敏方案是否合理。

資料上傳

脫敏後的資料可以實時的上傳到目標伺服器，也可以儲存在脫敏伺服器上，按需的上傳到目標伺服器，實現一次脫敏多次使用。

適用場景和價值

本脫敏系統支援庫到庫、庫到檔案、檔案到檔案、檔案到庫、本地脫敏等多種資料脫敏場景。

產品優勢

強大的隱私發現功能

內建大量模板，滿足中文環境下的金融、電力、稅務、交通、公安、社保等多個行業對於敏感資料的識別特徵要求。

靈活的資料來源過濾

能夠根據業務情況對需要脫敏的資料範圍進行選擇，提供庫級、表級、列級、行數量級的多種層次的資料選擇範圍。同時提供 where 條件對原始資料過濾抽取後，進行脫敏，並寫入到新的表中。比如只需對某張表中的幾個資料欄位和部分資料量進行脫敏，則可通過選擇列，設定資料行數，設定過濾條件即可達成。

為了滿足持續增長的業務資料脫敏需求，對具有自增主鍵或者帶有時間戳的表提供了增量脫敏配置，結合定時的任務執行機制，保證寫入的新資料能夠及時的進行脫敏後，寫入目標庫。這樣能保證開發、測試和大資料分析平臺的資料和生產環境的資料保持實時同步。

強大的脫敏規則

資料模擬： 對資料內容進行模擬，生成格式 & 語義正確，但已經不是真實的高的仿資料

資料遮蔽： 使用特殊字元對資料的遮蔽內容進行替換，破壞資料的可讀性

隨機字串：對資料進行隨機變化，使資料不保留原有的語義、格式

重置固定值： 對特定的資料列重置為固定的數字或者是字串，比如密碼列，可以重置為 “88888888”

Hash( 加密 ) ：對於完整的資料進行 Hash 加密，使資料不可讀

列關聯：保持列與列之間的對應或者運算關係，比如身份證欄位和生日、年齡等

縱向亂序：保持或者打亂列與列之間的每行資料的對應關係

關聯列計算：當列與列之間有運算關係時（比如 A+B=C ），脫敏後的資料仍然具有相同的運算關係

字典對映：根據特徵字典，將符合特徵的資料替換為指定的值，比如可以將所有的 “ 張三 ” 統一替換為 “ 李四 ”

隨機對映：根據特徵字典，將符合特徵的資料進行隨機替換，比如可以將所有的 “ 張三 ” 替換為 “ 李四、王五、趙六 ” 當中的任意一個

關聯性保持

脫敏前後，可以保持原始資料的關聯關係。    

高相容性

支援資料庫型別： Oracle 、 Mysql 、 MSSQL 、 DB2 、 Gbase8A/8T/8S 、達夢、 TreaData 、 PostgreSQL 、 GreenPlum 等

支援大資料平臺： HIVE 、星環 TDH 等

支援： Linux 、 Windows 、 Unix 、 AIX 等多種系統平臺

支援格式化資料檔案的脫敏： TXT 、 CSV 、 HDFS 等

支援多種中文字符集： UTF-8 、 GBK 、 GB2312 、 Unicode 等

支援不同儲存位置的檔案脫敏： FTP/SFTP

支援：異構資料庫裝載

高效能

高高效能，每小時不低於 50GB 的資料脫敏能力

高可靠性，伺服器硬體平臺， linux 系統，執行更穩定

易操作，獨特設計的功能管理頁面，操作更流暢，更簡潔

易擴充套件，軟體層面採用模組化設計並提供達到 API 介面，方便後期定製；硬體平臺標準化，可根據需要處理的資料量大小自由選擇、升級配置

典型部署

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/69914889/viewspace-2673526/，如需轉載，請註明出處，否則將追究法律責任。