靜態脫敏典型應用場景分析——開發測試、資料共享、科學研究
靜態脫敏產品三個典型應用場景分析
在資料流動、共享、交換成為趨勢的今天,資料脫敏已經成為實現敏感資料保護的重要手段之一。資料脫敏產品也逐步被金融、政府、企業等行業客戶廣泛使用。
當前資料脫敏產品主要包括靜態脫敏、動態脫敏產品兩類。由於兩者使用場景不同,關鍵技術有所差異。
其中,靜態資料脫敏一般應用在非生產環境或脫離原生業務系統使用。開發測試、資料共享、科學研究是靜態資料脫敏的三個典型應用場景。對此,本文將進行詳細分析。
開發測試應用場景
開發測試場景中,如銀行、證券等金融行業業務系統中含有姓名、身份、賬號等敏感資訊,由於開發測試需要使用這些真實資料,因此需要透過脫敏手段保證敏感資料不被洩露。
場景特點
❏ 資料庫型別多,系統體系架構複雜,跨系統、跨平臺測試資料難以獲取。
❏ 開發測試場景需高度模擬生產環境,對脫敏後資料與業務的一致性有嚴格要求。
❏ 生產環境與開發測試環境互相隔離,彼此無法互相訪問。
❏ 部分行業如銀行金融機構日新增資料量較大,無法定期對全量資料進行脫敏,要求資料脫敏系統具備增量脫敏能力。
❏ 要求具備多種脫敏演算法。如在金融機構脫敏場景中,需保持脫敏後不同欄位之間的資料計算關係,如“2+3=5”脫敏後需要保持等號左邊的數值等於右邊。
產品應具備的關鍵功能
❖ 支援主流關係型資料庫、大資料平臺、格式化文字檔案、Oracle dump 檔案;支援敏感資料自動發現、自動抽取生產中心資料、並自動匹配脫敏演算法,實現脫敏過程自動化。
❖ 保證主外來鍵一致、業務關聯一致、有依賴欄位的敏感資訊脫敏一致、多次脫敏結果保持一致等,整體保證脫敏前後一致性,保持資料間的邏輯關係;支援將源資料庫物件自動同步到目標庫,包括表結構、主鍵、索引、約束、檢視、觸發器、儲存過程等。
❖ 支援對於Oracle dmp檔案進行直接解析,並進行脫敏處理。
❖ 資料脫敏根據實際業務需求提供脫敏資料,可透過資料子集、黑名單、白名單等方式控制資料脫敏範圍。
❖ 支援對生產資料全量和增量的方式脫敏,可設定脫敏的作業的排程週期,並對作業過程進行監控,支援脫敏前後的資料線上比對功能。
❖ 提供多種資料脫敏演算法:
隨機對映:隨機生成符合資料原始特徵的資料。
固定對映:根據使用者設定的金鑰,將最小資料單位根據對映演算法做固定對映。
替換:根據使用者設定的替換字元,對資料的某一段內容進行替換。
加減值:對數值在一定範圍內做加減值。
範圍隨機:對數值在一定範圍內取隨機值。
截斷:將資料根據設定長度進行截斷。
擷取:截圖資料中的某一部分。
加密:透過MD5、SHA1、DES、RSA等演算法對資料進行加密。
格式化脫敏:根據資料的格式對資料進行切分,以保證資料的原始特徵。
依賴脫敏:根據原有資料計算關係,來設定依賴脫敏策略,使脫敏後的資料能保持原有計算關係。
資料共享應用場景
資料共享場景在一些特定需求下,需要對特定敏感資料進行處理,保留部分敏感資料,交付給企業內部的其他部門或者外部企業。
場景特點
❏ 資料共享場景中,特定需求下需要保留部分敏感資料欄位,但對其他隱私資料可以進行遮蔽、模擬等操作。
❏ 作為資料提供方,需要提供溯源機制,當發生資料洩露的時候,可以確定資料洩露方,便於溯源追責。
產品應具備的關鍵功能
❖ 預設豐富的敏感物件,包括個人隱私、金融財務、商業機密、醫療資料、相關證件等,在進行資料脫敏時,將會對設定的敏感物件按照規則進行脫敏,且可根據實際需求自定義敏感物件,完善敏感物件庫。
(敏感資料物件庫)
❖ 對於脫敏源中存在的髒資料(不符合敏感物件業務特徵的資料),系統同樣會對這部分資料進行變形處理,以避免隱形敏感資料洩露。
❖ 內建資料水印及溯源功能,使用者可自定義水印內容,同時透過演算法保證水印內容的抗破壞性,從而保證在資料被分享給第三方後,可透過系統進行溯源及追責。
(美創脫敏產品水印溯源功能)
科學研究應用場景
資料科學研究核心是將對資料進行統計分析,用於科學研究。需要保證資料特徵,脫敏後保證科學研究所必須的內容。
場景特點
❏ 為保證獲取的資料可以滿足科學研究,保留資料部分要真實有效。
❏ 脫敏後的資料需要有分析的價值,資料的業務特徵不能喪失。
❏ 大資料分析平臺中包括海量的使用者隱私和敏感資料,針對大資料環境進行資料脫敏,資料結構複雜,包括結構化、非結構化資料等,脫敏操作複雜。
❏ 特定場景下需對脫敏資料進行復敏,例如銀行透過對脫敏後的轉賬記錄、貸款記錄、還款記錄等進行分析,評估出個性信用等級,最後將結果回溯到真實銀行客戶。
產品應具備的關鍵功能
❖ 內建豐富的資料脫敏演算法及資料分段脫敏的能力,可適配不同的資料分析場景,從而在保證資料脫敏或降敏的前提下,安全地進行各種資料分析。
❖ 保證主外來鍵一致、業務關聯一致、有依賴欄位的敏感資訊脫敏一致、多次脫敏結果保持一致等,整體保證脫敏前後一致性,保持資料間的邏輯關係。
❖ 支援HDFS、Hive、Impala、ODPS、Teradata、Greenplum、MongoDB、FusionInsight等大資料敏感源。
❖ 支援資料脫敏復敏,具備復敏許可權的使用者才能進行此操作,充分保證安全性。
美創資料脫敏系統內建敏感資料發現引擎,對源資料中的敏感資料按照脫敏規則,進行變形、漂泊、遮蓋,保證脫敏後的資料保持資料的一致性和業務的關聯性,應用於開發測試環境、資料交換、資料分析、資料共享等場景。美創資料脫敏產品,幫您實現敏感資料可靠保護!
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69973247/viewspace-2708458/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 動態脫敏典型應用場景分析——業務脫敏、運維脫敏、資料交換脫敏運維
- 資料庫靜態脫敏資料庫
- 資料庫動態脫敏資料庫
- 挖掘空間資料要素典型領域應用場景
- 靜態應用程式安全測試
- 資料脫敏
- MPLS VPN典型應用場景——VecloudCloud
- ZooKeeper典型應用場景一覽
- 淺析低程式碼開發的典型應用構建場景
- (資料科學學習手札110)Python+Dash快速web應用開發——靜態部件篇(下)資料科學PythonWeb
- (資料科學學習手札109)Python+Dash快速web應用開發——靜態部件篇(中)資料科學PythonWeb
- (資料科學學習手札108)Python+Dash快速web應用開發——靜態部件篇(上)資料科學PythonWeb
- openGauss 動態資料脫敏機制
- HTAP資料庫及應用場景分析資料庫
- 工業大資料應用場景分析大資料
- 資料脫敏技術發展趨勢與行業應用研判行業
- Apache Hudi典型應用場景知多少?Apache
- Flink Table Store 典型應用場景
- Zookeeper 介紹及典型應用場景
- 典型使用者與場景描述----整合測試
- 靜態應用程式安全測試 (SAST) 工具AST
- 敏捷資料科學:用Hadoop建立資料分析應用敏捷資料科學Hadoop
- openGauss-動態資料脫敏機制
- 邊緣雲端計算典型應用場景
- 基於Apache Hudi構建資料湖的典型應用場景介紹Apache
- 靜態IP有哪些應用場景及該如何獲取?
- ETL的資料脫敏方式
- SAST 與 DAST:靜態和動態應用程式安全測試AST
- 騰訊雲資料庫應用典型場景及解釋教程資料庫
- 資料倉儲、DataVault、DataLake、DeltaLake、DataFabric、DataMesh的特點和典型應用場景
- 影響靜態應用安全測試工具(SAST)分析速度的3個方面AST
- hive時間日期函式及典型場景應用Hive函式
- 聊聊如何自定義資料脫敏
- 【實操】小程式的應用場景分析——線下場景應用
- 圖資料庫及應用場景資料庫
- Python資料科學(三) python與資料科學應用(Ⅲ)Python資料科學
- Python資料科學(二) python與資料科學應用(Ⅱ)Python資料科學
- Python資料科學(一) python與資料科學應用(Ⅰ)Python資料科學