宣告：本文歸屬一寸HUI所有。@一寸HUI
在文章資料中臺(架構篇)中瞭解到了資料中臺的架構，其中我們一個很重要的部分就是要構建資料資產，而資料安全管理既是資料資產管理中不可或缺的一部分，又是資訊保安管理的重要組成部分。
資料安全的挑戰
- 企業內部挑戰：從企業內部來說，一方面，大資料平臺的安全管控能力缺失，使得平臺在資料儲存、處理以及使用等各環節造成資料洩露的風險較大，安全風險面廣，且缺乏有效的處理機制；另一方面，企業敏感資料的所有權和使用權缺乏明確界定和管理，可能造成使用者隱私資訊和企業內部資料的洩露，直接造成企業聲譽和經濟的雙重損失。
- 對大資料服務商的挑戰：隨著企業雲化程式的加速，越來越多的資料會產生、處理、儲存在雲端，不論是公有云還是私有云都需要支撐各類技術服務商，站在大資料服務提供商的角度，在服務客戶的過程中，也越來越能感受到客戶的這種變化和要求。在資料中臺的專案中，客戶要求在儲存、傳輸、使用、共享個人資訊的階段，均需要去標識化。如進行身份證號隱藏、家庭住址隱藏等。
- 資料確權問題：資料的所有權、使用權、管理權涉及個人、企業、政府和其他組織，一旦處理不當，會損害個人隱私、組織利益、國家安全等。在進行大資料收集、處理和應用的過程中，必須做到權責分明，釐清資料權屬關係，防止資料流通過程中的非法使用，保障資料安全流通。
資料安全管理
1.安全問題出現在哪裡
資料安全管理，重點放在大資料平臺的安全管理技術手段上。資料安全管理既是資料資產管理中不可或缺的一部分，又是
資訊保安管理的重要組成部分。資料安全除了在資料平臺安全，服務安全，資料本身安全，還會在資料的各個階段存在著風險，我們先看看資料的生命週期，下圖所示：
- 資料產生： 指新的資料產生或現有資料內容發生顯著改變或更新的階段。
- 資料儲存： 指非動態資料以任何數字格式進行物理儲存的階段。
- 資料傳輸： 指資料在組織內部從一個實體通過網路流動到另一個實體的過程。
- 資料使用： 指組織在內部針對動態資料進行的一系列活動的組合。
- 資料共享： 指資料經由組織與外部組織及個人產生互動的階段。
- 資料銷燬： 指利用物理或者技術手段使資料永久或臨時不可用的過程。
資料生命週期的每一環節上基於不同型別的資料、不同的應用系統、不同的人員等有不同的風險，無論哪一個環節出現了問題，都有可能發生資料安全事件。這很容易理解，只要出現一個薄弱環節，敵人一定會首先從那裡發起攻擊。資料的價值與日俱增，靠竊取資料獲取非法收入的黑灰色產業鏈給資料安全防護帶來巨大風險。
2.安全從哪些方面建設
資料安全管理工具是結合資訊保安的技術手段保證資料資產使用和交換共享過程中的安全。資料管理人員開展資料安全管理，是指執行資料安全政策和措施，為資料和資訊提供適當的認證、授權、訪問和審計，以防範可能的資料安全隱患。可以從如下方面進行對資料安全進行建設：
- 資料獲取安全：能夠支援資料獲取需要經過申請與審批流程，保障資料獲取安全；
- 資料脫敏：能夠支援資料脫敏規則、脫敏演算法及脫敏任務的管理及應用，一般情況下，脫敏方式有動態脫敏和靜態脫敏兩種；
- 統一認證：定義資料安全策略，定義使用者組設立和密碼標準等；
- 租戶隔離：管理使用者，密碼，使用者組和許可權；
- 角色授權：劃分資訊等級，使用密級分類模式，對企業資料和資訊產品進行分類；
- 日誌審計：審計資料安全，監控使用者身份認證和訪問行為，支援經常性分析；
- 異常監控：指對賬號異常行為的監控，如同一賬號異地登入、同時多 IP 登入、多次重複登入等；
- 資料分類分級：能夠支援對資料資產安全進行敏感分級管理，並支援根據各級別生成對應的資料安全策略。
3.安全建設的戰略是什麼
整體的資料安全管理體系通過分層建設、分級防護，利用平臺能力及應用的可成長、可擴充性，創造面向資料的安全管理體系系統框架，形成完整的資料安全管理體系。資料中臺的建設，應該始終把資料安全管理放在最重要的位置上，通過設計完備的資料安全管理體系，多方面、多層次保障大資料安全。一個完備的資料安全管理體系包括安全戰略、安全組織管理、安全過程管理、安全技術保障、資料執行能力保障、資料生命週期安全保障。如下圖所示：
- 安全戰略層面：企業的主要負責人要帶頭深入理解業務範圍內世界各國對於資料安全與隱私相關的法律法規，制定適合企業可落地的相關制度，並進行組織規劃。
- 安全組織管理層面：要建設相關的資料安全保障組織，開展人才儲備、宣傳培訓等工作，並保證相關的資源到位。
- 安全過程管理層面：需要設計一套涵蓋規劃、設計、實施、運維、測評、改進的安全管控流程，通過流程的不斷迴圈，持續改善安全管理各個環節的水平。
- 安全技術保障層面：要從系統層安全、應用層安全、資料層安全、平臺設施層安全等多個層次保障安全。以系統層安全為例，需要選用高安全性、成熟的作業系統，從官方渠道下載和打補丁，保障安全掃描軟體的正常執行等。
- 資料生命週期安全保障層面：要根據資料在生命週期的不同階段，設計不同的安全防護措施，以資料傳輸安全為例，要保證資料傳輸的安全，保證敏感資料傳輸的時候不會被擷取，需要傳輸加密等手段，即使黑客截獲了資料包，也無法解析其中的內容。
- 資料執行能力保障層面：需要態勢感知、監控預警、阻斷和恢復等多種手段，舉例來說，大資料平臺可以識別和監控可疑賬戶，一旦可疑賬戶發生異常訪問，如訪問敏感資料，或者頻繁查詢和獲取某些資料，系統可以立刻發出告警，並阻斷和跟蹤該賬戶的其他網路行為。
4.安全架構和安全手段
1.安全架構
資料安全架構主要從六個方面考慮，包括物理安全、系統安全、網路安全、應用安全、資料安全和管理安全六個維度。如下圖所示：資料中臺的安全主要關注的是應用安全（平臺）以及資料安全，其他的偏底層硬體，系統方面。
2.安全實現手段
1.統一安全認證和許可權管理
由於hadoop本身沒什麼安全機制，Hadoop叢集安全，首先就會想到業界通用的解決方案： Kerberos。Kerberos是一種網路認證協議，其設計目標是通過金鑰系統為客戶機/伺服器應用程式提供強大的認證服務。該認證過程的實現不依賴於主機作業系統的認證，不需要基於主機地址的信任，不要求網路上所有主機的物理安全，並假定網路上傳送的資料包可以被任意讀取、修改和插入資料。
Kerberos通常會與LDAP配合使用。在大資料平臺通常伺服器多、租戶也較多，需要進行Linux層面及應用層面的統一，這也就是構建Kerberos+LDAP這一組合的緣由。LDAP是一個輕量級的產品，作為一個統一認證的解決方案，其主要優點在於能夠快速響應使用者的查詢需求。
除了統一認證，在資料的傳輸過程中，可以通過選擇適合的SSL（Secure Socket Layer）證書，對傳輸中的一些敏感資料進行加密。 SSL證書可加密隱私資料，使黑客無法擷取到使用者敏感資訊的明文資料，因此部署SSL證書是網路安全的基礎防護措施之一。一份SSL證書包括一個公共金鑰和一個私用金鑰。公共金鑰用於加密資訊，私用金鑰用於解譯加密的資訊。當使用者端的瀏覽器指向一個安全域時，SSL同步確認伺服器和客戶端，並建立一種加密方式和一個唯一的會話金鑰。它們可以啟動一個保證訊息的隱私性和完整性的安全會話。
在資料的操作和應用過程中，可以通過許可權管理，控制不同的角色能操作的資料許可權。設計良好的大資料平臺許可權管理，能從兩個維度控制角色許可權：第一個維度是控制粒度，如控制到欄位級許可權，第二個維度控制動作，如控制該角色是否能進行select、alter、delete等操作。
2.資源隔離
在資源隔離層面，可以通過建立不同的租戶，對不同許可權的資料資源進行隔離。多租戶技術是一種軟體架構技術，可實現在多使用者環境下共用相同的系統或程式元件，並且可確保各使用者間資料的隔離性。多租戶在資料儲存上存在三種主要的方案，按照隔離程度從高到低，分別是：
- 獨立資料庫
- 共享資料庫，隔離資料架構
- 共享資料庫，共享資料架構
3.資料加密
資料加密是用某種特殊的演算法改變原有的資訊資料使其不可讀或無意義，使未授權使用者獲得加密後的資訊，因不知解密的方法仍無法瞭解資訊的內容。
先進行資料資產安全分類分級，然後對不同型別和安全等級的資料指定不同的加密要求和加密強度。尤其是大資料資產中非結構化資料涉及文件、影像和聲音等多種型別，其加密等級和加密實現技術不盡相同，因此，需要針對不同的資料型別提供快速加解密技術。
根據資料是否流動的特點，資料加密分為儲存加密和傳輸加密。
4.資料脫敏
為了防止使用者隱私資訊、商業機密資訊和企業內部資料洩露，在資料的傳輸、共享、展現等環節，往往需要對資料中臺中的某些敏感資料進行脫敏操作。
大資料脫敏主要包括以下兩大功能：
1.敏感資料識別
通過設定敏感資料的發現機制，計算機自動識別敏感資料，並在發現敏感資料後自動為該敏感資料打上相應的標籤。
- 建立敏感資料規則：建立敏感資訊樣本庫，定義企業的敏感資訊的具體特徵。比如：身份證號碼、手機號碼、生日、信用卡號碼等。
- 敏感資料檢測：脫敏系統支援對大資料平臺儲存的結構化和半結構化資料庫、表進行敏感資料掃描探測，並對每個資料表進行抽樣資料匹配，基於敏感資訊庫來檢測儲存在大資料平臺的敏感資料，如客戶資訊、交易資料等。脫敏系統將資料庫中包含敏感資訊的表和欄位標記出來以實現各類高階資料安全功能。例如：利用敏感資料標記實現以下自定義規則：只向外傳輸姓名，不是資訊洩露事件；姓名、賬號和電話等資訊同時向外洩露，則認定為資訊洩露事件。
2.敏感資料脫敏
提供敏感資料的動態脫敏功能，保障敏感資料訪問安全。同時基於大資料安全分析技術，發現訪問敏感資料的異常行為，並在可能的情況下進行追蹤。最常見的脫敏方式包括如下幾種形式：
- 資料替換：以虛構資料代替資料的真實值。
- 截斷、加密、隱藏或使之無效：以“無效”或“*****”等代替資料的真實值。
- 隨機化：以隨機資料代替資料的真實值。
- 偏移：通過隨機移位改變數字型的資料。
5.資料共享安全
資料對外共享一般包括兩種方式：介面和檔案。
- 介面方式包括介面資料（JSON/XML）、流式資料（Kafka）等多種資料訪問方式。通過API操作許可權管理、API流量管控、API認證管理等手段實現介面管控。
- 檔案方式主要指通過FTP、SFTP、郵件等對外共享資料，資料型別包括TXT、CSV、Word、PPT、Excel、HTML等，通過數字暗水印進行安全防護。數字暗水印通過對共享的檔案嵌入暗水印作為標記一起傳輸，保障資料在發生洩露時，能夠提取水印資訊並追蹤至責任人，達到事後安全保護的目的，解決了資料洩露後無法追蹤、難以定責、難以避免再發生的問題。
6.資料的容災備份
伺服器的硬體故障、軟體故障、網路發生問題等，都可能導致資料丟失、錯誤或損壞。另外，人為的操作失誤、自然災害、戰爭等不可預料的因素，也可能導致發生不可挽回的資料丟失，給使用者帶來巨大損失。
為了應對這些情況，使用者必須考慮資料的容災備份，確保在任何情況下都不會影響到重要業務活動的持續開展。使用者可以根據恢復目標將業務的關鍵等級劃分為核心業務系統、一般性重要業務系統和一般業務系統三個級別，並根據不同級別分別有針對性地制訂容災備份方案。
7.日誌審計
日誌審計系統是用於全面收集企業IT系統中常見的安全裝置、網路裝置、資料庫、伺服器、應用系統、主機等裝置所產生的日誌（包括執行、告警、操作、訊息、狀態等）並進行儲存、監控、審計、分析、報警、響應和報告的系統。
參考：
《資料中臺：讓資料用起來》