大資料解決方案

當前，全球大資料產業正值活躍發展期，技術演進和應用創新並行加速推進，非關係型資料庫、分散式平行計算以及機器學習、深度挖掘等新型資料儲存、計算和分析關鍵技術應運而生並快速演進，大資料探勘分析在電信、網際網路、金融、交通、醫療等行業創造商業價值和應用價值的同時，開始向傳統第一、第二產業傳導滲透，大資料逐步成為國家基礎戰略資源和社會基礎生產要素。

與此同時，大資料安全問題逐漸暴露。大資料因其蘊藏的巨大價值和集中化的儲存管理模式成為網路攻擊的重點目標，針對大資料的勒索攻擊和資料洩露問題日趨嚴重，全球大資料安全事件呈頻發態勢。相應的，大資料安全需求已經催生相關安全技術、解決方案及產品的研發和生產，但與產業發展相比，存在滯後現象。習 **在中* 中央政治局就實施國家大資料戰略第二次集體學習時指出，要構建以資料為關鍵要素的數字經濟，推動實體經濟和數字經濟整合發展，推動網際網路、大資料、人工智慧同實體經濟深度整合。同時，要切實保障國家資料安全。這要求我們必須堅持國家總體安全觀，樹立正確的網路安全觀，堅持“以安全保發展，以發展促安全”，充分發揮大資料在推動產業轉型升級、提升國家治理現代化水平等方面重要作用的同時，深刻認識大資料安全的重要性和緊迫性，認清大資料安全挑戰，積極應對複雜嚴峻的安全風險，堅持安全與發展並重，加速構建大資料安全保障體系，保障國家大資料發展戰略順利實施。

基於當下的大資料安全形勢和環境，我司致力於打造出一套能夠滿足目前大資料安全需求的產品。加強大資料在安全方面的保障，降低大資料受到的安全威脅。解決使用者在複雜、多樣的大資料環境中，日趨嚴重的安全擔憂。

一、政策法規要求

依據國家及行業政策的要求，資料安全平臺建設要保證資料的完整性、保密性和可用性。《國家網路安全法》、《網路安全等級保護基本要求》對資料安全建設要求如下：

1.網路安全法

1）採取監測、記錄網路執行狀態、網路安全事件的技術措施，並按照規定留存相關的網路日誌不少於六個月;

2）保障網路免受干擾、破壞或者未經授權的訪問，防止網路資料洩露或者被竊取、篡改；

3）採取資料分類、重要資料備份和加密等措施；

4）網路運營者不得洩露、篡改、毀損其收集的個人資訊;未經被收集者同意，不得向他人提供個人資訊。但是，經過處理無法識別特定個人且不能復原的除外。

2.網路安全等級保護基本要求

1）應提供覆蓋到每個使用者的安全審計功能，對應用系統重要安全事件進行審計，應提供對審計記錄資料進行統計、查詢、分析及生成審計報表的功能。

2）應提供訪問控制功能，依據安全策略控制使用者對檔案、資料庫表等客體的訪問， 應依據安全策略嚴格控制使用者對有敏感標記重要資訊資源的操作。

3）要求三級以上系統應採用加密或其他有效措施；實現系統管理資料、鑑別資訊和重要業務資料儲存保密性。

3.網路安全等級保護大資料附錄

1）大資料平臺應對資料採集終端、資料匯入服務元件、資料匯出終端、資料匯出服務元件的使用實施身份鑑別；

2）大資料平臺應能對不同客戶的大資料應用實施標識和鑑別；

3）大資料平臺應為大資料應用提供集中管控其計算和儲存資源使用狀況的能力；

4）大資料平臺應遮蔽計算、記憶體、儲存資源故障，保障業務正常執行；

5）大資料平臺應提供靜態脫敏和去標識化的工具或服務元件技術；

6）對外提供服務的大資料平臺，平臺或第三方只有在大資料應用授權下才可以對大資料應用的資料資源進行訪問、使用和管理；

7）大資料平臺應提供資料分類分級安全管理功能，供大資料應用針對不同類別級別的資料採取不同的安全保護措施；

8）大資料平臺應提供設定資料安全標記功能，基於安全標記的授權和訪問控制措施，滿足細粒度授權訪問控制管理能力要求；

9）大資料平臺應在資料採集、儲存、處理、分析等各個環節，支援對資料進行分類分級處置，並保證安全保護策略保持一致；

10）涉及重要資料介面、重要服務介面的呼叫，應實施訪問控制，包括但不限於資料處理、使用、分析、匯出、共享、交換等相關操作；

11）應跟蹤和記錄資料採集、處理、分析和挖掘等過程，保證溯源資料能重現相應過程，溯源資料滿足合規審計要求；

12）大資料平臺應保證不同客戶大資料應用的審計資料隔離存放，並提供不同客戶審計資料收集彙總和集中分析的能力。

4.資訊保安技術 大資料服務安全能力要求

資料服務是針對數量巨大、種類多樣、流動速度快、特徵多變等特性的資料集，透過底層可伸縮的大資料平臺和上層多種大資料應用，提供覆蓋資料生命週期相關資料活動的一種網路資訊服務。大資料服務提供者要確保大資料平臺與應用安全可靠地執行，滿足保密性、完整性、可用性等大資料服務安全目標。該標準規定了大資料服務提供者應具有的組織相關的基礎安全要求和資料生命週期相關的資料服務安全要求。

該標準將大資料服務安全能力分為一般要求和增強要求兩個級別。一般要求是大資料服務提供者在開展大資料服務時應具備的安全能力，能夠抵禦或應對常見的威脅，能將大資料服務受到破壞後的損失控制在有限的範圍和程度內，具備基本的事件追溯能力。增強要求是在大資料服務涉及國家安全，或對經濟發展和社會公共利益有較大影響時，大資料服務提供者應具備的安全能力，即具備一定的主動識別並防範潛在攻擊的能力，能高效應對安全事件並將其損失控制在較小範圍內，能保證安全事件追溯的有效性、大資料服務的可靠性、可擴充套件性和可伸縮性。根據所承載資料的重要性和大資料服務不能正常提供服務或遭受到破壞時可能造成的影響範圍和嚴重程度，大資料服務提供者應具備的安全能力也各不相同。

該標準規定了大資料服務提供者應具有的組織相關基礎安全能力和資料生命週期相關的資料服務安全能力。可為政府部門、企事業單位等組織機構的大資料服務安全能力建設提供參考，也適用於第三方機構對大資料服務提供者的大資料服務安全能力進行審查和評估。

二、大資料平臺的風險分析

圖 1 大資料平臺風險分析圖

大資料平臺由多個開源、半開源元件構成，開源元件多數在資料訪問、許可權劃分等方面控制力度薄弱，各元件之間透過介面進行資料交換過程中，缺乏對資料必要的訪問控制措施。同時，HBASE、HIVE、HDFS等元件中的資料多以明文形式儲存。這些因素導致了大資料平臺自身的資料安全防護能力不足。同時在大資料平臺中，資料在使用者訪問、資料共享、以及運維、開發、測試等各種場景下的流轉過程中，也存在著各種資料洩露的風險，具體分析如下：

1.使用者訪問

在使用者訪問資料時，可能存在SQL隱碼攻擊等攻擊、資料未做適當脫敏處理、資料沉澱、未透過安全介面訪問資料、資料明文儲存、缺乏詳細審計等風險。

1）SQL隱碼攻擊等攻擊

外部使用者利用駭客技術對大資料平臺執行SQL隱碼攻擊、緩衝區溢位等駭客攻擊。

2）資料未做適當脫敏處理

資料在提供給使用者時，要根據使用者的訪問許可權，將資料有區分的進行提供。如果敏感資料未做適當脫敏處理，會導致敏感資訊洩露。

3） 資料沉澱慢攻擊

業務人員擁有獲取敏感資料的許可權，日積月累下，所獲得的敏感資料積少成多，聚沙成塔，這會成為資料洩露風險點。

4）未透過安全介面訪問資料

使用者在訪問資料時未透過安全介面進行訪問，這可能會造成資料洩露。

5） 資料明文儲存

敏感資料以明文儲存，對資料庫進行撞庫、拖庫等攻擊，一旦突破防護，HBASE、HIVE、HDFS等元件中的資料將會全部暴露。

6）缺乏詳細審計

使用者進行資料訪問時，缺乏對資料訪問行為的詳細審計，一旦發生資料洩露事件，無法及時溯源追蹤。

2.介面資料共享

各個元件在透過介面資料共享過程中，可能存在缺乏對資料的訪問控制以及詳細審計等風險。

1）缺乏訪問控制

各個元件在透過介面進行資料共享時，缺乏對資料的訪問控制，無法阻斷非法訪問；

2）缺乏詳細審計

缺乏對資料在共享過程中的詳細審計，一旦發生資料洩露事件，無法及時溯源追蹤。

3.運維、開發、測試

在運維過程中，可能存在運維人員誤操作或惡意操作行為、資料未做適當脫敏處理、缺乏詳細審計等風險。

1）運維人員誤操作或惡意操作行為

運維人員在進行資料維護時，難免會發生誤操作或者惡意操作等行為。這類行為會為資料庫帶來極大的風險。

2）資料未做適當脫敏處理

運維人員、開發測試人員在工作時，有接觸到真實資料的許可權。未避免他們接觸到敏感資料，需要對資料做適當脫敏。

3）缺乏詳細審計

缺乏對資料在資料運維過程中的詳細審計，一旦發生資料洩露事件，無法及時溯源追蹤。

一、建設目標

基於當前大資料安全形勢和環境，保護資料安全成為總體安全建設規劃的核心理念。從資料的生成、使用、傳輸、互動、儲存、銷燬等方面進行安全技術設計與規劃，透過建設“大資料安全平臺”，實現資料全生命週期的安全總體目標。透過對資料訪問控制、資料加密、資料脫敏、資料安全審計以及資料態勢分析，結合國內外領先技術對資料進行多維度安全防護，加強大資料安全防護的技術保障，降低來自多維度的安全威脅，解決使用者在複雜、多樣的大資料環境中，日趨嚴重的安全擔憂。

二、建設原則

1、規範設計、統一標準

大資料安全態勢管控平臺建設是一項系統專案，涉及到網路、主機、使用者、資料、應用、環境等各個方面，因此在系統設計和建設時嚴格遵循國家相關政策規定要求，並在資料安全領域具有一定的技術前瞻性，系統建設採用統一的技術標準，充分利用現有的裝置和資源，嚴格落實各項技術指標，系統建成後，各資料節點及資料本身能夠實現大幅度減小洩密隱患的目標。

2、部署快捷、使用方便

部署方便快捷，使用簡單方便。平臺部署時依託現有網路環境進行建設，不改變單位原有網路架構，系統具備便捷的管理能力，實現網路化管理維護、統一審計，建立高效統一、快速反應的資料安全防護體系。同時，前端業務使用者在無感的狀態下使用所需的業務系統和底層數。

3、確保安全、穩定執行

整個平臺能穩定、正常、連續地執行，是支撐業務系統、前端使用者在資料層面安全的關鍵保證。系統充分考慮實際工作需求，使其在不影響原有辦公效率和業務系統使用效率前提下，滿足資訊系統穩定可靠的要求。

4、設計靈活、支援擴充套件

整個平臺配置方案不僅能提高當前的運算能力和整體效率，還考慮到將來根據業務需求和技術發展特點方便的擴充套件儲存和應用服務支援。平臺的設計充分考慮試點現有環境現狀，能夠基於大資料雲環境進行部署，也可透過採用高擴充性硬體裝置進行部署。對於應用服務的支援，平臺可提供軟體相容介面，使整個平臺充分滿足後期的擴充要求。

5、經濟實用、高價效比

一方面平臺建設符合相關要求，緊跟資訊化安全發展的未來趨勢，另一方面，在符合要求的前提下，應儘量降低系統造價，充分利用原有網路環境、裝置和資源，本著實用、夠用、適度超前的原則進行系統建設，避免重複建設和資金浪費。

6、加強管理、突出實效

平臺為嚴防敏感資料洩密、有效維護各業務及資料節點的安全利益提供了技術支撐，利用平臺，可以形成防、控、管為一體的資料安全防護體系，提升單位對資料全面掌控的能力，提高對洩密風險的感知能力，可透過專業化維護保障系統執行、制度化管理提升系統執行質量。

一、大資料平臺資料安全防護方案

對於大資料平臺的資料安全防護，可以透過建設大資料安全平臺，統一實現資料管理元件安全和資料流動監控，來保證對大資料平臺安全應用。對大資料平臺的各個資料儲存和管理元件進行許可權控制、資料脫敏、資料加密以及資料審計等防護，來保護其中儲存及應用的資料內容；透過監控資料在系統中的流動情況，實現資料安全態勢感知、資料洩露檢測、資料行為審計和溯源追蹤等多種安全目標。

圖 2 大資料平臺資料安全防護示意圖

1.使用者訪問

資料安全防護措施如下：大資料安全平臺能夠透過對資料的訪問控制、資料脫敏、資料加密、資料審計及資料態勢感知來進行保護。

1）訪問控制

對來自資料中心外部使用者的SQL隱碼攻擊等駭客攻擊行為有效阻斷。

2）資料脫敏

透過資料脫敏，將敏感資訊模糊化，保證資料的安全使用。

3）資料態勢感知

透過對資料安全態勢感知，分析判斷出資料中心的敏感資訊是否被某一具體使用者多次連續訪問，及時告警，防止資料沉澱。同時態勢感知系統能夠在資料發生洩露後進行溯源追蹤。

4）資料審計

資料審計能審計到使用者的資料訪問介面，對於非安全介面的資料訪問進行告警。同時能夠記錄資料訪問行為。

5）加密保護

透過密碼計算服務，加密資料庫中的敏感資料。

2.介面資料共享

資料安全防護措施如下：大資料安全平臺能夠透過對資料訪問控制、資料審計及態勢感知來進行保護。

1）訪問控制

實時對各個元件間的資料共享行為進行訪問控制，對於非法的資料交換行為進行阻斷。

2） 資料審計及態勢感知

大資料安全平臺能夠透過對資料審計以及資料態勢感知，記錄資料訪問行為，感知資料安全整體態勢、將風險點視覺化、對風險量化，從而形成資料安全的全域性視野。態勢感知系統同時還可實現資料溯源追蹤。

3.運維、開發、測試

資料安全防護措施如下：透過大資料安全平臺能夠透過對資料的訪問控制、資料脫敏和資料審計及態勢感知來進行保護。

1）訪問控制

對於刪庫、刪表等高危操作行為，能夠及時阻斷。

2）資料脫敏

透過資料脫敏，將敏感資訊模糊化，保證資料的安全使用。

3）資料審計及態勢感知

大資料安全平臺能夠透過對資料審計以及資料態勢感知，記錄資料訪問行為，感知資料安全整體態勢、將風險點視覺化、對風險量化，從而形成資料安全的全域性視野。態勢感知系統同時還可實現資料溯源追蹤。

方案優勢

基於多模態資料的關聯分析：基於時空多個維度建立複雜的模型體系，貫穿使用者、業務、資料多層關係，並使模型適用於業務場景的決策分析；面向超大規模資料加密的密文索引、模糊索引的檢索方式；提供基於ES儲存日誌的技術，實現大資料級別的儲存以及高效的檢索和統計分析，圖形化的展示風險和敏感資料流動狀態。

基於智慧分析的精準推算：基於人工智慧分析技術，對各類告警資料進行智慧分析，內建自動學習規則，精準匹配使用者行為軌跡白名單，根據使用者訪問模型，生成資料訪問基線，深度挖掘結構化資料內容的本質意義，實現對告警資料的精準識別，降低告警資料的誤報率，提高業務處置人員的工作效率。

面向業務需求的自定義模型設計：面向業務的需求提供了安全策略倉庫，提供建立、修改、複製、刪除、結果展示及檢索的全程視覺化互動式操作視窗，實現全網集中安全管控。透過面向業務的視覺化的自定義模型，有效提升人工分析效率和擴大資料安全管控範圍。

面向資料全生命週期的安全防護：基於完全自主開發技術體系，利用透明加解密、資料脫敏、資料訪問控制結合多執行緒、多快取技術，在資料接入、資料使用、資料傳輸、資料儲存、資料銷燬等各個環節進行安全防護，實現對資料高效、穩定、靈活的全生命週期安全防護。

方案價值

本方案主要為資料全生命週期安全防護提供一套整體的安全解決方案。

簡化業務治理，提高資料安全管理能力，幫助客戶消減資料洩密風險。

幫助安全管理員開啟資料庫系統的“黑盒子”，結合系統內建安全策略模型和行為自學習基線，全面的發現資料庫在使用中的各種行為、系統配置風險，並給出合理化的修改建議。資料安全平臺透過多種手段全面監控資料的訪問情況，並提供豐富的統計報表，以圖形化的方式將資料的訪問情況和風險情況進行展現，同時提供訪問控制能力，極大的簡化了業務治理，提高了資料安全管理能力。

完善縱深防禦體系，提升整體安全防護能力。

建立縱深的防禦體系已是資料安全建設的共識，從應用系統到資料庫，是資料安全最後一道防線，涉及最直接的敏感資料安全管理。資料安全平臺解決方案緊緊圍繞核心資料，提供完整的防護手段，有利於資料平臺完善縱深防禦體系，修復漏洞，降低資料庫系統被攻擊的風險，提升整體安全防護能力。

減少核心資料資產被侵犯，保障業務連續性。

資料是最有價值的資產，也是攻擊者會偷窺、篡改、甚至刪除的終極目標。核心資料如被侵犯，輕則導致業務中斷，重則導致資訊洩密和篡改，嚴重威脅資訊保安。資料安全平臺解決方案能夠實現資料安全的可視性和可控性，最終減少核心資料資產被侵犯的可能性，保障正常的業務連續性。

提升大資料Hadoop平臺的安全級別

基於現有大資料平臺自身的安全防護措施，結合大資料安全平臺技術，從資料的底層到應用層實現全生命週期的安全防護，客戶擁有對資料的所有權和控制權，沒有客戶授權或正式授權的使用者，碰不到資料，檢視不到審計日誌及內容，做到許可權增強級的細粒度控制、增強級安全審計和態勢預警分析，實現事前預警、事中監控、事後溯源。