大資料，一個長期而具有挑戰性的時代

為了從安全的角度來對付“大資料”，企業應該怎麼做？很多企業會希望整合大量不同的資料來源，但大部分企業沒有這樣做的原因在於：這是一個長期而具有挑戰性的過程。

為了利用大資料來加強企業資訊保安，我們需要部署哪些技術和流程？日誌管理？SIEM部署？我們需要進行什麼樣的培訓？保護資料中心需要怎麼做？在本文中，筆者將提供現實的建議，讓企業資訊保安團隊知道他們必須部署什麼樣的技術以及必須部署什麼樣的流程以充分利用大資料。需要大資料學習視訊資料可以關注我奇特文章，你會找到組織的

移動互聯、社交網路、電子商務等極大地擴充了網際網路的邊界和應用範圍，各種資料正在迅速膨脹並變大，大資料應用隨之迅猛發展。但與此同時，國內外資料洩露事件頻發，使用者隱私受到極大挑戰，在資料驅動環境下，網路攻擊也更多地轉向儲存重要敏感資訊的資訊化系統。在此背景下，安全已成為影響大資料應用發展的重要因素之一，大資料安全防護成為大資料應用發展的一項重要課題。

 

大資料應用安全挑戰

大資料具有容量大、型別多、價值高、速度快的4V特性。由於大量資料集中儲存，一次成功攻擊所導致的損失巨大，因此大資料應用更容易成為攻擊目標。同時，大資料時代資料來源多樣化，資料物件範圍與分佈更為廣泛，對資料的安全保護更為困難。大資料應用採用全新的Hadoop處理架構，內在安全機制仍不完善，因此在推動大資料技術應用時面臨著很多安全風險和挑戰，具體包括：第一，使用者隱私洩露問題隨著大資料技術應用的深入將更為嚴重。第二，大資料應用資訊保安暴露點增多。第三，大資料應用中資料往往穿越原有系統資料保護邊界，資料屬主與許可權隨之發生遷移，導致原有資料保護方案失效。第四，大資料應用存在大量外界資料介面，加大了資料安全風險。第五，大資料引入Hadoop等新的技術體系，帶來新的安全漏洞與風險。

此外，大資料應用仍面臨傳統IT系統中存在的安全技術與管理風險，流量攻擊、病毒、木馬、口令破解、身份仿冒等各類攻擊行為對大資料應用仍然有效，系統漏洞、配置脆弱性、管理脆弱性等問題在大資料環境中仍然存在。

大資料應用安全對策

大資料應用的核心資源是資料，對敏感資料的安全保護成為大資料應用安全的重中之重。同時大資料執行環境涉及網路、主機、應用、計算資源、儲存資源等各個層面，需要具備縱深的安全防護手段。因此，面對上述大資料應用的安全挑戰，在進行大資料應用安全防護時應注重兩大核心：隱私保護與計算環境安全防護。

其一，通過重構分級訪問控制機制、解構敏感資料關聯、實施資料全生命週期安全防護，增強大資料應用隱私保護能力。

大資料應用中往往通過對採集到的資料進行使用者PII(Personal Identifiable Information，個人可標識資訊)與UL(User Label，使用者標籤)資訊分析，部分大資料應用進一步分析PII與UI關聯資訊，從而進行定向精準營銷等應用，這類應用對隱私侵害的影響最大，因此PII與UL兩者關聯資訊是大資料隱私保護的重點，同時由於PII直接關聯各類使用者資訊，也是大資料隱私保護的重點。

在大資料隱私保護中，應基於PII與UL等資料的敏感度進行分級，進而重構資料安全訪問控制機制。將原始資料、UL資料、PII資料及PII與UL關聯資料按安全等級由低到高進行分類，並根據安全需求實施使用者身份訪問控制、加密等不同等級安全策略，限制資料訪問範圍。同時在大資料運營中應儘可能實現PII資料與個人屬性資料的解構，將PII資料與UL資料分開儲存，併為PII資料建立索引，將UL與PII的關聯通過索引表完成，黑客即使獲得UL資訊，也無法獲得使用者的PII資訊及對應關係，同時對索引表進行加密儲存，黑客即使獲得索引表，也無法得到使用者的PII資訊。

在對資料進行分級與解構的基礎上，還應對資料實施全生命週期的安全防護。重點加強資料介面管控，對資料批量匯出介面進行審批與監控，對資料介面進行定期審計與評估，規範資料介面管理，且在資料流出時對敏感資料進行脫敏處理。同時採用安全通訊協議傳輸資料，如SSL/TLS、HTTPS、SFTP等，並對重要資料的傳輸根據需要進行加密。在資料銷燬時，應清除資料的所有副本，保證使用者鑑別資訊、檔案、目錄和資料庫記錄等資源所在的儲存空間被釋放或再分配給其他使用者前，得到完全清除。

其二，做好大資料應用計算平臺、分散式探針、網路與主機等基礎設施安全防護，提升大資料計算環境安全防禦水平。

大資料計算環境包括網路、主機、計算平臺、分散式探針等，針對各層面面臨的安全風險，應採取如下安全對策：

首先，加固大資料計算平臺，提升計算環境安全性。引入Kerberos，建立KDC安全認證中心，需要部署多個KDC，規避單點缺陷;基於Kerberos方式進行訪問控制與授權;對所有後設資料進行儲存加密;在效能允許的情況下可藉助KMS等工具對HDFS原始資料進行透明加密，同時配置Web控制檯和MapReduce間的隨機操作使用SSL進行加密，配置HDFS檔案傳輸器為加密傳輸。

其次，加強各類大資料應用探針的安全防護，防止源端資料洩露或濫用。對探針裝置進行安全加固，設定安全的登入賬號和口令，及時更新系統補丁，設定防病毒與入侵檢測;對遠端操作進行嚴格訪問控制，限制特定IP地址訪問;對探針登入與操作行為進行細粒度審計;對儲存在本地的資料進行加密保護;在探針公網出口實施異常流量監控與DDoS攻擊防護。

最後，加強對大資料系統網路、主機、終端等基礎設施執行環境的安全防護。應採用傳統安全防護手段構建縱深安全防護體系，在網路層面進行安全域劃分，部署邊界訪問控制、入侵檢測/防禦、異常流量監控、DDoS攻擊防禦、VPN等安全手段;在主機層面部署入侵檢測、漏洞掃描、病毒防護、操作監控、補丁管理等安全手段;在終端層面部署准入控制、終端安全管理、漏洞掃描、病毒防護等安全手段。此外，應構建大資料統一安全管控、元件監測、資源監測等基礎安全服務設施，對大資料平臺主機、網路、大資料元件、租戶應用等資料進行監控分析，實現大資料平臺及時預警、全面分析、快速響應的安全運營能力。

大資料應用的新特點帶來了新的挑戰，隱私保護以及資料安全是大資料應用安全防護的重中之重，同時構建涵蓋網路、主機、終端、應用等各層面基礎設施的縱深安全防禦體系也是其安全防護的重要方面。大資料應用服務提供商應根據“三同步”原則，在設計、建設、運營等階段同步考慮大資料安全防護技術與方案，構建日益完善的大資料安全防護體系，進而持續推動大資料應用發展。

大資料技術是把雙刃劍，結果取決於技術的使用者及其目的。

“大資料分析是一個工具，不僅可以提升企業正在做的東西，同時也可以做以前無法做的東西，比如大型企業的取證問題。”趙糧表示，“取證過程需要抓取所有的資料包和模式。在大資料之前，通過手工的方式需要耗費很長時間，因此企業很難做到。甚至一年前的資料很少有人能夠找到。

但是在大資料時代，你每發現一個問題時候都可以向前回溯兩三年甚至更長時間的資料，從而確認以前是否已經受到攻擊，哪些部門曾受到攻擊。”

綠盟科技規劃經理劉淑玲在接受本報記者採訪時表示，大資料分析幫助企業加強安全能力的同時，還可以建立信譽評估機制，對海量資訊做關聯分析還能準確感知國家資訊保安態勢。他認為國內一些行業也在嘗試，但尚沒有成功案例。

事實上，一些安全廠商已經在身體力行了。周濤向記者透露，啟明星辰在大資料研究上重視巨集觀網路感知和微觀威脅檢測兩方面：“首先是巨集觀安全狀態感知，要在廣域網分散式計算產生的大量檢測裝置的基礎上，評估廣域網的安全態勢。如果有異常系統要報警，甚至還要預測異常的發展。”周濤說，在微觀層面，“啟明星辰更主要的是研究APT攻擊。惡意程式碼的隱蔽性越來越好，攻擊途徑越來越多。黑客如何從微觀領域獲得大量資料來獲取攻擊資訊，如何通過這種區域性的攻擊資料來構築整個攻擊場景”。

在安全態勢感知上，啟明星辰建立起一系列安全基本指標模型，“在海量資料採集的基礎上，從原始資料中進行二次提取，並且建立一些指標，將其分為基礎指標、應用層指標等多種型別，然後基於指標之間的關聯分析、每個指標的變化狀況，對巨集觀網路安全態勢做出判斷。”周濤透露，這項研究在一些都會網路安全專案中已經得到成功應用。