保護大資料安全的10個要點

一項對2021年資料洩露的分析顯示，總共有50億份資料被洩露，這對所有參與大資料管道工作的人來說，從開發人員到DevOps工程師，安全性與基礎業務需求同等重要。

什麼是大資料安全?

大資料安全是指在儲存、處理和分析過於龐大和複雜的資料集時，採用任何措施來保護資料免受惡意活動的侵害，傳統資料庫應用程式無法處理這些資料集。大資料可以混合結構化格式(組織成包含數字、日期等的行和列)或非結構化格式(社交媒體資料、PDF 檔案、電子郵件、影像等)。不過，估計顯示高達90%的大資料是非結構化的。

大資料的魅力在於，它通常包含一些隱藏的洞察力，可以改善業務流程，推動創新，或揭示未知的市場趨勢。由於分析這些資訊的工作負載通常會將敏感的客戶資料或專有資料與第三方資料來源結合起來，因此資料安全性至關重要。聲譽受損和鉅額經濟損失是大資料洩露和資料被破壞的兩大主要後果。

在確保大資料安全時，需要考慮三個關鍵階段:

當資料從源位置移動到儲存或實時攝取(通常在雲中)時，確保資料的傳輸

保護大資料管道的儲存層中的資料(例如Hadoop分散式檔案系統)

確保輸出資料的機密性，例如報告和儀表板，這些資料包含透過Apache Spark等分析引擎執行資料收集的情報

這些環境中的安全威脅型別包括不適當的訪問控制、分散式拒絕服務(DDoS)攻擊、產生虛假或惡意資料的端點，或在大資料工作期間使用的庫、框架和應用程式的漏洞。

保護大資料的挑戰

由於所涉及的架構和環境複雜性，大資料安全面臨著許多挑戰。在大資料環境中，不同的硬體和技術在分散式計算環境中相互作用。比如：

像Hadoop這樣的開源框架在設計之初並沒有考慮到安全性

依賴分散式計算來處理這些大型資料集意味著有更多的系統可能出錯

確保從端點收集的日誌或事件資料的有效性和真實性

控制內部人員對資料探勘工具的訪問，監控可疑行為

執行標準安全審計的困難

保護非關係NoSQL資料庫

這些挑戰是對保護任何型別資料的常見挑戰的補充。

10個大資料安全實踐

1.加密

靜態資料和傳輸中資料的可擴充套件加密對於跨大資料管道實施至關重要。可擴充套件性是這裡的關鍵點，因為除了NoSQL等儲存格式之外，需要跨分析工具集及其輸出加密資料。加密的作用在於，即使威脅者設法攔截資料包或訪問敏感檔案，實施良好的加密過程也會使資料不可讀。

2.使用者訪問控制

獲得訪問控制權可針對一系列大資料安全問題提供強大的保護，例如內部威脅和特權過剩。基於角色的訪問可以幫助控制對大資料管道多層的訪問。例如，資料分析師可以訪問分析工具，但他們可能不應該訪問大資料開發人員使用的工具，如ETL軟體。最小許可權原則是訪問控制的一個很好的參考點，它限制了對執行使用者任務所必需的工具和資料的訪問。

3.雲安全監控

大資料工作負載所需要的固有的大儲存容量和處理能力使得大多數企業可以為大資料使用雲端計算基礎設施和服務。但是，儘管雲端計算很有吸引力，暴露的API金鑰、令牌和錯誤配置都是雲中值得認真對待的風險。如果有人讓S3中的AWS資料湖完全開放，並且對網際網路上的任何人都可以訪問，那會怎麼樣?有了自動掃描工具，可以快速掃描公共雲資產以尋找安全盲點，從而更容易降低這些風險。

4.集中式金鑰管理

在複雜的大資料生態系統中，加密的安全性需要一種集中的金鑰管理方法，以確保對加密金鑰進行有效的策略驅動處理。集中式金鑰管理還可以控制從建立到金鑰輪換的金鑰治理。對於在雲中執行大資料工作負載的企業，自帶金鑰 (BYOK) 可能是允許集中金鑰管理而不將加密金鑰建立和管理的控制權交給第三方雲提供商的最佳選擇。

5.網路流量分析

在大資料管道中，由於資料來自許多不同的來源，包括來自社交媒體平臺的流資料和來自使用者終端的資料，因此會有持續的流量。網路流量分析提供了對網路流量和任何潛在異常的可見性，例如來自物聯網裝置的惡意資料或正在使用的未加密通訊協議。

6.內部威脅檢測

2021年的一份報告發現，98%的組織感到容易受到內部攻擊。在大資料的背景下，內部威脅對敏感公司資訊的機密性構成嚴重風險。有權訪問分析報告和儀表板的惡意內部人員可能會向競爭對手透露見解，甚至提供他們的登入憑據進行銷售。從內部威脅檢測開始的一個好地方是檢查常見業務應用程式的日誌，例如 RDP、VPN、Active Directory 和端點。這些日誌可以揭示值得調查的異常情況，例如意外的資料下載或異常的登入時間。

7.威脅追蹤

威脅搜尋主動搜尋潛伏在您的網路中未被發現的威脅。這個過程需要經驗豐富的網路安全分析師的技能組合，利用來自現實世界的攻擊、威脅活動的情報或來自不同安全工具的相關發現來制定關於潛在威脅的假設。具有諷刺意味的是，大資料實際上可以透過發現大量安全資料中隱藏的洞察力來幫助改進威脅追蹤工作。但作為提高大資料安全性的一種方式，威脅搜尋會監控資料集和基礎設施，以尋找表明大資料環境受到威脅的工件。

8. 事件調查

出於安全目的監視大資料日誌和工具會產生大量資訊，這些資訊通常最終形成安全資訊和事件管理(SIEM)解決方案。

9.使用者行為分析

使用者行為分析比內部威脅檢測更進一步，它提供了專門的工具集來監控使用者在與其互動的系統上的行為。通常情況下，行為分析使用一個評分系統來建立正常使用者、應用程式和裝置行為的基線，然後在這些基線出現偏差時進行提醒。透過使用者行為分析，可以更好地檢測威脅大資料環境中資產的保密性、完整性或可用性的內部威脅和受損的使用者帳戶。

10.資料洩露檢測

未經授權的資料傳輸的前景讓安全領導者徹夜難眠，特別是如果資料洩露發生在可以複製大量潛在敏感資產的大資料管道中。檢測資料洩露需要對出站流量、IP地址和流量進行深入監控。防止資料洩露首先來自於在程式碼和錯誤配置中發現有害安全錯誤的工具，以及資料丟失預防和下一代防火牆。另一個重要方面是在企業內進行教育和提高認識。

大資料安全從程式碼級別開始

框架、庫、軟體實用程式、資料攝取、分析工具和自定義應用程式——大資料安全始於程式碼級別。 無論是否實施了上述公認的安全實踐，程式碼中的安全缺陷都可能導致資料洩漏。 透過在軟體開發生命週期中檢測自研程式碼及開源元件成分的安全性，加強軟體安全性來防止資料丟失。