基於大資料審計的資訊保安日誌分析法

大資料資訊保安日誌審計分析方法

　　1．海量資料採集。大資料採集過程的主要特點和挑戰是併發數高，因此採集資料量較大時，分析平臺的接收效能也將面臨較大挑戰。大資料審計平臺可採用大資料收集技術對各種型別的資料進行統一採集，使用一定的壓縮及加密演算法，在保證使用者資料隱私性及完整性的前提下，可以進行頻寬控制。

　　2．資料預處理。在大資料環境下對採集到的海量資料進行有效分析，需要對各種資料進行分類，並按照一定的標準進行歸一化，且對資料進行一些簡單的清洗和預處理工作。對於海量資料的預處理，大資料審計平臺採用新的技術架構，使用基於大資料叢集的分散式計算框架，同時結合基於大資料叢集的複雜事件處理流程作為實時規則分析引擎，從而能夠高效並行地執行多種規則，並能夠實時檢測異常事件。

　　3．統計及分析。按照資料分析的實時性，分為實時資料分析和離線資料分析。大資料平臺在資料預處理時使用的分散式計算框架Storm就非常適合對海量資料進行實時的統計計算，並能夠快速反饋統計結果。Storm框架利用嚴格且高效的事件處理流程保證運算時資料的準確性，並提供多種實時統計介面以使用。

　　4．資料探勘。資料探勘是在沒有明確假設的前提下去挖掘資訊、發現知識，所以它所得到的資訊具有未知、有效、實用三個特徵。與傳統統計及分析過程不同的是，大資料環境下的資料探勘一般沒有預先設定好的主題，主要是在現有資料上面進行基於各種演算法的計算，從而起到預測的效果，並進一步實現一些高階別資料分析的需求。

大資料分析資訊保安日誌的解決方案

　　統一日誌審計與安全大資料分析平臺能夠實時不間斷地將使用者網路中來自不同廠商的安全裝置、網路裝置、主機、作業系統、資料庫系統、使用者業務系統的日誌和警報等資訊彙集到管理中心，實現全網綜合安全審計；同時藉助大資料分析和挖掘技術，通過各種攻擊模型場景發現各種網路攻擊行為、使用者異常訪問和操作行為。

　　1．系統平臺架構。以國內某大資料安全分析系統為例，其架構包括大資料採集平臺、未知威脅感知系統、分散式實時計算系統(Storm)、複雜事件處理引擎(Esper)、Hadoop平臺、分散式檔案系統(HDFS)、分散式列資料庫(Hbase)、分散式平行計算框架(Map／Reduce、Spark)、資料倉儲(Hive)、分散式全文搜尋引擎(ElasticSearch)、科學計算系統(Euler)。這些技術能夠解決使用者對海量事件的採集、處理、分析、挖掘和儲存的需求。

　　如圖1所示，系統能夠實時地對採集到的不同型別的資訊進行歸一化和實時關聯分析，通過統一的控制檯介面進行實時、視覺化的呈現，協助安全管理人員迅速準確地識別安全事件，提高工作效率。

圖1　解決方案平臺架構及其元件

　　2．實現功能。系統能夠實現的功能包括：審計範圍覆蓋網路環境中的全部網路裝置、安全裝置、伺服器、資料庫、中介軟體、應用系統，覆蓋200多種裝置和應用中的上萬類日誌，快速支援使用者業務系統日誌審計；系統收集企業和組織中的所有安全日誌和告警資訊，通過歸一化和智慧日誌關聯分析引擎，協助使用者準確、快速地識別安全事故；通過系統的安全事件攻擊並及時做出安全響應操作，為使用者的網路環境安全提供保障；通過已經審計到的各種審計物件日誌，重建一段時間內可疑的攻擊事件序列，分析攻擊路徑，幫助安全分析人員快速發現攻擊源；整個Hadoop的體系結構主要通過分散式檔案系統(HDFS)來實現對分散式儲存的底層支援。

　　圖2描述了統一日誌審計系統的可擴充套件性部署，其部署方式十分靈活，對網路的適應性極強，既能夠支援集中式的部署方式，也支援跨區域、分級分層、物理／邏輯隔離的大規模網路的部署方式，是可水平擴充套件的海量事件採集、儲存、分析平臺。

圖2 統一日誌審計系統的可擴充套件性部署

　　3．應用場景。上述系統可解決傳統日誌審計無法實現的日誌關聯分析和智慧定位功能。如在企業的網路系統中，大範圍分佈的網路裝置、安全裝置、伺服器等實時產生的日誌量非常大，要從其中提取想要的資訊非常困難，而要從裝置之間的關聯來判斷裝置故障也將是一大難點。例如，某企業定位某裝置與周圍直連裝置的日誌訊息相關聯起來判斷該裝置是否存在異常或故障，如對於其中一臺核心交換機SW1，與之直連的所有裝置如果相繼報介面down的日誌，則可定位該裝置SWl為故障裝置，此時應及時做出響應。而傳統資料難以通過周圍裝置的關聯告警來定位該故障，大資料審計平臺則是最好的解決方法。

　　大資料分析方法可以利用實體關聯分析、地理空間分析和資料統計分析等技術來分析實體之間的關係，並利用相關的結構化和非結構化的資訊來檢測非法活動。對於集中儲存起來的海量資訊，可以讓審計人員藉助歷史分析工具對日誌進行深度挖掘、調查取證、證據保全。

 

摘自：http://www.cfc365.com/technology/security/2016-06-28/13893.shtml

本文轉自張昺華-sky部落格園部落格，原文連結：http://www.cnblogs.com/bonelee/p/6649858.html，如需轉載請自行聯絡原作者