黑暗資料給網路安全帶來的挑戰和機遇

對於已知的資料，公司已經很難跟蹤和保護，更不用說黑暗的資料了這些資料是公司無意中創造的。黑暗資料給公司帶來了完全不同的挑戰。關鍵的挑戰包括如何訪問、使用和保護黑暗資料，以防止攻擊者使用它來攻擊業務。

黑暗資料

確定公司擁有多少黑暗資料也面臨挑戰。在True Global Intelligence的支援下，舊金山大資料軟體提供商Splunk研究了無處不在的黑暗資料。

在這個問題和答案中，Splunk的高階副總裁兼技術長Tim Tully解釋了什麼是暗資料，為什麼有這麼多暗資料，以及公司如何使用資料管理和培訓來更好地查詢、使用和管理這些資料。

您如何定義黑暗資料?

Tim Tully：我們將黑暗資料定義為未知的、無法識別的或未使用的資料。我在這份報告中發現的最有趣的關鍵資料是，我們調查的公司認為，全球55資料是黑暗資料。這個數字比我想象的要高。

我認為這個資料會很低的原因是，在來Splunk之前我曾在雅虎從事資料工作約14年，而我所做的工作都涉及大資料。我追蹤了日誌集或日誌ETL（提取、轉換、載入）以及資料的使用情況，根據我的經驗，這個數字會低得多，因為我看到我們從世界各地的數十萬臺伺服器收集資料。

這些黑暗的資料來自哪裡？

實際上，黑暗資料的產生有兩種型別。其一，資料並不是全部收集起來的這是一個殭屍資料。典型的情況是，企業引入了新伺服器，特別是在存在臨時伺服器而沒有伺服器的情況下。對於企業來說，將這些伺服器放到網上並在不收集任何日誌的情況下很快再次關閉是很容易的。

在第二種情況下，人們出於各種原因收集資料，例如合規性原因或只是為了獲得良好的睡眠，然後停止使用資料。這是一個“未使用”的資料類別。

另一方面，雖然公司的黑暗資料比例很高，但他們仍然認為資料技能非常重要。最後一個原因是人們普遍認為使用AI可能是控制暗資料發展的方法。

鑑於資料隱私立法的擴散，當公司發現黑暗資料時應該做什麼？是使用它的目標還是摧毀它的目標？

塔利：我認為這是兩者的結合。如果您在那裡有資料並且沒有被檢視，那麼企業將失去提高安全性的機會。例如，您希望檢視防火牆日誌並瞭解入站TCP連線並瞭解您正在攻擊的物件。因此，從安全的角度來看，這意味著失去了一個很好的機會。

另一方面，如果企業使用這些資料，他們可以更好地構建人工智慧驅動的模型，並更好地確定如何建模威脅和檢測異常。這是我在上一家公司看到的。從網路安全的角度來看，它具有很大的影響。

黑暗資料對網路安全的影響是什麼？

塔利：最明顯的效果是沒有使用這些資料。如果您收集了資料並且沒有對其執行任何操作，甚至檢查日誌，那麼這可能是一個可怕的錯誤。你想知道你是否受到攻擊。如果你實際上沒有檢視黑暗資料，你怎麼知道人們試圖攻擊你？這有點像先吃雞肉或雞蛋。

其次，會有很多未收集的資料。這裡的問題不是你不看資料，而是你根本不收集資料。您將連線臨時伺服器，天知道這些日誌中發生了什麼。如果你不使用資料，甚至看不到或收集資料，你將無法建立一個強大的網路安全環境。

人們應該在其他地方尋找黑暗資料而不是未檢視的日誌檔案嗎？

塔利：當然。我想人們攜帶各種裝置連線到企業網路。就個人而言，我每天都會帶四到五臺裝置到辦公室，這些裝置都連線到網際網路。考慮到這些裝置的短期性質，我認為它們很快就會線上和離線，並且很容易生成黑暗資料。我想知道公司是否會使用這些資料。

這些byod裝置包含哪些黑暗資料？

你的個人裝置，手機，平板電腦。我不時地帶上我的個人膝上型電腦去做一些不起作用的事情。但是人們正在連線網際網路；他們正在下載東西；他們可能會把惡意軟體帶到辦公室；這些裝置產生大量的日誌。您希望能夠檢測到這些客戶在網路中做什麼，他們在看什麼，以及他們帶來的惡意病毒。

黑暗資料是否容易受到攻擊者攻擊而公司未檢測到？

塔利：我認為公司正在記錄或收集的任何資料，不管是暗的還是暗的，都容易受到攻擊者的攻擊，所以我認為答案是肯定的。這些資料具有風險因素，它們處於休眠狀態，攻擊者將希望使用它們。

對於黑暗資料，人們應該做的第一件事是什麼？識別、整理和儲存資料，或者他們應該首先考慮他們是否能夠或者應該使用這些資料？如果他們不需要，他們應該想辦法消除資料嗎？

Tully：所有這些問題都可以歸結為公司需要更好的資料管理。本週，我參加了華盛頓特區的幾次小組討論。其中一個問題是：“現在大資料世介面臨的最大挑戰是什麼？”除了整合多個系統以從開源世界獲得合理的解決方案之外，那些成功企業的人通常擁有強大的資料管理流程。也就是說，知道正在收集哪些資料，如何收集資料，資料中涉及的PII [個人身份資訊]，然後確定誰在使用資料及其目的，以及如何使用資料。

資料管理可以非常有效地幫助客戶控制他們的黑暗資料。

公司應該如何處理這些黑暗的資料？

塔利：首先要確保他們正在收集資料。記錄大量資料但未收集，資料變為殭屍資料，然後由於日誌過期而逐漸刪除。

企業應該做的是為這些資料部署強大的資料管理。資料將過期；確保將PII應用於資料；然後向內部員工傳授新技能以幫助他們處理資料。

在我們的調查中，商界領袖表示，恢復黑暗資料的主要障礙是資料量和缺乏必要的技能。其中一個解決辦法就是提供培訓。我經常看到，無論資料是否黑暗，大量的資料都會淹沒企業。當大多數分析人員使用這些資料時，這些資料以儀表板的形式顯示。通常情況下，儀表板是一種分心，他們覺得有點不願意深入挖掘的環境。

這裡更多的是學習新技能並確保您擁有強大的資料管理。

人們應該學會處理這類資料的主要技能是什麼？

圖利：其中之一是更好地理解這些資料是如何生成的。瞭解資料如何到達當前位置和資料背後的人。同時，與資料相關的人談論並理解過程，這可以更好地幫助他們接受獲得不同格式的資料或不同報告的挑戰。

此外，程式設計技巧也非常重要。如果要以不同方式檢視儀表板，您需要做的一件事是使基礎資料集離線並進行一些輕量級編碼。一些輕量級的Python，一些輕量級的R-甚至將資料放入具有足夠資料的Excel中，並且可以為它編寫宏，這些基本方法足以處理這種資料。

中安威士 ：保護核心資料，捍衛網路安全

來源：網路收集