最好用的開源日誌分析工具

監控網路活動既重要又繁瑣，以下這些工具可以使它更容易。

監控網路活動是一項繁瑣的工作，但有充分的理由這樣做。例如，它允許你查詢和調查工作站和連線到網路的裝置及伺服器上的可疑登入，同時確定管理員濫用了什麼。你還可以跟蹤軟體安裝和資料傳輸，以實時識別潛在問題，而不是在損壞發生後才進行跟蹤。
這些日誌還有助於使你的公司遵守適用於在歐盟範圍內運營的任何實體的通用資料保護條例（GFPR）。如果你的網站在歐盟可以瀏覽，那麼你就有遵守的該條例的資格。
日誌記錄，包括跟蹤和分析，應該是任何監控基礎設定中的一個基本過程。要從災難中恢復 SQL Server 資料庫，需要事務日誌檔案。此外，通過跟蹤日誌檔案，DevOps 團隊和資料庫管理員（DBA）可以保持最佳的資料庫效能，又或者，在網路攻擊的情況下找到未經授權活動的證據。因此，定期監視和分析系統日誌非常重要。這是一種重新建立導致出現任何問題的事件鏈的可靠方式。
現在有很多開源日誌跟蹤器和分析工具可供使用，這使得為活動日誌選擇合適的資源比你想象的更容易。自由和開源軟體社群提供的日誌設計適用於各種站點和作業系統。以下是五個我用過的最好的工具，它們並沒有特別的順序。

Graylog 於 2011 年在德國創立，現在作為開源工具或商業解決方案提供。它被設計成一個集中式日誌管理系統，接受來自不同伺服器或端點的資料流，並允許你快速瀏覽或分析該資訊。
Graylog 在系統管理員中有著良好的聲譽，因為它易於擴充套件。大多數 Web 專案都是從小規模開始的，但它們可能指數級增長。Graylog 可以均衡後端服務網路中的負載，每天可以處理幾 TB 的日誌資料。
IT 管理員會發現 Graylog 的前端介面易於使用，而且功能強大。Graylog 是圍繞儀表板的概念構建的，它允許你選擇你認為最有價值的指標或資料來源，並快速檢視一段時間內的趨勢。
當發生安全或效能事件時，IT 管理員希望能夠儘可能地根據症狀追根溯源。Graylog 的搜尋功能使這變得容易。它有內建的容錯功能，可執行多執行緒搜尋，因此你可以同時分析多個潛在的威脅。

Nagios 始於 1999 年，最初是由一個開發人員開發的，現在已經發展成為管理日誌資料最可靠的開源工具之一。當前版本的 Nagios 可以與執行 Microsoft Windows、 Linux  或 Unix 的伺服器整合。
它的主要產品是日誌伺服器，旨在簡化資料收集並使系統管理員更容易訪問資訊。Nagios 日誌伺服器引擎將實時捕獲資料，並將其提供給一個強大的搜尋工具。通過內建的設定嚮導，可以輕鬆地與新端點或應用程式整合。
Nagios 最常用於需要監控其本地網路安全性的組織。它可以稽核一系列與網路相關的事件，並幫助自動分發警報。如果滿足特定條件，甚至可以將 Nagios 配置為執行預定義的 指令碼 ，從而允許你在人員介入之前解決問題。
作為網路審計的一部分，Nagios 將根據日誌資料來源的地理位置過濾日誌資料。這意味著你可以使用地圖技術構建全面的儀表板，以瞭解 Web 流量是如何流動的。

Elastic Stack，通常稱為 ELK Stack，是需要篩選大量資料並理解其日誌系統的組織中最受歡迎的開源工具之一（這也是我個人的最愛）。
它的主要產品由三個獨立的產品組成：Elasticsearch、Kibana 和 Logstash：
顧名思義， Elasticsearch 旨在幫助使用者使用多種查詢語言和型別在資料集之中找到匹配項。速度是它最大的優勢。它可以擴充套件成由數百個伺服器節點組成的叢集，輕鬆處理 PB 級的資料。
Kibana 是一個視覺化工具，與 Elasticsearch 一起工作，允許使用者分析他們的資料並構建強大的報告。當你第一次在伺服器叢集上安裝 Kibana 引擎時，你會看到一個顯示著統計資料、圖表甚至是動畫的介面。
ELK Stack 的最後一部分是 Logstash，它作為一個純粹的服務端管道進入 Elasticsearch 資料庫。你可以將 Logstash 與各種程式語言和 API 整合，這樣你的網站和移動應用程式中的資訊就可以直接提供給強大的 Elastic Stalk 搜尋引擎中。
ELK Stack 的一個獨特功能是，它允許你監視構建在 WordPress 開源網站上的應用程式。與跟蹤管理日誌和 PHP 日誌的大多數開箱即用的安全審計日誌工具相比，ELK Stack 可以篩選 Web 伺服器和資料庫日誌。
糟糕的日誌跟蹤和資料庫管理是導致網站效能不佳的最常見原因之一。沒有定期檢查、優化和清空資料庫日誌，不僅會降低站點的執行速度，還可能導致其完全崩潰。因此，ELK Stack 對於每個 WordPress 開發人員的工具包來說都是一個優秀的工具。

LOGalyze 是一個位於匈牙利的組織，它為系統管理員和安全專家構建開源工具，以幫助他們管理伺服器日誌，並將其轉換為有用的資料點。其主要產品可供個人或商業使用者免費下載。
LOGalyze 被設計成一個巨大的管道，其中多個伺服器、應用程式和網路裝置可以使用簡單物件訪問協議（SOAP）方法提供資訊。它提供了一個前端介面，管理員可以登入介面來監控資料集並開始分析資料。
在 LOGalyze 的 Web 介面中，你可以執行動態報告，並將其匯出到 Excel 檔案、PDF 檔案或其他格式。這些報告可以基於 LOGalyze 後端管理的多維統計資訊。它甚至可以跨伺服器或應用程式組合資料欄位，藉此來幫助你發現效能趨勢。
LOGalyze 旨在不到一個小時內完成安裝和配置。它具有預先構建的功能，允許它以法律所要求的格式收集審計資料。例如，LOGalyze 可以很容易地執行不同的 HIPAA 報告，以確保你的組織遵守健康法律並保持合規性。

如果你所在組織的資料來源位於許多不同的位置和環境中，那麼你的目標應該是儘可能地將它們集中在一起。否則，你將難以監控效能並防範安全威脅。
Fluentd 是一個強大的資料收集解決方案，它是完全開源的。它沒有提供完整的前端介面，而是作為一個收集層來幫助組織不同的管道。Fluentd 在被世界上一些最大的公司使用，但是也可以在較小的組織中實施。
Fluentd 最大的好處是它與當今最常用的技術工具相容。例如，你可以使用 Fluentd 從 Web 伺服器（如 Apache）、智慧裝置感測器和 MongoDB 的動態記錄中收集資料。如何處理這些資料完全取決於你。
Fluentd 基於 JSON 資料格式，它可以與由卓越的開發人員建立的 500 多個外掛一起使用。這使你可以將日誌資料擴充套件到其他應用程式中，並通過最少的手工操作從中獲得更好的分析。

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31559985/viewspace-2642988/，如需轉載，請註明出處，否則將追究法律責任。