常見日誌、抓包和系統監控分析軟體

天府雲創發表於2017-05-24

有的朋友會問，好好的Windows日誌為什麼要把它轉成Syslog呢？呵呵，當Windows伺服器比較少的時候，我們是不需要這樣做的。但試想如果你管理著成千上百臺的Windows機器，你會一臺一臺的登入上去用Event Viewer檢視嗎？為什麼不建立一臺中心Syslog伺服器來接受所有的Windows，Linux，網路裝置等等傳送來的日誌呢？這樣你可以輕鬆地在一臺日誌伺服器上管理所有的日誌。比如Splunk就是一個很好的免費日誌伺服器，它不僅可以接受多種方式傳送來的日誌(包括syslog)，而且還提供功能很強大的搜尋（被稱為Google for IT），圖形化等功能。

本文針對當前運維市場開源系統的，大致如下：
Facebook 日誌系統 Scribe、Apache 日誌系統 Chukwa
Linkedin 日誌系統 Kafka、Cloudera 日誌系統 Flume
概述
許多軟體平臺每天都會產生大量的日誌（一般為流資料，如搜尋引擎 page view，淘寶等），處理這些日誌需要特定的日誌系統，一般地，這些日誌系統需要具有如下特徵：

構建應用系統和分析系統的橋樑，並將它們之間的關係解耦。
支援接近實時線上分析系統，以及類似 Hadoop 之類的離線分析系統。
具有高可擴充套件性，即當資料量增加時，可以通過增加節點進行橫向擴充套件。
本文從設計架構、負載均衡、可擴充套件性和容錯性等方面對比目前開源的日誌系統，包括 Facebook 日誌系統 Scribe ，Apache 日誌系統 Chukwa，Linkedin 日誌系統 Kafka 和 Cloudera 日誌系統 Flume 等。

日誌管理服務分類：

1.rsyslogd 普通日誌管理服務

採集各種服務產生的資訊根據日誌服務配置檔案內容將資訊進行分類儲存。

2.klogd 核心資訊日誌檔案服務

專門記錄核心資訊

3.logrotate 日誌檔案輪替服務

解決日誌檔案內容過多消耗記憶體的日誌檔案替換服務


Log Parser 微軟強大的日誌分析工具

Log Parser（微軟網站下載）是微軟公司出品的日誌分析工具，它功能強大，使用簡單，可以分析基於文字的日誌檔案、XML 檔案、CSV（逗號分隔符）檔案，以及作業系統的事件日誌、登錄檔、檔案系統、Active Directory。它可以像使用 SQL 語句一樣查詢分析這些資料，甚至可以把分析結果以各種圖表的形式展現出來。

詳細教程：windows安全日誌分析工具logparser用法詳解 http://www.jb51.net/hack/384430.html

    Log Parser 微軟強大的日誌分析工具 http://www.cnblogs.com/haoliansheng/p/4040208.html

微軟還有一款強大的網路抓包工具 Microsoft Network Monitor 是類似 WireShark 的網路封包監看軟體, 關鍵是微軟的免費工具.

Event Viewer（事件檢視器）

Windows Event Viewer 記錄了應用程式、安全性和系統事件的所有資訊。這是已發生的（或繼續發生的）事件的巨大資訊來源，它應該是用於診斷和監控系統的主要工具之一。

MSSQL_logview

是一款對SQL Server日誌分析工具，它可以瀏覽日誌檢視有關資料庫的操作日誌。此外，MSSQL_logview還是一個資料庫恢復工具，如果您由於誤操刪除、誤插入、誤更新導致資料庫資料丟失或更改，MSSQL_logview可以幫你找回您所需要的資料。
 
MSSQL_logview可恢復的操作：
 刪除（delete），插入（insert），更新（Updata）
 
MSSQL_logview支援的版本：SQL Server 2000,SQL Server 2005,SQL Server 2008,SQL Server 2008R2


MSSQL_logview使用方法：
 1.先把SQL服務停掉，把資料庫MDF和日誌檔案LDF檔案複製一份，做備份
 2.開啟SQL服務，開啟軟體，連線伺服器，並選擇好資料庫，日誌檔案選擇備份後的LDF
 3.選擇要恢復的表及操作

Splunk 

是一個可執行於各種平臺的 IT 資料分析、日誌分析、業務資料分析軟體，支援的作業平臺包含Windows, Linux, Solaris, FreeBSD, AIX, MacOS, HP-UX。與 Google Analytics 這一類的 Web 日誌分析軟體的不同之處在於，Splunk 可以支援任何 IT 裝置(伺服器、網路裝置、應用程式、資料庫等)所產生的日誌，其對日誌進行處理的方式是進行高效索引之後讓管理員可以對日誌中出現的各種情況進行搜尋，並且通過非常好的圖形化的方式展現出來。 
　　每天由各種伺服器所產生的日誌的數量是非常驚人的，而遇到突發情況時，卻往往能夠從這些海量日誌中找到最多的有用訊息。通常在 Unix 下對日誌進行查詢使用的是 grep 之類的低效率的方式，而 Splunk 使用了現代搜尋引擎技術對日誌進行搜尋，同時提供了一個非常強大的 AJAX 式的介面展現日誌。 
　　Splunk 是一款對 IT 管理員非常有用、非常專業的工具。也正因為如此，與其他 Linux 下的其他日誌分析軟體不同，Splunk 是一個商業軟體，支援海量資訊搜尋及更多的功能，比如分散式搜尋(Distributed Search)、計劃告警(Schedule Alert)、許可權控制(Access Control)等。 
　　Splunk的四大應用：運維IT資料整合、IT安全資訊及資料的整合、應用程式IT資料整合、IT資料的法規遵從。
　　Splunk的六大功能：Index(索引) 、Search(搜尋)、Alert(警報通知)、Report(報告)、Share(資源共享)、Secure(安全功能)。
主要功能：
• 日誌分析
• 業務資料分析
• 運維保障
主要特點：
• 快速查詢日誌資訊
• 資料關聯分析
• 支援各種平臺和系統
• 支援超過千種標準Apps
• 可靈活開發專有Apps
• 支援企業級架構，分級、分散式部署

SysTools NTFS Log Analyzer

(硬碟日誌分析工具)是一款硬碟日誌檔案分析的工具。基本上現在的安裝了Windows作業系統的電腦硬碟分割槽，都是NTFS檔案系統。這個工具能夠通過NTFS日誌分析檔案操作的資訊，從而得知檔案增刪改的情況。
如何檢視硬碟使用日誌
點我的電腦右鍵有個管理，管理裡有個事件檢視器，裡的點那個系統就是你硬碟的事件了！親，此軟體需要安裝微軟.net 環境

ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成：

    Elasticsearch是個開源分散式搜尋引擎，它的特點有：分散式，零配置，自動發現，索引自動分片，索引副本機制，restful風格介面，多資料來源，自動搜尋負載等。

    Logstash是一個完全開源的工具，他可以對你的日誌進行收集、過濾，並將其儲存供以後使用（如，搜尋）。

    Kibana 也是一個開源和免費的工具，它Kibana可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 介面，可以幫助您彙總、分析和搜尋重要資料日誌。


    日誌平臺的結構示意圖


Weblog expert

是一個快速和強大的訪問日誌分析器。這會讓你瞭解你的網站的訪客：活動統計，訪問的檔案的路徑，通過該網站，資訊指頁面，搜尋引擎，瀏覽器，作業系統，和更多。該計劃所產生的易於閱讀的報告，包括文字資訊（表）和圖表。

官方網站：http://www.weblogexpert.com


Nginx利用第三方模組nginx_upstream_check_module來檢查後端伺服器的健康情況

http://www.linuxyan.com/web-server/90.html

圖解 windows日誌分析工具 WebLog Expert 安裝及使用教程 
http://www.111cn.net/sys/Windows/88761.htm

最佳Nginx日誌分析工具Goaccess 
http://my.oschina.net/mrco/blog/181737

又是nm的Linux，煩不煩，含Redis 
http://yanliu.org/2015/08/19/ELK-redis%E6%90%AD%E5%BB%BAnginx%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E5%B9%B3%E5%8F%B0/

一個簡單的工具（Apache|Nginx日誌分析工具），貌似可以用用    http://www.cr173.com/soft/83182.html

日誌易: 日誌分析更容易 - 日誌易 https://www.rizhiyi.com/ 【商業】

windows安全日誌分析工具logparser用法詳解_工具使用_網路安全 http://www.jb51.net/hack/384430.html

另附：日誌工具_iis日誌_日誌分析工具_網站日誌分析工具_下載列表  http://down.chinaz.com/class/185_1.htm

           日誌分析和統計 - 開源軟體庫 - 開源中國社群 http://www.oschina.net/project/tag/147/log-analyzer

用Kibana和logstash快速搭建實時日誌查詢、收集與分析系統  http://storysky.blog.51cto.com/628458/1158707/


Splunk 是一款頂級的日誌分析軟體，如果你經常用 grep、awk、sed、sort、uniq、tail、head 來分析日誌，那麼你需要 Splunk。能處理常規的日誌格式，比如 apache、squid、系統日誌、mail.log 這些。對所有日誌先進行 index，然後可以交叉查詢，支援複雜的查詢語句。然後通過直觀的方式表現出來。日誌可以通過檔案方式傳倒 Splunk 伺服器，也可以通過網路實時傳輸過去。或者是分散式的日誌收集。總之支援多種日誌收集方法。

這個軟體分為免費版本和專業版本。專業版本的價格是 3 萬多刀。免費版本的功能也足夠強大了。


一、Webtrends


Webtrends現在是Netiq公司的網站訪問統計軟體，可以說是業界日誌分析軟體的工業標準。筆者通過對其新版本Webtrends 7.0的試用，親身體會到了此產品在網站運營分析應用方面的強大功能。
Webtrends 7.0 已經不單純是一款提供日誌分析統計資料的軟體，除了最常見的日誌分析功能外，其可以對資料進行深度挖掘，更重視網站運營、市場營銷等對運營人員更容易理解的方式提供解決方案，可以進一步對使用者的訪問行為、訪問流向、設定使用者場景分析、網路營銷推廣活動、使用者訪問來源、內容訪問等進行分析，對網站業務運營能夠提供比較全面支援分析。
WebTrends的搜尋分析與其推出的WebPosition搜尋引擎優化解決方案的整合，及時擴充、增強了對Web的分析能力。WebTrends SmartReports針對Microsoft、Excel而開發，市場營銷人員通過其提供的定製化分析報告，就可將組織機構與付費搜尋定位、營銷額與ROI(市場投資回報率)之間的關係量化，進而幫助他們將目光聚焦在最有利可圖的搜尋定位上。
由於Webtrends是一款企業級商業軟體，其價格也是相對比較高的，對於小型網站來說，可能並不適用，但強烈推薦有實力的大中型網站、電子商務類網站使用。
網址：http://www.webtrends.com

Download：http://www.skycn.com/soft/1437.html#downUrlMap


二、AWStats（免費）(Linux平臺)
AWStats是我見過的所有免費日誌分析軟體中最好的。這個軟體可以分析大量Web、ftp、email、流媒體等多種型別伺服器的日誌，因為是perl寫的，所以部署起來也相對容易，現在版本已經支援負載均衡(load banlance)伺服器、反相域名查詢等高階功能。而且AWStats是所有免費日誌分析軟體中圖形介面做的最好的軟體，能夠提供非常漂亮的分析報表和圖形。AWStats可以分析出的報表資料基本能夠滿足日常運營的分析，也可以對搜尋引擎的來源、關鍵字等進行分析。並且提供多語言支援，同樣的報表可以分別以中文、英文、日文等多種語言瀏覽。
建議中小型網站採用此日誌分析工具進行分析。
網址：http://awstats.sourceforge.net/

演示網址：http://ns3744.ovh.NET/awstats/awstats.pl?config=destailleur.fr


三、Webalizer（免費）(linux平臺)
Webalizer是最流行的記錄分析工具之一。很多人都喜歡這個工具，執行的速度非常快。但這個工具軟體的圖形報表不是很理想。軟體的GD圖形庫提供了一些可讀的圖表。但是，這些圖表從審美學的角度看並不是那樣吸引人。但這些報表足以提供一些重要的日誌分析資料。

網站：http://www.mrunix.Net/webalizer/


四、Analog（免費）(linux平臺)
由一撮頑固的愛好者支援的Analog工具軟體是另一個有希望的競爭者。Analog工具軟體儘可能的向使用者展示出每一種資訊。同時。它也例示了一個向普通使用者展示大量資訊的不錯例子。按照預設設定，所有資訊都顯示在同一網頁上。使用者點選網頁頂端的導航欄可以選擇一個具體的報告，而這個報告又連線到報告的下一個部分。Analog的可取之處在於每一部分的網頁上端都有一個導航欄，在某種程度上簡化了導航方式。Analog比較有趣的列表包括:來自每個國家的點選率是多少、把使用者帶到這個網站來的搜尋引擎查詢以及訪問者使用哪一種瀏覽器軟體和哪一種作業系統。這個軟體能夠顯示網路伺服器記錄中的一切資訊。這個軟體的圖形介面比基於GD圖形庫的Webalizer軟體稍微有所改進。但是，餅圖示和棒圖表距離理想的程度還差很遠。Analog包含許多有用的資訊，而且導航功能還可以。我們認為，這個軟體應該得到五星等級中的四星級。

Download：http://www.analog.cx/download.html


五、Summary (linux平臺)
Summary是一個商業性日誌分析工具，有30天免費試用期。這個軟體包含所有的可能的資訊和並以文字網頁的方式提供一個列表選項供使用者點選檢視。例如，當你點選一個“頻寬峰值”的連結時，你將被引導到列出不同時段使用頻寬的網頁，每一個條目都有一個小條狀圖形，但是，Summary軟體中的圖形非常小。在這裡，小並不是缺陷。正好相反，Summary軟體在外觀上看起來非常合適。然而，整個圖形使用者介面使用起來非常麻煩。我們用了很長時間才瀏覽完畢我們需要看到的報告。Summary軟體的價格不算太高，報告也非常合適。我們把這個軟體評為五個星的等級中的四星級。

Download：http://summary.net/download.html


六：Urchin
Urchin 是一個範疇上與 Google Analytics（分析）類似的網路分析解決方案，但它是一個由客戶安裝、託管和管理的軟體版本。 Urchin 可幫助網站所有者更好地瞭解自己的線上營銷活動、網站點選量的特徵以及訪問者的瀏覽體驗。 不過，與 Google Analytics（分析）不同的是，Urchin 並非免費（許可費為 2995 美元），並且需要有經驗的技術人員進行安裝。
因為 Urchin 使用伺服器日誌作為主要的資料來源，所以可用於不適合採用 Google Analytics（分析）等託管服務的場合，例如跟蹤企業 Intranet 的流量、重新處理歷史日誌以及針對伺服器錯誤提出報告。
所有人都可以下載並安裝功能完整的免費測試版，但許可只能通過 Urchin 軟體的授權顧問提供，並非直接通過 Google 提供。
目前Google的Urchin軟體beta版本為90天試用軟體，一旦Urchin開發完成，其價格為2995美元。
Download：http://www.google.com/urchin/download.html

相關文章