Splunk實現與Hadoop的整合與監控

2012年10月24日，實時運營資訊軟體供應商Splunk宣佈Splunk Hadoop Connect和Splunk App for HadoopOps現已全面上市。Splunk Hadoop Connect可提供雙向整合，輕鬆可靠地完成在Splunk與Hadoop之間遷移資料。Splunk App for HadoopOps可對端到端Hadoop環境的健康和效能進行實時監控和分析。Splunk Hadoop Connect和 Splunk App for HadoopOps即日起可供下載。

Apache Hadoop專案管理委員會主席Arun Murthy表示：“Splunk Hadoop Connect讓Hadoop使用者更輕鬆地利用Splunk將大資料帶入企業。它讓Splunk和Hadoop更緊密地聯絡在一起，為使用者開啟了無限可能。Hadoop未來發展的關鍵技術因素是利用Hadoop從資料中獲得情報的軟體。”

Edmunds.com生產工程高階總監John Martin表示：“我們不斷將資料傳輸至Splunk，以支援我們的運營、應用、安全團隊和高管人員併為他們提供情報。我們還部署Hadoop進行多批處理。Splunk和Hadoop的整合讓我們可以充分利用這兩個技術，並保證我們的Hadoop叢集平穩執行。”

Splunk Hadoop Connect讓企業能夠充分享受兩家企業的技術。快速部署Splunk進行實時採集、檢索、分析和視覺化，然後可靠地將事件轉發至Hadoop，進行長期歸檔和更多批量分析。企業機構可通過匯入儲存在Hadoop中的資料進一步充分利用Splunk，從而在幾天內就輕鬆搭建起可靠、安全的企業級大資料專案。Splunk Hadoop Connect與Apache Hadoop相容，並已經過Cloudera CDH和Hortonworks HDP釋出的測試和認證。

Splunk App for HadoopOps為Hadoop提供實時端到端監控、分析和故障排除，所有這些都是在一個介面上完成的。現有Hadoop監控工具只關注Hadoop層。Splunk App for HadoopOps則通過涵蓋基礎設施，包括Hadoop、網路、交換機、機架、作業系統和資料庫在內的所有層，從而實現超越。

Splunk產品營銷副總裁Sanjay Mehta表示：“通過將大資料轉化為實時情報，Splunk客戶每天都為我們帶來驚喜。我們希望讓Hadoop使用者更輕鬆地獲得這種價值。Splunk可通過輕鬆、迅速、彈性的方式來收集、分析使用者所有機器生成的資料並確保其安全，無論是在物理、虛擬還是雲環境中。Splunk Hadoop Connect和Splunk App for HadoopOps有一個共同的開發目的，即：幫助Hadoop使用者從資料中獲得更多，同時更輕鬆地管理並監控其系統。”

451 Research資料管理與分析研究經理Matt Aslett表示：“Splunk採用一種方法論方式來定義其與Hadoop的共存關係。Splunk Hadoop Connect不僅能夠與Hadoop相整合，並且能夠與其進行互動，再加上利用Splunk App for HadoopOps來監控超越Hadoop本身的叢集資源，意味著它能夠在‘提供管理和分析Splunk和Hadoop中資料的單一平臺’方面發揮更大作用。”

Splunk Hadoop Connect功能包括：

• 將事件從Splunk Enterprise™可靠匯出至Hadoop，以便進行歸檔、進一步處理或進行更多批量處理。原始資料和處理前的資料都可傳送。
• 利用Splunk Hadoop Connect使用者介面來探索Hadoop目錄，檢查檔案並決定將匯入Splunk的資料。
• 將Hadoop資料匯入Splunk，並進行檢索，使其用於搜尋、報告、分析和視覺化，並通過基於角色的訪問控制而對其進行保護。

Splunk App for HadoopOps功能包括：

• 除了從不同資料中心進行多叢集管理，還可端到端監控Hadoop叢集、資料庫和網路，並排除故障。
• 針對任何警告或錯誤情況的強大報警框架。
• 利用直觀的熱圖顯示，集中地實時檢視Hadoop節點。
• 分析MapReduce的實時和歷史工作表現。

Splunk Hadoop Connect和Splunk App for HadoopOps可在Splunkbase上免費下載。