在機器世界探尋資料寶藏,開放思維是不二法則

dobigdata發表於2020-12-20

“與過去相比,現在的IT環境有了顯著的區別。首先,過去會劃分重要資料、次要資料和不重要資料,現在則是所有資料都重要,都不能丟失;其次,過去應用型別和資料量相對較少,如今應用則是五花八門、種類繁多;第三,過去基礎設施相對單一,現在的基礎設施裝置數量豐富,涵蓋面極為廣泛,核心、邊緣、雲端都會涉及。”國內一家三甲醫院的CIO向大資料線上如是說。

的確,這位CIO所遇到的正是當下最為普遍的情況。Gartner首席分析師Pankaj Prasad透露,企業IT基礎架構和應用程式所產生的資料量正以每年2-3倍的速度增長,其中像指標、日誌等機器所產生的資料越來越多,並且型別豐富。

如今,我們需要面對是一個機器世界,資料就是這些機器的“語言”,透過基於資料不斷去認識和了解機器世界,並與之更好地互動,才能讓世界更加智慧。也正因為如此,如何將海量多源異構實時的機器資料進行匯聚、整合與分析已成當下很多企業都在積極著手準備的首要任務。

而在愛數公司看來,在機器世界探索資料寶藏,開放思維是不二法則。

機器世界為什麼要開放思維

機器資料正在改變我們這個世界。IDC《資料時代2025》報告中預測,未來機器資料將成為資料增長的主力軍。的確,機器資料帶來了前所未有的改變,不光是資料型別與複雜度、應用場景,甚至還有安全、法規等方面的挑戰。

愛數認為,機器資料所帶來的挑戰主要集中在三個方面。

在機器世界探尋資料寶藏,開放思維是不二法則

其一,機器資料來源多樣化、複雜性高、型別繁多、格式複雜,並且具有實時產生、增長速度快、資料量大等典型特徵。

其二,基於機器資料的業務場景增長迅速增加,包括智慧運維、安全分析、事件管理、業務運營分析、物聯網等,並且每個大的業務場景中還可以細分為更多場景,以安全場景為例,其需求和應用場景非常多樣化和廣泛化。

其三,隨著機器資料產生量和應用場景不斷提升,對於安全審計合規性要求也在迅速提升。

“機器資料帶來的這些挑戰是無法依靠單個產品來解決的。”愛數公司總裁賀鴻富如是說,“在機器資料世界必須透過開放思維來了解、認識和解決這些挑戰。”

如何踐行開放思維

開放意味著打破封閉,但是開放≠開源。

在筆者看來,在機器世界中以開放思維去應對資料挑戰,必須拋棄過去非此即彼的關係,從真實業務場景和需求出發,在產品層面實現深度整合與整合,從而滿足使用者在具體場景中的業務需求。

但現實情況談何容易。以金融、電信、能源、網際網路等行業真實情況為例,很多使用者都其在底層資料分析平臺上採用了開源資料分析平臺ELK或商業資料分析平臺Splunk,並且執行多年,與各個業務捆綁緊密。隨著技術的發展,安全審計等的要求,僅僅依靠ELK或者Splunk已不能完全符合使用者的真實需求。此時接入新產品,既要確保不影響到具體業務,又需要讓平臺整合發揮出更大優勢。

為此,愛數的思路打造開放、高效、經濟的機器資料分析平臺AnyRobot Family 3,並且在AnyRobot Family 3中推出了創新的Hub架構,實現多源異構資料、多機器資料平臺的統一納管,釋放海量機器資料的價值。

以國內某銀行為例,其業務已經與Splunk進行了深度捆綁,隨著新業務對於新技術的需求,以及安全與合規審計的需求,需要保證原有Splunk資料採集、分析業務不丟失和不中斷的前提下,實現對Splunk的納管。該使用者透過愛數 AnyRobot Hub 架構的開放性和對多源資料、多類資料平臺的納管能力,讓愛數 AnyRobot和Splunk共同服務機器資料的採集、儲存和分析。

在機器世界探尋資料寶藏,開放思維是不二法則

具體來看:

Splunk原有資料採集場景:在現有Splunk平臺可繼續使用的情況下,保持Splunk UF採集資料,然後將資料接入到AnyRobot的Collector Hub上,再令資料轉發到Splunk上,在資料流上增加一個格式處理器,以確保Splunk能識別到來自Hub的資料格式,同時引入Splunk的S2S協議,保障接入的資料host欄位不變。其他資料的處理方式保持不變。

新增加資料管理場景:部署AnyRobot Agent ,將Agent的資料流推送給Collector Hub,再傳輸到AnyRobot的Kafka,透過AnyRobot進行資料清洗、儲存和分析處理。

Splunk原資料流量超出場景:為避免資料流量超出導致Splunk的搜尋功能無法使用,在Collector Hub上切換部分Splunk 的UF資料流到AnyRobot上,既保障原分析和查詢服務不中斷,又避免資料流量超出。

歷史資料查詢場景:當新的資料接入到AnyRobot後,完整的查詢中歷史資料的部分在Splunk上。使用Calculation Hub,將請求排程給Splunk,並把接收到的資料返回給AnyRobot做統一計算。這個過程就像Hadoop的MapReduce一樣,分散式請求,然後把結果再匯聚計算。

賀鴻富介紹,AnyRobot在開放思維的原則下,其Hub架構可實現多源資料連線,整合現有機器資料平臺和第三方應用平臺,為業務部門和IT管理人員提供統一的機器資料分析平臺,滿足使用者的多樣化需求。

平臺+生態是開放思維的保障

從長期來看,除了在產品底層進行架構創新、實現在機器資料環境下的產品整合之外,平臺+生態將會是使用者用開放思維擁抱機器世界的長期保障。

眾所周知,海量資料時代才剛剛開啟,機器資料所帶來的挑戰必然是長期和複雜的,現階段很難有一款或者一套解決方案可以解決所有問題,未來隨著新技術、新場景、新應用的不斷誕生,使用者要想真正將海量機器資料的價值挖掘出來,一定需要廣泛的產品組合與解決方案。

在機器世界探尋資料寶藏,開放思維是不二法則

賀鴻富介紹,AnyRobot即採用了平臺+生態的發展戰略。首先,愛數將AnyRobot打造成為平臺化的產品,並且與應用用型夥伴、技術型夥伴和平臺型夥伴進行緊密合作,從而構建起面向機器資料的聯創解決方案。“比如,愛數跟國內領先APM夥伴一起合作,將APM能力整合到AnyRobot之中,為智慧運維業務場景帶來更好的效果;又如,愛數與應用合作伙伴一起,構建災備運維一體化平臺,實現業務超可用。”


事實上,機器資料只是當下千行百業使用者面臨資料挑戰的一角。從長期來看,使用者需要面臨是結構化資料、非機構化資料、機器資料和知識圖譜資料等不同域資料所帶來的複雜挑戰,而平臺化產品和豐富的生態必然會為解決資料挑戰帶來長期的價值。

“平臺+生態也是愛數公司的核心商業模式,愛數將聚焦AnyBackup、AnyShare、AnyRobot和AnyDATA四大平臺型產品的打造,以及廣泛合作伙伴的生態建設。使用者未來需要的一定是包括機器資料在內的全域資料能力,從而最終實現資料驅動型組織,實現海量資料價值的落地。”賀鴻富最後表示。


來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69965091/viewspace-2743764/,如需轉載,請註明出處,否則將追究法律責任。

相關文章