在機器世界探尋資料寶藏,開放思維是不二法則
“與過去相比,現在的IT環境有了顯著的區別。首先,過去會劃分重要資料、次要資料和不重要資料,現在則是所有資料都重要,都不能丟失;其次,過去應用型別和資料量相對較少,如今應用則是五花八門、種類繁多;第三,過去基礎設施相對單一,現在的基礎設施裝置數量豐富,涵蓋面極為廣泛,核心、邊緣、雲端都會涉及。”國內一家三甲醫院的CIO向大資料線上如是說。
的確,這位CIO所遇到的正是當下最為普遍的情況。Gartner首席分析師Pankaj Prasad透露,企業IT基礎架構和應用程式所產生的資料量正以每年2-3倍的速度增長,其中像指標、日誌等機器所產生的資料越來越多,並且型別豐富。
如今,我們需要面對是一個機器世界,資料就是這些機器的“語言”,透過基於資料不斷去認識和了解機器世界,並與之更好地互動,才能讓世界更加智慧。也正因為如此,如何將海量多源異構實時的機器資料進行匯聚、整合與分析已成當下很多企業都在積極著手準備的首要任務。
而在愛數公司看來,在機器世界探索資料寶藏,開放思維是不二法則。
機器世界為什麼要開放思維
機器資料正在改變我們這個世界。IDC《資料時代2025》報告中預測,未來機器資料將成為資料增長的主力軍。的確,機器資料帶來了前所未有的改變,不光是資料型別與複雜度、應用場景,甚至還有安全、法規等方面的挑戰。
愛數認為,機器資料所帶來的挑戰主要集中在三個方面。
其一,機器資料來源多樣化、複雜性高、型別繁多、格式複雜,並且具有實時產生、增長速度快、資料量大等典型特徵。
其二,基於機器資料的業務場景增長迅速增加,包括智慧運維、安全分析、事件管理、業務運營分析、物聯網等,並且每個大的業務場景中還可以細分為更多場景,以安全場景為例,其需求和應用場景非常多樣化和廣泛化。
其三,隨著機器資料產生量和應用場景不斷提升,對於安全審計合規性要求也在迅速提升。
“機器資料帶來的這些挑戰是無法依靠單個產品來解決的。”愛數公司總裁賀鴻富如是說,“在機器資料世界必須透過開放思維來了解、認識和解決這些挑戰。”
如何踐行開放思維
開放意味著打破封閉,但是開放≠開源。
在筆者看來,在機器世界中以開放思維去應對資料挑戰,必須拋棄過去非此即彼的關係,從真實業務場景和需求出發,在產品層面實現深度整合與整合,從而滿足使用者在具體場景中的業務需求。
但現實情況談何容易。以金融、電信、能源、網際網路等行業真實情況為例,很多使用者都其在底層資料分析平臺上採用了開源資料分析平臺ELK或商業資料分析平臺Splunk,並且執行多年,與各個業務捆綁緊密。隨著技術的發展,安全審計等的要求,僅僅依靠ELK或者Splunk已不能完全符合使用者的真實需求。此時接入新產品,既要確保不影響到具體業務,又需要讓平臺整合發揮出更大優勢。
為此,愛數的思路打造開放、高效、經濟的機器資料分析平臺AnyRobot Family 3,並且在AnyRobot Family 3中推出了創新的Hub架構,實現多源異構資料、多機器資料平臺的統一納管,釋放海量機器資料的價值。
以國內某銀行為例,其業務已經與Splunk進行了深度捆綁,隨著新業務對於新技術的需求,以及安全與合規審計的需求,需要保證原有Splunk資料採集、分析業務不丟失和不中斷的前提下,實現對Splunk的納管。該使用者透過愛數 AnyRobot Hub 架構的開放性和對多源資料、多類資料平臺的納管能力,讓愛數 AnyRobot和Splunk共同服務機器資料的採集、儲存和分析。
具體來看:
Splunk原有資料採集場景:在現有Splunk平臺可繼續使用的情況下,保持Splunk UF採集資料,然後將資料接入到AnyRobot的Collector Hub上,再令資料轉發到Splunk上,在資料流上增加一個格式處理器,以確保Splunk能識別到來自Hub的資料格式,同時引入Splunk的S2S協議,保障接入的資料host欄位不變。其他資料的處理方式保持不變。
新增加資料管理場景:部署AnyRobot Agent ,將Agent的資料流推送給Collector Hub,再傳輸到AnyRobot的Kafka,透過AnyRobot進行資料清洗、儲存和分析處理。
Splunk原資料流量超出場景:為避免資料流量超出導致Splunk的搜尋功能無法使用,在Collector Hub上切換部分Splunk 的UF資料流到AnyRobot上,既保障原分析和查詢服務不中斷,又避免資料流量超出。
歷史資料查詢場景:當新的資料接入到AnyRobot後,完整的查詢中歷史資料的部分在Splunk上。使用Calculation Hub,將請求排程給Splunk,並把接收到的資料返回給AnyRobot做統一計算。這個過程就像Hadoop的MapReduce一樣,分散式請求,然後把結果再匯聚計算。
賀鴻富介紹,AnyRobot在開放思維的原則下,其Hub架構可實現多源資料連線,整合現有機器資料平臺和第三方應用平臺,為業務部門和IT管理人員提供統一的機器資料分析平臺,滿足使用者的多樣化需求。
平臺+生態是開放思維的保障
從長期來看,除了在產品底層進行架構創新、實現在機器資料環境下的產品整合之外,平臺+生態將會是使用者用開放思維擁抱機器世界的長期保障。
眾所周知,海量資料時代才剛剛開啟,機器資料所帶來的挑戰必然是長期和複雜的,現階段很難有一款或者一套解決方案可以解決所有問題,未來隨著新技術、新場景、新應用的不斷誕生,使用者要想真正將海量機器資料的價值挖掘出來,一定需要廣泛的產品組合與解決方案。
賀鴻富介紹,AnyRobot即採用了平臺+生態的發展戰略。首先,愛數將AnyRobot打造成為平臺化的產品,並且與應用用型夥伴、技術型夥伴和平臺型夥伴進行緊密合作,從而構建起面向機器資料的聯創解決方案。“比如,愛數跟國內領先APM夥伴一起合作,將APM能力整合到AnyRobot之中,為智慧運維業務場景帶來更好的效果;又如,愛數與應用合作伙伴一起,構建災備運維一體化平臺,實現業務超可用。”
事實上,機器資料只是當下千行百業使用者面臨資料挑戰的一角。從長期來看,使用者需要面臨是結構化資料、非機構化資料、機器資料和知識圖譜資料等不同域資料所帶來的複雜挑戰,而平臺化產品和豐富的生態必然會為解決資料挑戰帶來長期的價值。
“平臺+生態也是愛數公司的核心商業模式,愛數將聚焦AnyBackup、AnyShare、AnyRobot和AnyDATA四大平臺型產品的打造,以及廣泛合作伙伴的生態建設。使用者未來需要的一定是包括機器資料在內的全域資料能力,從而最終實現資料驅動型組織,實現海量資料價值的落地。”賀鴻富最後表示。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/69965091/viewspace-2743764/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- 在細節豐富的歐洲城市裡尋找寶藏,《迷宮大偵探》開發團隊專訪
- 開放世界地圖如何設計?② ——七巧板法則地圖
- “人形機器人”,新產業還是舊思維?機器人產業
- 在大資料世界“尋寶”,科研新正規化如何用好儲存這把利器?大資料
- 思維體系---技術思維、業務資料思維、產品思維、複合思維
- 時序資料庫破局開放探討資料庫
- (即將開源)運維學件:沒有演算法專家,玩轉 AIOps 的不二法寶運維演算法AI
- 解決系統盤空間不足的不二法寶
- 創新思維框架:第一原則思維 - Neil Kakkar框架
- 這個開發團隊讓機器人擁有思維,還打造了廢土科幻世界機器人
- 你是整體思維還是分析思維? - kentbeck
- 當今世界最寶貴的資源不再是石油,而是資料
- 資料分析思維有哪些
- dython:Python資料建模寶藏庫Python
- 逆向思維--魔獸世界封包分析(1)
- 大資料行業人士必知10大資料思維原理,可以讓機器人讀懂你!大資料行業機器人
- [資料思維]資料師的願景
- 大資料之傷--小資料思維大資料
- 完美世界王雨蘊:遊戲化思維開啟科普世界新天地遊戲
- 寶藏
- 概率的意義:隨機世界與大數法則隨機
- Goblin金屬探測無人機 助你實現尋寶探險夢想Go無人機
- 如何培養資料分析思維?
- 大資料思維10個原理大資料
- 《資料化思維》亞馬遜書評亞馬遜
- 大資料常見的資料分析思維大資料
- 使用騰訊元寶+markmap生成思維導圖
- 探尋 webpack 外掛機制Web
- 阿里P8架構專家的晉升法則(思維方法)阿里架構
- 什麼是產品思維和專案思維? - Shreyas
- 探尋多機任務分配機制
- #慧分享#《網際網路思維-獨孤九劍》讀書筆記總結篇--9大思維,22條法則筆記
- 揭秘1688商品詳情API介面:一探阿里巴巴的億級商品資料寶藏API阿里
- 大資料時代,從零學習資料思維大資料
- Python 資料分析入門寶藏書,選它!Python
- 在現實世界遇見「擎天柱」,探訪國內首家變形機器人公司機器人
- 三角形的 N 種畫法與瀏覽器的開放世界瀏覽器
- 《原神》開放世界的思考