2015年有關Hadoop的10個預測

光光頭去打醬油發表於2015-03-20

計算及商業評論雜誌給出了2015年Hadoop的10個預測。既包括了企業端的Hadoop(增長率,整合),也包括了技術整合,像Spark vs Hadoop和SQL for Hadoop。

這是你需要了解的2015年大資料分析工具的指南。

1. 市場份額增長至$2.2bn

根據MarketAnalysis.com的分析,在未來的五年內, Hadoop-MapReduce市場預計將達到22億美元,複合年增長率高達58%。

該研究公司把增長的原因歸結為對海量資料的儲存分析以及主要供應商提供的成本高昂的定價模型。

地區經理Peter Walker在 Information Builders 上說:“這種增長的關鍵驅動因素是來自多個資料來源多種格式的結構化和非結構化的企業資料急劇增加。這就是為什麼我們最近宣佈與眾多合作伙伴聯合起來的原因,這些夥伴包括:Cloudera、Hortonworks、HP Vertica,、MapR 和Pivotal。”

這也符合了今年早些時候IDC的研究,研究結果預測全球Hadoop-MapReduce市場營收將從2011年的$77m增長至2016年的$812.8M(譯者注:M為百萬)。

2. 整合

Hadoop在技術成熟的生命週期中還相對年輕,自谷歌開創性的發表了MapReduce白皮書後,也才過去十年,據MapR CEO和創始人之一—— John Schroeder說。

“Hadoop在創新階段,供應商錯誤地採用“Red Hat Hadoop”策略,好在已經退出市場,顯而易見與Intel和EMC整合更加重要”,他說。

“2015年,開源軟體的新模型將會繼續演化、愈加微妙,它將使深度創新與社群發展兩者結合在一起。”

3. Hadoop vs 傳統資料庫,Mysql和資料倉儲

Splice Machine的聯合創始人兼CEO(執行長)—Monte Zweben說,企業對於Hadoop的實時性和事務處理方面有強勁的需求,因為它可以替代傳統資料庫供應商,像Oracle、MySQL。他說:“Hadoop將繼續擴充套件其工具集,以替代傳統的RDBMSs(關係型資料庫),MPP 資料庫,ETL 工具和資料倉儲。”

Actian公司CTO(技術長)—Mike Hoskins補充道:“資料的型別、來源和資料量都在不斷的增長,對那些感興趣的資料進行大量分析,再根據結果資料的關係、圖表預測未來的趨勢,以滿足不斷變化的業務需求。”

“企業需要資料分析的基礎設施,可以從任何資料來源中抓取任意型別、大小的資料,傳送到Hadoop中,然後讓各種分析引擎從中讀取資料,並使用各種先進的技術來分析資料,預測未來一段時間內對業務產生的影響。”

4. 昂貴的成本會降低使用率

自動化公司Automic的CMO(市場總監)——Chris Boorman告訴CBR,很多例子證明採用Hadoop成本太過昂貴且費時。

他說:“儘管像Hadoop這樣的技術在實時處理和經濟預測性方面是可行的,但是最終獲取的結果是有所限制的,因為需要和現有的一些企業工具整合,才能提供真正的業務洞察力和價值。”

“此外,企業要實現Hadoop的話需要僱傭一些Hadoop專家來幫助編寫軟體和搭建整個系統。這些專家的需求是非常大的,所以非常昂貴。而且他們會寫一些自定義的指令碼,這相當於又給程式碼庫增加了一些額外的技術債。”

5. Cloudera 和 MarketLogic將為成為大資料市場的領導者

Fujitsu  UK & Ireland(英國&愛爾蘭)地區(技術長)——Jon Wrennall告訴CBR:“在2015年,我們將繼續看到Cloudera和MarkLogic這些基礎上建立的資料聚合平臺承載更多的傳統事務性資料,蠶食RDBMS供應商的份額。”

Richard Noble是Tangent Snowbal(一家數字代理公司)的技術總監,告訴CBR:“基於Hadoop的支援度(SAP,亞馬遜,微軟,SAS都提供了基於Hadoop的解決方案),感謝Hadoop開源專案的本質,我認為短時間內不會出現一個有威脅的競爭對手。”

“無論你使用構建在Hadoop之上的任何工具,市場領導者將會提供一個最簡單的介面來處理大資料。”

6. Apache Spark vs Hadoop

IDC 歐洲大資料&分析研究主管——Alys Woodard告訴CBR說:“替代Hadoop的產品將要出現,從Apache Spark的使用率上升可以看出即時性是很重要的。”

然而,Couchbase公司的解決方案架構師Mohammed Haji博士說:“市場上有很多工具,要麼是非常高昂的價格,要麼無法處理海量的資料,Hadoop可以滿足這些。”

“我們已經看到很多優秀的廠商將Hadoop和它們的工具進行整合,過去它們以聲稱能處理BigData而出名,現在它們競相說自家的工具已完全和Hadoop整合。”

7. Skills shortage will disappear

據Forrester Research公司推測,隨著企業轉向他們現有的應用程式開發團隊實施專案,Hadoop技術短缺的情況將很快消失,如填充資料湖泊和使用Java開發MapReduce作業。

Forrester公司的應用程式開發分析師Mike Gualtieri說:“對於那些熟悉商業智慧的人,基於Hadoop的SQL提供了一種熟悉的方式讓他們去訪問資料。儘管經驗豐富的技術管理專業人士不畏困難,開源社群和商業供應商正在建立更好的工具,使Hadoop容易上手。”

他補充道:“CIOs(資訊長)不必僱傭高價的Hadoop顧問來完成專案,因為企業的應用程式開發人員和運營專家更瞭解資料,系統整合點和業務的一些挑戰,所以Hadoop專案能夠更快的完成。”

“對於需要一些額外技能的複雜應用程式,比如用Hadoop來做預測分析,可以在需要的時候再建立。”

8.易用性

Splunk公司EMEA(歐洲、中東和非洲)區營銷主管Matt Davies說:“隨著使用Hadoop分析資料更易用,更主流。企業中的任何一個人都能利用軟體實時的從Hadoop中獲取業務洞察力,將企業資料開放給一個全新的觀眾。關鍵這是一個自助分析的能力,可以讓任何人從大資料中得到答案,無論這些人的工作角色和對技術的瞭解程度。

他補充道:“我們可以看到像AWS這種執行現收現付價格計劃的供應商越來越多,這意味著初始投資在軟體、基礎設施以及技術方面的資金可以最小化。公司可以自由的使用Hadoop來實驗,並通過大資料服務來展示ROI(投資回報率)和評估一個更大的投資回報。

9. 2015年將大規模部署

451Research公司資料平臺和分析研究主管Matt Aslett說:“雖然我們看到大家對Hadoop有著極大的興趣,早期由開發人員和Shadow IT或者創新實驗室來開發一些獨立的應用程式。”

“不過這已經開始發生變化,早期嚐鮮者正在將這些戰略性專案從POC(概念驗證)轉為產品,高階IT主管為大規模部署大開綠燈,以擴充套件資料儲存、處理和分析能力。我們預計這一趨勢將在2015年早期繼續擴大,晚期多數將開始行動起來。”

10.  2015年SQL將成為Hadoop的殺手級應用。

根據Forrester研究,SQL——程式開發人員所使用的資料查詢語言工具,將成為Hadoop生態系統中最有用的工具之一。

Forrester的Mike Gualtieri說:“基於Hadoop的SQL創造了一個直接的機會,成為對企業有用的資料平臺的機會。AD&D專家已經瞭解SQL和許多能與之互動的技術。當然Hadoop和SQL相比,前者有更多的用例,但是許多企業會從基於Hadoop的SQL開始,因為它更簡單。”

Actian的CTO(技術長)Mike Hoskins補充道:“將Hadoop轉變為一個高效能、功能完整的分析平臺,業務分析師可以通過SQL方便的訪問Hadoop中的資料。隨著越來越多的企業意識到這種需求,一些業內廠商可能會因為鬆散的整合或者提供不成熟的SQL-on-Hadoop方案而丟失市場份額,而那些能提供足夠效能、規模、成熟度和端到端能力的企業將會完成期待已久的承諾——使用Hadoop處理大資料。”

相關文章