Hadoop將死？Cloudera CEO怒懟Gartner

   大資料已經過了炒作階段，但即使是現在，提到大資料很多人首先會想到hadoop，但最近多份分析報告和趨勢預測的文章所傳遞出的聲音，讓Hadoop再度成為了爭議的焦點。年初的調查，Hadoop被列為2018年大資料領域的“漸凍”趨勢之一，不少人將Hadoop稱作“倒下的大象”，比如Lucidworks執行長Will Hayes。

▲Gartner釋出的《2017年資料管理技術成熟度曲線》

　　這其中又以知名IT研究與顧問諮詢公司Gartner釋出的《2017年資料管理技術成熟度曲線》最具威力，報告用極其顯眼的紅色標識出Hadoop在到達“生產成熟期”之前即被淘汰。(注：《資料管理成熟度曲線》跟蹤資料庫及大資料服務的商業環境和技術發展，關注每項技術在應用中的狀態以及其商業模式的變化)

　　除此之外，Gartner的調查還揭示了Hadoop使用量的下滑，Gartner還預測，到2018年,70%的Hadoop部署將無法實現節約成本和收入增長的目標,主要原因是技能不足和技術整合困難。

　　事實上，這並不是Gartner首次唱衰Hadoop，其最早可追溯到2013年，也就是5年前，Gartner研究總監Svetlana Sicular就曾發文稱Hadoop過時了。

　　Gartner為何如此不看好hadoop?到底是基於怎樣的原因?據參與過Gartner該Topic探討的相關人士向老魚透露，主要有以下幾個方面的原因：

　　Hadoop的一體化平臺商業模式已經結束，原有的Hadoop廠商必須用實際解決問題的場景和案例來讓使用者買單。越來越多的工具出現，讓企業有了更多的選擇，因此，企業更看中結果而非繫結一個固定的平臺。Hadoop作為技術還是持續發展，但只能作為技術一環，不像之前是在大資料的核心。

　　實時性和SQL的需求也一定程度限制了Hadoop線上業務資料管理場景的發展。

　　隨著Hadoop幾大廠商對於開源專案的控制力的不斷增強，使得開源專案在發展路徑上出現了一定的分化，也使得hadoop主專案的發展遇到了一些阻礙。

　　在Hadoop生態系統中有三大發行商，分別是Cloudera，Hortonworks和MapR，Cloudera是其中最突出的，這不僅是因為其在2014年從英特爾獲得了7.4億美元的投資，自從去年上市以來，雖然Cloudera的股票表現並不盡如人意，但很少有人會否認它是市場的領導者。Mike Olson是Cloudera四位創始人之一。

▲Cloudera創始人Mike Olson

　　近日，Cloudera創始人Mike Olson在國外接受採訪時，對Gartne報告中關於Hadoop的觀點進行了駁斥，並談到了他的看法。以下為Mike Olson受訪內容節選：

　　Mike Olson表示，Gartner對Hadoop的結論我並不認同，有很多客戶在我們的平臺上執行關鍵業務，我不清楚Gartner到底跟誰討論得出的這一結論。

　　我想說，我們不僅是看好，更為重要的是，我們在一些方面已經取得了很大的成功。例如：通如過使用Impala等工具進行高效能分析查詢，企業可以在擴充套件平臺上為其傳統關係工作負載的某些部分提供替代方案。

　　我們已經公開表示，我們已有超過1000名客戶，全球8000個多個客戶使用該平臺生產進行一系列嚴苛工作負載。

　　如果你對Gartner技術成熟度曲線有所瞭解，比如預期通常是高漲的，中間會出現低谷，最後達到生產力的高峰期。或許，Gartner目前的下滑預測無非是證明該技術正處於低谷時期，並且整個行業的生產力水平也是如此，因此，我們不得不接受這一結果。

　　因此，我不得不懷疑，Gartner是否看到的是10年前的Hadoop，而非現在。早期的Hadoop只有MapReduce和HDFS，確實非常有限，但它並不是Hadoop的全部，現在有26個不同的開源專案，包括Spark，其中有18種是Cloudera建立的，這是一個比過去更廣闊、更有能力的生態系統。