Apche Spark的命運

banq發表於2015-08-20
Spark取代了MapReduce,同樣邏輯,什麼會取代Spark?

Apache Spark is doomed文章提出了自己的看法。

Spark將資料裝入記憶體in-memory, 比MapReduce查詢提升100倍, Spark在磁碟管理上的查詢比MapReduce 快10倍,對於大資料領域,速度提升是巨大的。

MapReduce統治了大資料領域十年的地位正在被Spark替代。Spark有如下優勢:
1.Spark有豐富表達的統一API,能夠比MapReduce降低程式碼量2到5倍。
2.Spark應用比MapReduce快不是一個數量級
3.Spark為批處理和流處理提供幾乎統一的API。

今天Apache Spark已經統治了大資料計算領域,不久前所有的還是MapReduce地盤。

那麼誰會替代Spark?

作者雖然沒有給出具體的產品,但是提出了替代Spark的進化邏輯,那就是易用性,也就是開發人員的易於使用,Spark成功的最大原因之一也是其相對易用,Spark主要使用庫包支援,能讓使用者部署與資料互動的同樣執行引擎,這些資料室在不同庫包中共享。

鑑於MapReduce的短命,,很難想象Spark的命運會更好些,很難在競爭選項中挑出勝利者,越易於使用應該越容易成功。

[該貼被banq於2015-08-20 11:51修改過]

相關文章