Apche Spark的命運
Spark取代了MapReduce,同樣邏輯,什麼會取代Spark?
Apache Spark is doomed文章提出了自己的看法。
Spark將資料裝入記憶體in-memory, 比MapReduce查詢提升100倍, Spark在磁碟管理上的查詢比MapReduce 快10倍,對於大資料領域,速度提升是巨大的。
MapReduce統治了大資料領域十年的地位正在被Spark替代。Spark有如下優勢:
1.Spark有豐富表達的統一API,能夠比MapReduce降低程式碼量2到5倍。
2.Spark應用比MapReduce快不是一個數量級
3.Spark為批處理和流處理提供幾乎統一的API。
今天Apache Spark已經統治了大資料計算領域,不久前所有的還是MapReduce地盤。
那麼誰會替代Spark?
作者雖然沒有給出具體的產品,但是提出了替代Spark的進化邏輯,那就是易用性,也就是開發人員的易於使用,Spark成功的最大原因之一也是其相對易用,Spark主要使用庫包支援,能讓使用者部署與資料互動的同樣執行引擎,這些資料室在不同庫包中共享。
鑑於MapReduce的短命,,很難想象Spark的命運會更好些,很難在競爭選項中挑出勝利者,越易於使用應該越容易成功。
[該貼被banq於2015-08-20 11:51修改過]
相關文章
- 命運的X
- 命運之道
- 社交命運的新主宰:AI社交AI
- 奈雪的茶走到命運岔路口
- spark-運算元-分割槽運算元Spark
- Spark常用Transformations運算元(一)SparkORM
- 我的世界觀:人-資源-人類命運共同體
- 如何在Windows下利用Apche檢視MySQL資料庫?WindowsMySql資料庫
- 世嘉的2020奧運遊戲,會改變正統奧運遊戲銷量不佳的命運嗎?遊戲
- spark的基本運算元使用和原始碼解析Spark原始碼
- Spark RDD運算元(八)mapPartitions, mapPartitionsWithIndexSparkAPPIndex
- spark一些常用運算元Spark
- 圖解Spark排序運算元sortBy的核心原始碼圖解Spark排序原始碼
- 【Spark篇】---SparkStreaming中運算元中OutPutOperator類運算元Spark
- Spark----RDD運算元分類 DAGSpark
- 專訪鄭東雲:自動化運維時代,DBA命運如何?運維
- 《命運2》:“跳躍&合作”所帶來的關卡設計革新
- 冒險家們,歡迎登上LOST ARK《命運方舟》
- 逃不過轉行的命運,與網際網路無緣了
- 思維決定命運,從四個方面理解深度思維的概念
- 同樣是黑客少年,但他們可能有不一樣的命運黑客
- 網際網路行業的眾生相,不向命運低頭的“英雄主義”行業
- 大資料揭祕:學歷真的能改變命運?大資料
- 命懸一線的決鬥,祝你好運! - 《惡魔輪盤》產品分析
- 美好的夢被命運翻弄:“櫻花大戰”到底意味著什麼?(中)
- 韻達聯姻德邦,仍躲不開巨頭圍困的命運
- 《命運2》中正在發生一場玩家對遊戲機制的反抗遊戲
- Spark運算元:統計RDD分割槽中的元素及數量Spark
- 《命運聖契》「終章測試」開啟!全新PV登場!
- 線上人數登頂,《命運2》憑什麼讓玩家沉迷?
- 《十二神兵器》遊戲首曝 與命運中的使徒簽訂契約吧!遊戲
- 《命運2》可能不夠完美,但它仍是本世代最好的FPS遊戲之一遊戲
- spark RDD textFile運算元 分割槽數量詳解Spark
- spark 的方式Spark
- Spark入門(四)--Spark的map、flatMap、mapToPairSparkAPTAI
- Spark in action on Kubernetes - Spark Operator的原理解析Spark
- Spark SQL:4.對Spark SQL的理解SparkSQL
- Spark入門(五)--Spark的reduce和reduceByKeySpark
- 【Spark篇】---Spark中Shuffle檔案的定址Spark