MapReduce優缺點

大資料面壁者發表於2020-11-16

MapReduce優缺點

一、優點

1)MapReduce 易於程式設計
它簡單的實現一些介面,就可以完成一個分散式程式,這個分散式程式可以分佈到大量廉價的機器上執行。也就是說你寫一個分散式程式,跟寫一個簡單的序列程式是一模一樣的。就是因為這個特點使得MapReduce程式設計變得非常流行。
2)良好的擴充套件性
當你的計算資源不能得到滿足的時候,你可以通過簡單的增加機器來擴充套件它的計算能力。
3)高容錯性
MapReduce設計的初衷就是使程式能夠部署在廉價的機器上,這就要求它具有很高的容錯性。比如其中一臺機器掛了,它可以把上面的計算任務轉移到另外一個節點上執行,不至於這個任務執行失敗,而且這個過程不需要人工參與,而完全是由Hadoop內部完成的。
4)適合PB級以上海量資料的離線處理
可以實現上千臺伺服器叢集併發工作,提供資料處理能力。

二、缺點

1)不擅長實時計算
MapReduce無法像MySQL一樣,在毫秒或者秒級內返回結果。
2)不擅長流式計算
流式計算的輸入資料是動態的,而MapReduce的輸入資料集是靜態的,不能動態變化。這是因為MapReduce自身的設計特點決定了資料來源必須是靜態的。
3)不擅長DAG(有向圖)計算
多個應用程式存在依賴關係,後一個應用程式的輸入為前一個的輸出。在這種情況下,MapReduce並不是不能做,而是使用後,每個MapReduce作業的輸出結果都會寫入到磁碟,會造成大量的磁碟IO,導致效能非常的低下。

三、總結

MapReduce雖然有諸多缺點,但它確實分散式計算的鼻祖,後期流行的離線數倉Hive底層也是基於MapReduce程式,實時計算框架Spark、Flink也或多或少借鑑了MapReduce的設計原理,只不過對中間計算結果在資料儲存方面做出了改進。

相關文章