MapReduce優缺點
MapReduce優缺點
一、優點
1)MapReduce 易於程式設計
它簡單的實現一些介面,就可以完成一個分散式程式,這個分散式程式可以分佈到大量廉價的機器上執行。也就是說你寫一個分散式程式,跟寫一個簡單的序列程式是一模一樣的。就是因為這個特點使得MapReduce程式設計變得非常流行。
2)良好的擴充套件性
當你的計算資源不能得到滿足的時候,你可以通過簡單的增加機器來擴充套件它的計算能力。
3)高容錯性
MapReduce設計的初衷就是使程式能夠部署在廉價的機器上,這就要求它具有很高的容錯性。比如其中一臺機器掛了,它可以把上面的計算任務轉移到另外一個節點上執行,不至於這個任務執行失敗,而且這個過程不需要人工參與,而完全是由Hadoop內部完成的。
4)適合PB級以上海量資料的離線處理
可以實現上千臺伺服器叢集併發工作,提供資料處理能力。
二、缺點
1)不擅長實時計算
MapReduce無法像MySQL一樣,在毫秒或者秒級內返回結果。
2)不擅長流式計算
流式計算的輸入資料是動態的,而MapReduce的輸入資料集是靜態的,不能動態變化。這是因為MapReduce自身的設計特點決定了資料來源必須是靜態的。
3)不擅長DAG(有向圖)計算
多個應用程式存在依賴關係,後一個應用程式的輸入為前一個的輸出。在這種情況下,MapReduce並不是不能做,而是使用後,每個MapReduce作業的輸出結果都會寫入到磁碟,會造成大量的磁碟IO,導致效能非常的低下。
三、總結
MapReduce雖然有諸多缺點,但它確實分散式計算的鼻祖,後期流行的離線數倉Hive底層也是基於MapReduce程式,實時計算框架Spark、Flink也或多或少借鑑了MapReduce的設計原理,只不過對中間計算結果在資料儲存方面做出了改進。
相關文章
- RabbitMQ優缺點MQ
- Hive 優缺點Hive
- HTTPS 優點與缺點HTTP
- Docker的優缺點Docker
- 繼承的優缺點繼承
- serverless與容器優缺點Server
- 內聯的優缺點
- HTTP1.1 優缺點HTTP
- MySQL索引的優缺點MySql索引
- hadoop-HDFS優缺點Hadoop
- Ajax原理以及優缺點
- iframe有哪些優點和缺點?
- 繼承的優點和缺點繼承
- MyBatis的優缺點以及特點MyBatis
- 節點快取的優缺點快取
- PyLint 的優點、缺點和危險
- Java單例模式:缺點和優點Java單例模式
- SAP的概念及優缺點
- Kmeans演算法優缺點演算法
- 閉包的概念?優缺點?
- Base64 的優缺點
- kafka的優缺點都有那些Kafka
- 6.iframe的優缺點
- Git版本控制與優缺點Git
- 關於 Cookie的優缺點Cookie
- docker簡介以及優缺點Docker
- HTTP和RPC的優缺點HTTPRPC
- ERP系統有哪些優點和缺點?
- 串列埠、IIC、SPI的優缺點串列埠
- 單頁應用的優缺點
- 雲伺服器的優缺點伺服器
- 也談SAP系統優缺點
- 資料中心代理的優缺點
- 代理伺服器的優缺點伺服器
- 深度學習(Deep Learning)優缺點深度學習
- 物聯網路卡的優缺點
- rem佈局原理和優缺點REM
- 02 SVN 與 Git 的優缺點Git