阿里雲E-MapReduce產品優勢及使用場景

E-MapReduce 是構建於阿里雲 ECS 彈性虛擬機器之上，利用開源大資料生態系統，包括 Hadoop、Spark、HBase，為使用者提供叢集、作業、資料等管理的一站式大資料處理分析服務。

產品優勢：

與自建叢集相比，E-MapReduce 能給您提供相對方便可控的手段，從各方面管理自己的叢集。此外，它還具有以下優勢：

• 易用性

您可簡單選擇所需 ECS 機型（CPU、記憶體）與磁碟，並選擇所需的軟體，進行自動化部署。

您可以根據自己或資料來源所處的地理位置申請對應位置的叢集資源。目前阿里雲 ECS 支援的區域包括華東 1、華東 2、華北 1、華北 2、華南 1、新加坡、香港、美東 1、美西 1 等區域。E-MapReduce 支援的區域包括華北 2、華東 1、華東 2 和華南 1，後續會陸續開放到阿里雲 ECS 支援的所有區域。

• 低價

您可以按需建立叢集，即離線作業執行結束就可以釋放叢集，還可以在需要時動態地增加節點。

• 深度整合

與阿里雲其它產品如 OSS、MNS、RDS、MaxCompute 等深度整合，使其可作為 E-MapReduce 產品中 Hadoop/Spark 計算引擎的輸入源或者輸出目的地。

• 安全

E-MapReduce 整合了阿里雲 RAM 資源許可權管理系統，通過主子賬號對服務許可權進行隔離。

使用場景：

E-MapReduce 叢集適用場景很多。簡單說來，Hadoop ecosystem 以及 Spark 能夠支援的場景，E-MapReduce 都可以支援。因為 E-MapReduce 本質就是 Hadoop 和 Spark 的叢集服務，您完全可以將其使用的阿里雲 ECS 主機視為自己專屬的物理主機。以下示例列出了 E-MapReduce 使用的經典場景。

• 批量資料處理

• Ad hoc 資料分析查詢

• 海量資料線上服務

• 流式資料處理

E-MapReduce 的用途：

當使用者想要使用 Hadoop、Spark 等分散式處理系統的時候，通常需要經歷如下的步驟：

1. 評估業務特點
2. 選擇機器型別
3. 採購機器
4. 準備硬體環境
5. 安裝作業系統
6. 部署 Hadoop 和 Spark 等 app
7. 啟動叢集
8. 編寫應用程式
9. 執行作業
10. 獲取資料等一系列的步驟

在這些流程中，真正跟使用者的應用邏輯相關的是從第8步才開始，第1-7步的各項工作都是前期的準備工作，通常這個前期工作都非常冗長繁瑣。而 E-MapReduce 提供了叢集管理工具的整合解決方案，如主機選型、環境部署、叢集搭建、叢集配置、叢集執行、作業配置、作業執行、叢集管理、效能監控等。

通過使用 E-MapReduce，使用者可以從叢集構建各種繁瑣的採購、準備、運維等工作中解放出來，只關心自己應用程式的處理邏輯即可。此外，E-MapReduce 還給使用者提供了靈活的搭配組合方式，使用者可以根據自己的業務特點選擇不同的叢集服務。例如，如果使用者的需求是對資料進行日常統計和簡單的批量運算，則可以只選擇在 E-MapReduce 中執行 Hadoop 服務；而如果使用者還需要流式計算和實時計算的需求，則可以在 Hadoop 服務基礎上再加入 Spark 服務。

E-MapReduce 的組成：

E-MapReduce 最核心也是使用者直接面對的元件是叢集。一個 E-MapReduce 叢集是由一個或多個阿里雲 ECS instance 組成的 Hadoop 和 Spark 叢集。以 Hadoop 為例，在每一個 ECS instance 上，通常都執行了一些 daemon 程式（如 namenode、datanode、resoucemanager 和 nodemanager），這些 daemon 程式就組成了 Hadoop 叢集。執行 namenode 和 resourcemanager 的節點被稱為 master 節點，而執行 datanode 和 nodemanager 的節點被稱為 slave 節點。

例如，下圖表示了一個包含1個 master 節點和3個 slave 節點的 E-MapReduce 叢集：

產品架構：

從上圖可以看出，E-MapReduce 叢集基於 Hadoop 的生態環境來搭建，同時可以跟阿里雲的物件儲存服務（OSS），雲資料庫（RDS）等雲服務進行無縫資料交換，方便您將資料在多個系統之間進行共享和傳輸，以滿足不同業務型別的訪問需要。

版權宣告：本文由 數控等離子切割機http://www.hycsk.com 整理編輯！本文章來源於網路,如有侵權,請聯絡雲棲社群,歡迎分享本文，轉載請保留出處！