五行命令使用docker搭建hadoop叢集

前言

如果個人想搭建一個hadoop叢集玩玩，之前都是採用虛擬機器的模式，每個節點都要一套配置，非常的複雜，在網上看到有大佬已經做好了映象和指令碼，拿來五行命令就能使用了！

拉取映象

sudo docker pull kiwenlau/hadoop:1.0

克隆倉庫

git clone https://github.com/kiwenlau/hadoop-cluster-docker

橋接網路

建立一個網路，讓hadoop主從節點可以通過hostname互相訪問

sudo docker network create --driver=bridge hadoop

執行容器

cd hadoop-cluster-docker
./start-container.sh

啟動hadoop

./start-hadoop.sh

啟動完成後會自動進入hadoop-master容器內然後可以執行一個小例子：

./run-wordcount.sh

Word Count 是一個測試 Hadoop 的 Shell 指令碼，即計算文字中的單詞個數。

網頁管理

• 我們可以通過網頁遠端管理 Hadoop：
• Name Node: [Your IP Address]:50070/
• Resource Manager: [Your IP Address]:8088/

總結

如果從hadoop-master退出後，docker ps就可以看到三個容器正在執行。
hadoop-cluster-docker這個資料夾下里面Dockerfile就是用來編譯映象的，大家可以看看裡面做了什麼操作，主要是下載jdk，下載hadoop，設定環境變數，改變配置檔案，復給指令碼許可權之類的，最後的start-container.sh 也很直觀，總之用docker來搭建hadoop真的比原來的虛擬機器省心很多。