雲主機centos7搭建基於docker的hadoop叢集

huangkunpku發表於2019-03-14
CentOSDockerHadoop

一、騰訊雲申請一個賬號

因為學校有發騰訊雲代金劵,所以這裡以騰訊云為例,其他雲也同理.
學習hadoop,做的學習筆記,希望大佬們多指點一下.

1、新建一個例項,因為是學習,選擇最低配就行.

  • 計費方式,地域隨便自己選,最好選和自己地區相同的.
    在這裡插入圖片描述
  • 系統這裡選的CentOS 7.5 64位
    在這裡插入圖片描述
  • 系統硬碟最低50G,頻寬1M就行
    在這裡插入圖片描述
  • 預設專案,安全組看自己隨便弄,主機密碼一定要記得,後面會用到.
    在這裡插入圖片描述
  • 下一步付錢就好了,等一會就建立好了

2、進入建立好的例項

  • 點例項右邊的操作中的登陸
    在這裡插入圖片描述
  • 在彈出的方式中,自己選一個就行,我這裡是Mac OS系統,就用自帶的終端程式了.準備選擇用密碼登陸
    在這裡插入圖片描述

3、SSH登陸建立好的雲主機

  • 將剛剛點登陸彈出來的框裡,用密碼登陸方式的那段命令輸入終端,就會叫你輸入密碼,也就是最開始申請時,叫你填寫的主機密碼,終端裡面輸入時不會顯示,輸入完按Enter就行.
    在這裡插入圖片描述
  • 顯示如下就連線上了
    在這裡插入圖片描述

二、安裝Docker

1、使用yum方式安裝docker

*輸入如下命令,安裝好後如圖所示.

#安裝 Docker
yum -y install docker
#檢視 Docker版本,看是否安裝好
docker verison
#執行如下
[root@VM_0_11_centos ~]# docker version
Client:
 Version:           18.09.3
 API version:       1.39
 Go version:        go1.10.8
 Git commit:        774a1f4
 Built:             Thu Feb 28 06:33:21 2019
 OS/Arch:           linux/amd64
 Experimental:      false
Server: Docker Engine - Community
 Engine:
  Version:          18.09.3
  API version:      1.39 (minimum version 1.12)
  Go version:       go1.10.8
  Git commit:       774a1f4
  Built:            Thu Feb 28 06:02:24 2019
  OS/Arch:          linux/amd64
  Experimental:     false

2、在Docker中下載centos映象

#下載映象
docker pull centos
#檢視 Docker下載好了的映象
docker images
#執行後如下
[root@VM_0_11_centos ~]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
centos              latest              1e1148e4cc2c        3 months ago        202MB

3、用映象建立容器

  • 映象（Image）和容器（Container）的關係，就像是物件導向程式設計中的 類 和 例項 一樣，映象是靜態的定義，容器是映象執行時的實體。容器可以被建立、啟動、停止、刪除、暫停等。
#建立容器
docker run -i -t -v /home/hadoop/build:/root/build -h test --name test centos /bin/bash
#執行如下,已經進入了新建的容器,名為test的主機,系統為CentOS
[root@VM_0_11_centos ~]# docker run -it -v /home/hadoop/build:/root/build -h test --name test centos /bin/bash
[root@test /]#
  • 以centos映象啟動一個容器，容器名是test，主機名是test，並且將基於容器的centos系統的/root/build目錄與本地/home/hadoop/build共享。
    引數解釋：
    -v 表示基於容器的centos系統的/root/build目錄與本地/home/hadoop/build共享；這可以很方便將本地檔案上傳到Docker內部的centos系統；
    -h 指定主機名為master
    –-name 指定容器名
    /bin/bash 使用bash命令

三、容器配置

1.現在這個系統什麼都沒有,所以首先安裝vim

yum -y install vim
#如下如所示
[root@test /]# yum -y install vim
···
···
Complete!

2.然後安裝jdk

  • 輸入以下命令,檢視可以安裝的版本,要選擇-devel的安裝，因為這個安裝的是jdk，而那個不帶-devel的安裝完了其實是jre.
yum -y list java*
  • 可以不看版本,直接安裝,這裡安裝java-1.8.0-openjdk-devel.x86_64,輸入以下命令,直接安裝.
yum install -y java-1.8.0-openjdk-devel.x86_64
  • 安裝好後,檢視安裝的版本
java -version
#如下所示
[root@test /]# java -version
openjdk version "1.8.0_201"
OpenJDK Runtime Environment (build 1.8.0_201-b09)
OpenJDK 64-Bit Server VM (build 25.201-b09, mixed mode)
  • 安裝的位置為/usr/lib/jvm,輸入以下命令可以檢視
cd /usr/lib/jvm
ls
#如下如所示
[root@test /]# cd /usr/lib/jvm
[root@test jvm]# ls
java
java-1.8.0
java-1.8.0-openjdk
java-1.8.0-openjdk-1.8.0.201.b09-2.el7_6.x86_64
java-openjdk
jre
jre-1.8.0
jre-1.8.0-openjdk
jre-1.8.0-openjdk-1.8.0.201.b09-2.el7_6.x86_64
jre-openjdk
  • 至此jdk安裝完成,退出目錄,輸入以下命令
cd
[root@test jvm]# cd
[root@test ~]#

3.現在安裝SSH

  • 安裝SSH服務端和客戶端,服務端能讓其他主機遠端登入本機,客戶端能讓本機遠端登入其他主機
yum -y install passwd openssl openssh-server openssh-clients
[root@test ~]# yum -y install passwd openssl openssh-server openssh-clients
···
···
Complete!
  • 建立 /var/run/sshd/目錄,要不然sshd服務啟動會報錯
[root@test ~]# mkdir /var/run/sshd/
  • 編輯sshd的配置檔案/etc/ssh/sshd_config，將其中的UsePAM yes改為UsePAM no
    #可以進入sshd_config檔案中去修改，也可以使用命令：
[root@test ~]# sed -i "s/UsePAM.*/UsePAM no/g" /etc/ssh/sshd_config
  • 建立公私金鑰,輸入命令後,直接按兩次enter鍵確認就行了
[root@test ~]# ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
[root@test ~]# ssh-keygen -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key
[root@test ~]# ssh-keygen -t ed25519 -f /etc/ssh/ssh_host_ed25519_key
  • 完成上述幾步後,可以開啟ssh服務了,會彈出警告,不用管,按下Enter就行
[root@test ~]# /usr/sbin/sshd -D &
[1] 247
[root@test ~]# WARNING: 'UsePAM no' is not supported in Red Hat Enterprise Linux and may cause several problems.
  • 此時使用命令ps -ef | grep sshd便可以看到
[root@test ~]# ps -ef | grep sshd 
root       247     1  0 00:51 pts/0    00:00:00 /usr/sbin/sshd -D
root       250     1  0 01:00 pts/0    00:00:00 grep --color=auto sshd
  • 輸入以下命令安裝 lsof
[root@test ~]# yum -y install lsof
  • 如果在/etc/ssh/sshd_config檔案中將埠22修改了,那麼填寫你修改了的埠
[root@test ~]# lsof -i:22    
COMMAND PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
sshd    247 root    3u  IPv4 4163692      0t0  TCP *:ssh (LISTEN)
sshd    247 root    4u  IPv6 4163694      0t0  TCP *:ssh (LISTEN)
  • 配置ssh無密碼登入,按Enter就行,ssh無密碼登入可用hadoop叢集中master主節點無密碼登入從節點
[root@test ~]# ssh-keygen -t rsa
[root@test ~]# cd ~/.ssh
[root@test .ssh]# cat id_rsa.pub >> authorized_keys
  • 測試登入其他主機,輸入命令ssh localhost,輸入yes
[root@test .ssh]# ssh localhost
···
Are you sure you want to continue connecting (yes/no)? yes
···
  • 這個時候仔細看命令輸入行,已經不一樣了,說明已經登陸了,輸入exit退出登陸,輸入cd退出目錄
[root@test ~]# exit
logout
Connection to localhost closed.
[root@test .ssh]# cd
[root@test ~]#

4.環境配置

這裡需要用到vi操作,按 i 是編輯,編輯好了按 esc 退出編輯,按冒號 : 輸入命令,輸入 wq 儲存退出.
  • 在/etc/profile中配置環境變數
[root@test ~]# vi /etc/profile
  • 在最下面新增這段,儲存退出,JAVA_HOME後面的Java版本號是我安裝的那個版本,輸入自己安裝的版本就行,我這裡是java-1.8.0-openjdk-1.8.0.201.b09-2.el7_6.x86_64
# /etc/profile
# System wide environment and startup programs, for login setup
# Functions and aliases go in /etc/bashrc
 ···
 ···
unset i
unset -f pathmunge

#set java environment
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.201.b09-2.el7_6.x86_64
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
#set hadoop environment
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
  • 設定好後,輸入以下命令,使之生效
source /etc/profile
  • 在~/.bashrc檔案中設定環境路徑,最下面新增兩行,儲存退出
[root@test ~]# vi ~/.bashrc
# .bashrc

# User specific aliases and functions

alias rm='rm -i'
alias cp='cp -i'
alias mv='mv -i'

# Source global definitions
if [ -f /etc/bashrc ]; then
        . /etc/bashrc
fi

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.201.b09-2.el7_6.x86_64
/usr/sbin/sshd -D &

5.儲存映象

  • 現在我們已經安裝好了vim、jdk、ssh客戶端服務端的centos容器.
  • 但在Docker內部的容器做的修改是不會自動儲存到映象的,也就是說,我們把容器關閉,然後重新開啟容器,則之前的設定會全部消失,因此我們需要儲存當前的配置.
  • 為了達到複用配置資訊,我們在每個步驟完成之後,都儲存成一個新的映象,然後開啟儲存的新映象即可.
  • 需要先到這個網址註冊一個賬號https://hub.docker.com/
  • 賬號註冊成功後,然後在電腦上新開一個終端,原來那個終端不用關
  • SSH登陸建立好的雲主機,參考上面的步驟
  • 輸入以下命令,輸入剛剛申請的相應使用者名稱、密碼,然後會提示登入成功。
[root@VM_0_11_centos ~]# docker login
Login Succeeded

#有時會提示未連線上,這是可能是因為沒有開啟doker,輸入如下命令,再次登陸
sudo service docker start  //開啟Docker 服務
sudo chkconfig docker on   //開機啟動
  • 查詢現在執行的容器
[root@VM_0_11_centos ~]# docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
02cc04a2a8b4        centos              "/bin/bash"         10 hours ago        Up 10 hours                             test
  • 儲存映象,容器ID不一樣,輸入自己的那個ID就行,我這裡是 02cc04a2a8b4
[root@VM_0_11_centos ~]# docker commit 02cc04a2a8b4 centos/test
sha256:5cfee67798a83b6bd1d8171a5c413025da90a6c61d2909f94f882ab3598f7128
[root@VM_0_11_centos ~]#
  • 檢視已經有的映象,就能看到剛剛儲存的映象 centos/test
[root@VM_0_11_centos ~]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
centos/test         latest              5cfee67798a8        3 minutes ago       572MB
centos              latest              1e1148e4cc2c        3 months ago        202MB
[root@VM_0_11_centos ~]#

四、安裝Hadoop

1.新建容器demo

  • 前面我們安裝有vim、jdk、ssh的centos映象,已經儲存,現在我們在這個的基礎上繼續搭建hadoop.
    在正式開始前,瞭解一些docker容器的操作命令
docker ps：檢視活動的容器
docker ps -a：檢視所有的容器（包括終止狀態的）
docker images：檢視映象
docker run：基於映象新建一個容器
docker container start 容器id：啟動已經終止的容器，但不會進入容器，容器在後臺執行
docker container stop 容器id：終止容器
docker container rm 容器id：刪除終止狀態的容器
docker image rm 映象id：刪除映象
進入容器有兩個命令：attach和exec
docker attach 容器id：進入容器，使用exit退出時，容器會終止
docker exec -it 容器id bash：進入容器，使用exit退出時，容器不會終止（推薦）
  • 以之前儲存的centos/test 映象新建一個名為demo的容器，容器中是centos系統，主機名為 demo.
[root@VM_0_11_centos ~]# docker run -i -t -h demo --name demo centos/test /bin/bash
[root@demo /]# WARNING: 'UsePAM no' is not supported in Red Hat Enterprise Linux and may cause several problems.
[root@demo /]#

2.下載Hadoop安裝檔案

  • 我們要把Hadoop安裝檔案下載到/root/build目錄下,可以從官網下載,也可以從映象網站下載,我這裡使用映象網站,速度比較快.
  • 使用wget下載,首先下載wget,然後下載Hadoop安裝檔案,有幾百M要等一會
[root@demo /]# yum install -y wget
[root@demo /]# wget -P /root/build http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz
  • 下載好後進入/root/build目錄,檢視下載的檔案
[root@demo ~]# cd /root/build
[root@demo build]# ls
 hadoop-3.2.0.tar.gz
  • 解壓到/usr/local目錄下：
[root@demo build]# tar -zxvf hadoop-3.2.0.tar.gz -C /usr/local
  • 進入/usr/local目錄下後，並將hadoop-3.2.0目錄名重新命名為hadoop,並進入hadoop目錄,檢視是否安裝成功
[root@demo build]# cd
[root@demo ~]# cd /usr/local
[root@demo local]# mv hadoop-3.2.0 hadoop
[root@demo local]# cd hadoop
[root@demo hadoop]# ./bin/hadoop version
Hadoop 3.2.0
Source code repository https://github.com/apache/hadoop.git -r e97acb3bd8f3befd27418996fa5d4b50bf2e17bf
Compiled by sunilg on 2019-01-08T06:08Z
Compiled with protoc 2.5.0
From source with checksum d3f0795ed0d9dc378e2c785d3668f39
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.2.0.jar

3.配置Hadoop

  • 配置的這些檔案都在/usr/local/hadoop/etc/hadoop/目錄下.
  • 接上面.進入目錄並檢視有那些檔案.
[root@demo hadoop]# cd etc/hadoop
[root@demo hadoop]# ls
capacity-scheduler.xml      hadoop-user-functions.sh.example  kms-log4j.properties        ssl-client.xml.example
configuration.xsl           hdfs-site.xml                     kms-site.xml                ssl-server.xml.example
container-executor.cfg      httpfs-env.sh                     log4j.properties            user_ec_policies.xml.template
core-site.xml               httpfs-log4j.properties           mapred-env.cmd              workers
hadoop-env.cmd              httpfs-signature.secret           mapred-env.sh               yarn-env.cmd
hadoop-env.sh               httpfs-site.xml                   mapred-queues.xml.template  yarn-env.sh
hadoop-metrics2.properties  kms-acls.xml                      mapred-site.xml             yarn-site.xml
hadoop-policy.xml           kms-env.sh                        shellprofile.d              yarnservice-log4j.properties
  • 修改core-site.xml
[root@demo hadoop]# vi core-site.xml
<configuration>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>file:/usr/local/hadoop/tmp</value>
          <description>Abase for other temporary directories.</description>
      </property>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://master:9000</value>
      </property>
</configuration>
  • 修改hdfs-site.xml
[root@demo hadoop]# vi hdfs-site.xml
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/namenode_dir</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/datanode_dir</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>
  • 修改mapred-site.xml
[root@demo hadoop]# vi mapred-site.xml
 <configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
  </configuration>
  • 修改yarn-site.xml
[root@demo hadoop]# vi yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>
  • 修改hadoop-env.sh檔案
[root@demo hadoop]# vi hadoop-env.sh
#將export JAVA_HOME= 替換成
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.201.b09-2.el7_6.x86_64
  • 在/hadoop/sbin路徑下:
[root@demo hadoop]# cd
[root@demo ~]# cd /usr/local/hadoop/sbin
  • 修改檔案:start-dfs.sh,stop-dfs.sh兩個檔案頂部新增以下引數
[root@demo sbin]# vi start-dfs.sh
[root@demo sbin]# vi stop-dfs.sh

#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
  • 修改檔案:start-yarn.sh，stop-yarn.sh頂部也需新增以下：
[root@demo sbin]# vi start-yarn.sh
[root@demo sbin]# vi stop-yarn.sh

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
  • 修改後重啟 ./start-dfs.sh
[root@demo sbin]# ./start-dfs.sh
[root@demo sbin]# cd
[root@demo ~]#
  • 到此Hadoop配置完成,儲存映象,操作方法如前面.新開一個終端操作.
[root@VM_0_11_centos ~]# docker login
Login Succeeded
[root@VM_0_11_centos ~]# docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
200bfeb621f2        centos/test         "/bin/bash"         About an hour ago   Up 39 minutes                           demo
02cc04a2a8b4        centos              "/bin/bash"         15 hours ago        Up 15 hours                             test
[root@VM_0_11_centos ~]# docker commit 200bfeb621f2 centos/demo
sha256:79f6af53dac9eca5b02009ccdf5e453db5f4d91bef58a224c639a0589152246d
[root@VM_0_11_centos ~]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
centos/demo         latest              79f6af53dac9        10 seconds ago      1.85GB
centos/test         latest              5cfee67798a8        5 hours ago         572MB
centos              latest              1e1148e4cc2c        3 months ago        202MB

五、準備搭建Hadoop叢集

  • 上面我們已經有配置好vim,ssh,jdk,hadoop的映象了,名為centos/demo.
  • 現在檢視已經有的容器,全部刪除
[root@VM_0_11_centos ~]# docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
200bfeb621f2        centos/test         "/bin/bash"         About an hour ago   Up About an hour                        demo
02cc04a2a8b4        centos              "/bin/bash"         15 hours ago        Up 15 hours                             test

[root@VM_0_11_centos ~]# docker stop 02cc04a2a8b4 200bfeb621f2
02cc04a2a8b4
200bfeb621f2

[root@VM_0_11_centos ~]# docker rm 02cc04a2a8b4 200bfeb621f2
02cc04a2a8b4
200bfeb621f2

[root@VM_0_11_centos ~]# docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES
  • 以映象centos/demo新建容器master
[root@VM_0_11_centos ~]# docker run -it -h master  --name  master  centos/demo  /bin/bash
[root@master /]# WARNING: 'UsePAM no' is not supported in Red Hat Enterprise Linux and may cause several problems.
[root@master /]#
  • 再開啟3個新的終端分別建立worker01,worker02,worker03
[root@VM_0_11_centos ~]# docker run -it -h worker01  --name  worker01  centos/demo  /bin/bash
[root@worker01 /]# WARNING: 'UsePAM no' is not supported in Red Hat Enterprise Linux and may cause several problems.
[root@worker01 /]# 

[root@VM_0_11_centos ~]# docker run -it -h worker02  --name  worker02  centos/demo  /bin/bash
[root@worker02 /]# WARNING: 'UsePAM no' is not supported in Red Hat Enterprise Linux and may cause several problems.
[root@worker02 /]# 

[root@VM_0_11_centos ~]# docker run -it -h worker03  --name  worker03  centos/demo  /bin/bash
[root@worker03 /]# WARNING: 'UsePAM no' is not supported in Red Hat Enterprise Linux and may cause several problems.
[root@worker03 /]#
  • 分別開啟/etc/hosts可以檢視本機的ip和主機名資訊,最後得到四個ip和主機地址資訊如下:
[root@master /]# vi /etc/hosts
172.17.0.2      master
[root@worker01 /]# vi /etc/hosts
172.17.0.3      worker01
[root@worker02 /]# vi /etc/hosts
172.17.0.4      worker02
[root@worker03 /]# vi /etc/hosts
172.17.0.5      worker03
  • 最後把上述四個地址資訊分別複製到master, worker01, worker02, worker03的/etc/hosts.如下
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2      master
172.17.0.3      worker01
172.17.0.4      worker02
172.17.0.5      worker03
  • 開啟master上的workers檔案，輸入三個worker的主機名:
[root@master /]# cd /usr/local/hadoop/etc/hadoop
[root@master hadoop]# vi workers
#將localhost替換成三個worker的主機名
worker01
worker02
worker03
  • 在master終端上,進入/usr/local/hadoop,然後執行如下命令
[root@master hadoop]# cd
[root@master ~]# cd /usr/local/hadoop
[root@master hadoop]# bin/hdfs namenode -format
[root@master hadoop]# sbin/start-all.sh
  • 這時Hadoop叢集就已經開啟，我們可以在master, worker01, worker02, worker03上分別執行命令jps檢視執行結果
[root@master hadoop]# jps
576 SecondaryNameNode
289 NameNode
852 ResourceManager
1195 Jps
[root@worker01 /]# jps
67 DataNode
292 Jps
183 NodeManager
[root@worker02 /]# jps
68 DataNode
310 Jps
184 NodeManager
[root@worker03 /]# jps
68 DataNode
293 Jps
184 NodeManager
  • 問題1：
    每次關機再開機後，執行start-all.sh後，namenode並沒有啟動。出現這個問題的主要原因是hadoop的臨時檔案 預設位置為{HADOOP_HOME}/tmp目錄，該目錄在系統開機時會自動清空，儲存在裡面的namenode資訊也就丟失了。
    解決辦法：建立目錄比如{HADOOP_HOME}/hadoop.tmp,並修改core-site.xml
	 <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/hadoop.tmp</value>
        <description>Abase for other temporary directories.</description>
	</property>
  • 問題2:
    每次關機開機後,執行start-all.sh後,會顯示找不到worker01,worker02,worker03,需要重新設定/etc/hosts,新增ip地址與主機名,參考最後的步驟.

參考:
CentOS7.5 通過wget下載檔案到指定目錄
[Hadoop安裝檔案映象網站]
(http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.0/)
Attempting to operate on hdfs namenode as root
在linux伺服器上安裝jdk
centos7建立支援ssh服務的docker映象
（centos7）搭建基於docker的hadoop叢集：一
（centos7）搭建基於docker的hadoop叢集：二
docker-image container 基本操作 -常用命令
hadoop搭建四個配置檔案(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的簡單介紹
hadoop配置檔案詳解系列（一）-core-site.xml篇
《hadoop學習》關於hdfs中的core-site.xml,hdfs-site.xml,mapred-site.xml檔案配置詳解

相關文章