hadoop叢集環境搭建

weixin_34219944發表於2013-06-23

1 hadoop叢集規劃

    1.1 共有A、B、C 三臺機器;

    1.2 A 作為master,B作為slave1,C作為slave2;

    1.3 IP  A :192.168.1.103;B:192.168.1.104;C:192.168.1.101;

    1.4 OS:centos6.2(64bit)


2 hadoop叢集搭建步驟

    2.1 建立 hadoop使用者,並使該使用者擁有root許可權(在master機器上進行)

           #建立hadoop使用者

              useradd hadoop

           #給使用者hadoop新增密碼

              passwd hadoop

           #付給hadoop使用者root許可權

              vi /etc/passwd  將hadoop使用者的使用者ID 、組ID 都改為0,如hadoop:x:0:0::/home/hadoop:/bin/bash(記得先切換到root使用者哦,其他使用者估計對該檔案沒有許可權)

    2.2 切換到hadoop使用者,進入hadoop使用者主目錄(在master機器上進行)

           #切換到hadoop使用者

               su hadoop

               根據提示輸入密碼(如果從普通使用者切換到hadoop,需要密碼;如果從root使用者切換到hadoop,不許要輸入密碼,也就沒有這一步了)

          #進入hadoop的主目錄

              cd /home/hadoop

    2.3  安裝JDK環境(hadoop是JAVA編寫的一個工具,需要使用JDK)(在master機器上進行)

             yum install openjdk*(yum 是centos上的一個安裝軟體的工具,可以查詢軟體、刪除軟體、更新軟體等)

    2.4 安裝openssh(hadoop節點間通訊需要使用到它,並且相對ssh而言,這個是免費的)(在master機器上進行)

            #安裝openssh

                yum install openssh*

            #生存ssh金鑰

               ssh-keygen -t rsa -P ''

            #進入.ssh資料夾

               cd /root/.ssh

            #將公鑰加到認證的公鑰檔案中

               cat id_rsa.pub>>authorized_keys

              

    2.5 下載hadoop安裝包並進行相應的配置(在master機器上進行)

            #下載hadoop-1.0.4.tar.gz

            #解壓hadoop-1.0.4.tar.gz到/home/hadoop

            #hadoop-1.0.4資料夾中的conf資料夾中是我們需要配置的檔案(詳情見地址)

            http://download.csdn.net/detail/lovemelovemycode/5634581  

    2.6 配置hosts和hostname(在master上進行)

          #下載這個檔案

             http://download.csdn.net/detail/lovemelovemycode/5634599

    2.7  在slave1和slave2上重複2.1、2.2、2.3的步驟


    2.8 將master上相應的檔案copy到slave1\slave2上(在master上進行)

            scp -r .ssh hadoop@slave1:/root

            scp -r .ssh hadoop@slave2:/root

            scp -r /home/hadoop/hadoop-1.0.4 hadoop@slave1:/home/hadoop

            scp -r /home/hadoop/hadoop-1.0.4 hadoop@slave2:/home/hadoop

            scp -r /etc/hosts hadoop@slave1:/etc

            scp -r /etc/hostname hadoop@slave2:/etc

           

    2.9 關閉 master、slave1、slave2的防火牆

            #暫時關閉防火牆

                /etc/init.d/iptables stop

            #永久關閉防火牆

                 chkconfig –level 35 iptables off

    2.10  對namenode\datanode進行格式化(在master上進行)

              bin/hadoop namenode -format

              bin/hadoop datanode -format

    2.11 啟動hadoop(在master上進行)

              # 進入hadoop-1.0.4

                  bin/start-all.sh

3 hadoop叢集搭建成功的驗證方法

   3.1 通過java 的jps命令驗證

           http://download.csdn.net/detail/lovemelovemycode/5634649

   3.2 通過http://master:50070    和http://master:50030驗證

 

相關文章