一、Hadoop2.6.0 單機模式配置

Thinkgamer_gyt發表於2015-06-18
Hadoop模式

一、在Ubuntu下建立hadoop組和hadoop使用者

    增加hadoop使用者組，同時在該組裡增加hadoop使用者，後續在涉及到hadoop操作時，我們使用該使用者。

 

1、建立hadoop使用者組

 

        

 

 

 

    2、建立hadoop使用者

    

    sudo adduser -ingroup hadoop hadoop

    回車後會提示輸入新的UNIX密碼，這是新建使用者hadoop的密碼，輸入回車即可。

    如果不輸入密碼，回車後會重新提示輸入密碼，即密碼不能為空。

    最後確認資訊是否正確，如果沒問題，輸入 Y，回車即可。

    

 

 

 

 

 

 

 

 

 

 

 

 

    3、為hadoop使用者新增許可權

 

  

     輸入：sudo gedit /etc/sudoers

     回車，開啟sudoers檔案

     給hadoop使用者賦予和root使用者同樣的許可權

 

 























二、用新增加的hadoop使用者登入Ubuntu系統

 

三、安裝ssh

sudo apt-get install openssh-server

 

 

 

 

 

 

 

 

 

 

 

 





安裝完成後，啟動服務

sudo /etc/init.d/ssh start

 

檢視服務是否正確啟動：ps -e | grep ssh

 

 

 

 

 

 


設定免密碼登入，生成私鑰和公鑰

ssh-keygen -t rsa -P ""

 

 

 

 

 

 

 

 

 

 

 

 

 






此時會在／home／hadoop/.ssh下生成兩個檔案：id_rsa和id_rsa.pub，前者為私鑰，後者為公鑰。

下面我們將公鑰追加到authorized_keys中，它使用者儲存所有允許以當前使用者身份登入到ssh客戶端使用者的公鑰內容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

 

 

 

登入ssh

ssh localhost

 

 

 

 

 

 

 

 

 

 

      




退出

exit

 

四、安裝Java環境

sudo apt-get install openjdk-7-jdk

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 









檢視安裝結果，輸入命令：java -version，結果如下表示安裝成功。

 

 

 

 

五、安裝hadoop2.4.0

    1、官網下載http://mirror.bit.edu.cn/apache/hadoop/common/

 

    2、安裝

 

        解壓

        sudo tar xzf hadoop-2.4.0.tar.gz        

        假如我們要把hadoop安裝到/usr/local下

        拷貝到/usr/local/下，資料夾為hadoop

        sudo mv hadoop-2.4.0 /usr/local/hadoop        

        

 

賦予使用者對該資料夾的讀寫許可權

        sudo chmod 774 /usr/local/hadoop

    

 

3、配置

      

        1）配置~/.bashrc

        

配置該檔案前需要知道Java的安裝路徑，用來設定JAVA_HOME環境變數，可以使用下面命令列檢視安裝路徑

        update-alternatives - -config java

        執行結果如下：

        

    

 

 

 

完整的路徑為

    /usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

    我們只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

    配置.bashrc檔案

    sudo gedit ~/.bashrc

    

    該命令會開啟該檔案的編輯視窗，在檔案末尾追加下面內容，然後儲存，關閉編輯視窗。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

 

 

最終結果如下圖：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 







執行下面命，使新增的環境變數生效：

                source ~/.bashrc

2）編輯/usr/local/hadoop/etc/hadoop/hadoop-env.sh

 

        執行下面命令，開啟該檔案的編輯視窗

        sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME變數，修改此變數如下

        export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64    

        修改hadoop-env.sh檔案

六、WordCount測試

 

單機模式安裝完成，下面通過執行hadoop自帶例項WordCount驗證是否安裝成功：

    在/usr/local/hadoop路徑下建立input資料夾：   

mkdir input

  (或 sudo mkdir /usr/local/hadoop/input)

    拷貝README.txt到input：   

cp README.txt input

    執行WordCount：

    bin/hadoop jarshare/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jarorg.apache.hadoop.examples.WordCount input output

執行 cat output/*，檢視字元統計結果

至此，單機模式安裝成功！


hadoop偽分佈部署參考：點選開啟連結

hadoop完全分散式部署參考：點選開啟連結


相關文章