學習一：hadoop 1.0.1叢集安裝

用vmware搭建三臺Linux虛擬機器，具體步驟如下：

1、hadoop下載地址：http://www.apache.org/dyn/closer.cgi/hadoop/core/

2、下載java6軟體包，分別在三臺安裝

3、三臺虛擬機器，一臺作為master，另外兩臺作為slave，分別配置/etc/hosts

    172.16.130.136   masternode
    172.16.130.137  slavenode1
    172.16.130.138  slavenode2

4、在三臺主機/etc/profile設定環境變數

export JAVA_HOME=/usr/java/jdk1.6.0_13
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export HADOOP_HOME=/home/hduser/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

5、在三臺機器上建立hadoop使用者和組
    groupadd hadoop
    useradd -g hadoop hduser

6、在masternode節點建立SSH安全認證
 $ ssh-keygen -t rsa -P ""
 $cd .ssh
 $ cat id_rsa.pub>>authorized_keys
 $ssh masternode
 $ssh slavenode1
 $ssh slavenode2
將授權的檔案分別拷貝到slavenode1和slavenode2，檢查ssh登陸主機是否需要密碼。

7、上傳hadoop軟體包到hadoop使用者目錄下解壓
  tar xvf hadoop*.gz
 
8、新增$HADOOP_HOME/conf/hadoop-env.sh
   export JAVA_HOME=/usr/java/jdk1.6.0_13

9、編輯$HADOOP_HOME/conf/core-site.xml

 
   hadoop.tmp.dir
   /home/hduser/hadoop/tmp
   .
 
 
   fs.default.name
   hdfs://masternode:54310
  
 


10、編輯$HADOOP_HOME/conf/mapred-site.xml


  mapred.job.tracker
  masternode:54311
  . 
 


11、編輯$HADOOP_HOME/conf/hdfs-site.xml


  dfs.replication
  3
  .



12、編輯$HADOOP_HOME/conf/masters
 masternode

13、編輯$HADOOP_HOME/conf/slaves
slavenode1
slavenode2

14、在所有機器上建立/home/hduser/hadoop/tmp

15、拷貝masternode上$HADOOP_HOME檔案拷貝到各個節點上

16、在masternode進行格式化
 hadoop -namenode -format

17、啟動
  start-all.sh
  jps命令檢視

18、訪問masternode http://172.16.130.136:50030
         訪問slavenode http://172.16.130.137:50060

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/354732/viewspace-719180/，如需轉載，請註明出處，否則將追究法律責任。