hadoop 單機版部署步驟

mx739150發表於2013-12-13
Hadoop
第一步：配置機器ip和網路環境,關閉防火牆,啟動ssh服務 ，修改 /etc/hosts
使用setup命令
Firewall configuration    disabled 
System services           ssh    退出setup   執行命令：/sbin/service sshd start
修改/etc/hosts : vi /etc/hosts  新增 192.168.128.135(虛擬機器IP) master
第二步：安裝jdk，設定環境變數
jdk版本：jdk-7u21-linux-i586.tar.gz
安裝jdk:  tar -zxvf  jdk-7u21-linux-i586.tar.gz
設定環境變數：vi /etc/profile
新增：export JAVA_HOME=/home/ocdc/app/jdk (jdk安裝路徑)
         export HADOOP_HOME=/home/ocdc/app/hadoop-1.0.3
         export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
手動使環境變數生效： source /etc/profile
測試： jps
第三步：生成免密匙登陸
輸入命令：ssh-keygen
             cd .ssh
             cat id_rsa.pub > authorized_keys 
             chmod go-wx  authorized_keys
第四步:  安裝hadoop並設定環境變數
hadoop版本:hadoop-1.0.3.tar.gz
安裝hadoop：tar -zxvf hadoop-1.0.3.tar.gz
1.HDFS NameNode,DataNode組建配置  -----&gtcore-site.xml

 
    fs.default.name
hdfs://master:9000
<!--hadoop namenode 伺服器地址和埠，以域名形式--&gt
 

    fs.checkpoint.dir
    /home/hadoop/hdfs
    <!--hadoop secondary 資料儲存路徑,可以配置成多個目錄,用,號分隔。--&gt
 

2.HDFS NameNode,DataNode組建配置 --------&gthdfs-site.xml


    dfs.name.dir
/home/hadoop/hdfs/name
     
 
 
    dfs.data.dir
/home/hadoop/hdfs/data
<!-- HDFS資料檔案 儲存路徑,可以配置多個不同的分割槽和磁碟中,使用,號分隔--&gt
   
 

  dfs.http.address
master:50070
<!---HDFS Web檢視主機和埠--&gt
 
 
    dfs.secondary.http.address
master:50090
<!--輔控HDFS web檢視主機和埠--&gt
 

3.MapReduce JobTracker TaskTracker 啟動配置  --------&gtmapred-site.xml


    mapred.job.tracker
master:9001
<!--JobTracker rpc主機和埠--&gt
 

    mapred.local.dir
/home/hadoop/mapred
<!--MapReduce 產生的中間檔案資料,按照磁碟可以配置--&gt
    true
   

    mapred.system.dir
    /home/hadoop/mapred/mrsystem
true
<!-- MapReduce的系統控制檔案--&gt
   

第五步：hadoop單機系統啟動執行和異常檢查
格式化檔案namenode
/home/ocdc/app/hadoop/bin/hadoop namenode -format
啟動hadoop服務
/home/ocdc/app/hadoop/bin/start-all.sh
停止，命令相同，將start換為stop
出現錯誤可檢視日誌
 tail -f /home/ocdc/app/hadoop/logs/*
第六步:檢查是否部署啟動成功
#檢查 namenode 和 datanode 是否正常  http://master:50070/ 
#檢查 jobtracker 和 tasktracker 是否正常 http://master:50030/
#檢查 hdfs 是否正常

hadoop fs -ls /

hadoop fs -mkdir /data/

hadoop fs -put xxx.log /data/

#檢查 mapreduce 是否正常

hadoop jar hadoop-examples-1.0.3.jar pi 100 100




























來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/26834311/viewspace-1063268/，如需轉載，請註明出處，否則將追究法律責任。

相關文章