hadoop單機安裝配置及測試通過

單機hadoop安裝配置及測試通過，下面我把步驟一一寫出來
一、實驗環境
1.安裝環境簡介
物理筆記本：i5 2.27GHz (4 CPU) 4G記憶體 320GB硬碟 32位win7 作業系統
虛擬機器： VMware Player
虛擬機器安裝配置URL：http://ideapad.it168.com/thread-2088751-1-1.html 不會配置的朋友請見
包括（vm tools linux與windows 共享檔案 配置）
Linux ISO：SLES-11-SP2-DVD.iso 64位
Hadoop software version：hadoop-1.1.1.tar.gz
java  jdk-7u9-linux-x64.rpm
root密碼：rootroot
系統版本：
Suse Linux 11 SP2
二、JAVA環境安裝
1.首先你需要從oracle官網下載到java的資源包
  本例使用的是jdk-7u9-linux-x64.rpm 
2.把資源包上傳到虛擬機器,進入相關目錄
  使用root使用者執行安裝命令進行安裝
  rpm -ivh jdk-7u9-linux-x64.rpm
  cd命令進行/usr/java/ 執行 ln -s jdk1.7.0_09 java
  cd命令進入/etc目錄vim profile即執行編輯profile檔案命令
  在umask 022前新增如下內容: 環境變數
  export JAVA_HOME=/usr/java/java
  export JRE_HOME=$JAVA_HOME/jre
  export PATH=$PATH:$JAVA_HOME/bin
  export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
  source profile 載入環境變數使之生效
三、hadoop的安裝配置
1、首先你需要從阿帕奇官網給出的連結下載到資源包：
   http://www.apache.org/dyn/closer.cgi/hadoop/common/
   
2、將下載的hadoop-1.1.1.tar.gz包上傳到/home/Software
  [linux-hd1:/home/Software]$ tar -zxvf hadoop-1.1.1.tar.gz
  [linux-hd1:/home/Software]$ mv hadoop-1.1.1 /usr
  [linux-hd1:/usr]$ln -s hadoop hadoop-1.1.1
3、修改/usr/hadoop/conf/hadoop-env.sh檔案
  新增export JAVA_HOME=/usr/java/java 環境變數
4、修改 /usr/hadoop/conf/目錄下的配置檔案
  core-site.xml 、hdfs-site.xml和mapred-site.xml
 1)編輯 core-site.xml 在 之間增加
 
 fs.default.name
 hdfs://localhost:9000
 
 
 hadoop.tmp.dir
 /tmp/hadoop/hadoop-${user.name}
 
 2)編輯hdfs-site.xml 在 之間增加
 
 dfs.replication
 1
 
 3)編輯mapred-site.xml 在 之間增加
 
 mapred.job.tracker
 localhost:9001
 
 
5、免密碼ssh設定 --不然每啟動一次就需要輸入一次密碼
現在確認能否不輸入口令就用ssh登入localhost:
# ssh localhost
如果不輸入口令就無法用ssh登陸localhost，執行下面的命令：
# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

6.格式化分散式檔案系統
[linux-hd1:/home/hadoop/bin]$ ./hadoop namenode -format
格式化名稱節點：建立一系列結構，存放HDFS後設資料
7.啟動Hadoop 【只在h1上操作就可以】
命令：bin/start-all.sh
[linux-hd1:/usr/hadoop/bin #] ./start-all.sh
starting namenode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-namenode-linux-hd1.out
localhost: starting datanode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-datanode-linux-hd1.out
localhost: starting secondarynamenode, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-secondarynamenode-linux-hd1.out
starting jobtracker, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-jobtracker-linux-hd1.out
localhost: starting tasktracker, logging to /usr/hadoop-1.1.1/libexec/../logs/hadoop-root-tasktracker-linux-hd1.out
8.檢測守護程式啟動情況
[linux-hd1:/usr/hadoop/bin #]jps 檢視master後臺java程式，統計和執行這個就可以檢視了

10865 JobTracker   作業跟蹤器程式 10865是程式號
10648 DataNode     資料節點程式 10648是程式號
10517 NameNode     名稱節點程式 10517是程式號
11131 Jps
10778 SecondaryNameNode 輔助名稱節點程式 10778是程式號
10999 TaskTracker  任務跟蹤器程式 10999是程式號

如果NameNode沒有成功啟動的話就要先執行"bin/stop-all.sh"停掉所有東西，然後重新格式化namenode

9.Hadoop測試
（1）建立一個文字1.txt
  [linux-hd1:/usr/hadoop/bin #] vim 1.txt
（2）文字內容是I Love You Hadoop
  [linux-hd1:/usr/hadoop/bin #] cat 1.txt
   Hello Word
（3）在HDFS檔案系統上建立一個目錄leo
 [linux-hd1:/usr/hadoop/bin #] ./hadoop fs -mkdir /test
（4）複製檔案1.txt到leo目錄
  [linux-hd1:/usr/hadoop/bin #] ./hadoop fs -copyFromLocal 1.txt /test
（5）顯示HDSF檔案系統目錄下的內容
  [linux-hd1:/usr/hadoop/bin #] ./hadoop fs -ls /test
   Found 1 items
   -rw-r--r-- 2 grid supergroup 0 2012-09-02 21:08 /test/1.txt
（6）檢視在HDFS檔案系統上1.txt內容
  [linux-hd1:/usr/hadoop/bin #] ./hadoop fs -cat /test/1.txt
  Hello Word

 

測試完成