hadoop 單機版部署步驟
第一步:配置機器ip和網路環境,關閉防火牆,啟動ssh服務 ,修改 /etc/hosts
使用setup命令
Firewall configuration disabled
System services ssh 退出setup 執行命令:/sbin/service sshd start
修改/etc/hosts : vi /etc/hosts 新增 192.168.128.135(虛擬機器IP) master
第二步:安裝jdk,設定環境變數
jdk版本:jdk-7u21-linux-i586.tar.gz
安裝jdk: tar -zxvf jdk-7u21-linux-i586.tar.gz
設定環境變數:vi /etc/profile
新增:export JAVA_HOME=/home/ocdc/app/jdk (jdk安裝路徑)
export HADOOP_HOME=/home/ocdc/app/hadoop-1.0.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
手動使環境變數生效: source /etc/profile
測試: jps
第三步:生成免密匙登陸
輸入命令:ssh-keygen
cd .ssh
cat id_rsa.pub > authorized_keys
chmod go-wx authorized_keys
第四步: 安裝hadoop並設定環境變數
hadoop版本:hadoop-1.0.3.tar.gz
安裝hadoop:tar -zxvf hadoop-1.0.3.tar.gz
1.HDFS NameNode,DataNode組建配置 ----->core-site.xml
fs.default.name
hdfs://master:9000
<!--hadoop namenode 伺服器地址和埠,以域名形式-->
fs.checkpoint.dir
/home/hadoop/hdfs
<!--hadoop secondary 資料儲存路徑,可以配置成多個目錄,用,號分隔。-->
2.HDFS NameNode,DataNode組建配置 -------->hdfs-site.xml
dfs.name.dir
/home/hadoop/hdfs/name
dfs.data.dir
/home/hadoop/hdfs/data
<!-- HDFS資料檔案 儲存路徑,可以配置多個不同的分割槽和磁碟中,使用,號分隔-->
dfs.http.address
master:50070
<!---HDFS Web檢視主機和埠-->
dfs.secondary.http.address
master:50090
<!--輔控HDFS web檢視主機和埠-->
3.MapReduce JobTracker TaskTracker 啟動配置 -------->mapred-site.xml
mapred.job.tracker
master:9001
<!--JobTracker rpc主機和埠-->
mapred.local.dir
/home/hadoop/mapred
<!--MapReduce 產生的中間檔案資料,按照磁碟可以配置-->
true
mapred.system.dir
/home/hadoop/mapred/mrsystem
true
<!-- MapReduce的系統控制檔案-->
第五步:hadoop單機系統啟動執行和異常檢查
格式化檔案namenode
/home/ocdc/app/hadoop/bin/hadoop namenode -format
啟動hadoop服務
/home/ocdc/app/hadoop/bin/start-all.sh
停止,命令相同,將start換為stop
出現錯誤可檢視日誌
tail -f /home/ocdc/app/hadoop/logs/*
第六步:檢查是否部署啟動成功
#檢查 namenode 和 datanode 是否正常 http://master:50070/
#檢查 jobtracker 和 tasktracker 是否正常 http://master:50030/
#檢查 hdfs 是否正常
使用setup命令
Firewall configuration disabled
System services ssh 退出setup 執行命令:/sbin/service sshd start
修改/etc/hosts : vi /etc/hosts 新增 192.168.128.135(虛擬機器IP) master
第二步:安裝jdk,設定環境變數
jdk版本:jdk-7u21-linux-i586.tar.gz
安裝jdk: tar -zxvf jdk-7u21-linux-i586.tar.gz
設定環境變數:vi /etc/profile
新增:export JAVA_HOME=/home/ocdc/app/jdk (jdk安裝路徑)
export HADOOP_HOME=/home/ocdc/app/hadoop-1.0.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
手動使環境變數生效: source /etc/profile
測試: jps
第三步:生成免密匙登陸
輸入命令:ssh-keygen
cd .ssh
cat id_rsa.pub > authorized_keys
chmod go-wx authorized_keys
第四步: 安裝hadoop並設定環境變數
hadoop版本:hadoop-1.0.3.tar.gz
安裝hadoop:tar -zxvf hadoop-1.0.3.tar.gz
1.HDFS NameNode,DataNode組建配置 ----->core-site.xml
<!--hadoop namenode 伺服器地址和埠,以域名形式-->
<!--hadoop secondary 資料儲存路徑,可以配置成多個目錄,用,號分隔。-->
2.HDFS NameNode,DataNode組建配置 -------->hdfs-site.xml
<!-- HDFS資料檔案 儲存路徑,可以配置多個不同的分割槽和磁碟中,使用,號分隔-->
<!---HDFS Web檢視主機和埠-->
<!--輔控HDFS web檢視主機和埠-->
3.MapReduce JobTracker TaskTracker 啟動配置 -------->mapred-site.xml
<!--JobTracker rpc主機和埠-->
<!--MapReduce 產生的中間檔案資料,按照磁碟可以配置-->
<!-- MapReduce的系統控制檔案-->
第五步:hadoop單機系統啟動執行和異常檢查
格式化檔案namenode
/home/ocdc/app/hadoop/bin/hadoop namenode -format
啟動hadoop服務
/home/ocdc/app/hadoop/bin/start-all.sh
停止,命令相同,將start換為stop
出現錯誤可檢視日誌
tail -f /home/ocdc/app/hadoop/logs/*
第六步:檢查是否部署啟動成功
#檢查 namenode 和 datanode 是否正常 http://master:50070/
#檢查 jobtracker 和 tasktracker 是否正常 http://master:50030/
#檢查 hdfs 是否正常
hadoop fs -ls /
hadoop fs -mkdir /data/
hadoop fs -put xxx.log /data/
#檢查 mapreduce 是否正常
hadoop jar hadoop-examples-1.0.3.jar pi 100 100
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/26834311/viewspace-1063268/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- CentOs Solr6.2.1單機安裝部署步驟CentOSSolr
- 部署MySQL步驟MySql
- 完全分散式Hadoop叢集的安裝部署步驟分散式Hadoop
- hadoop的Linux下簡單安裝步驟HadoopLinux
- Linux平臺HBase單機版安裝和配置步驟Linux
- Hadoop單機版安裝Hadoop
- zookeeper 單機版 docker部署Docker
- zookeeper安裝部署步驟
- Hadoop單機版的安裝Hadoop
- MHA安裝和部署步驟
- Tuxedo 應用的部署步驟UX
- 1.單機部署hadoop測試環境Hadoop
- 在Ubuntu上安裝Hadoop單機版UbuntuHadoop
- 開發和部署SOE的步驟
- Mongoose簡單使用步驟Go
- 解析企業部署SOA四步驟
- CDH impala for Apache HADOOP 安裝編譯步驟.ApacheHadoop編譯
- RAC DATABASE關機步驟Database
- 簡單oracle安裝步驟Oracle
- Nsca安裝簡單步驟
- redhat 部署多套tomcat環境步驟RedhatTomcat
- hadoop的一些知識點 配置步驟Hadoop
- Ubuntu上搭建Hadoop叢集環境的步驟UbuntuHadoop
- Hadoop 2.5.2版本安裝部署Hadoop
- 12.1.0.2 單機 升級 19.16 RAC步驟詳解
- BAPI的簡單實現步驟API
- CentOS7使用HBase-1.2.6單機版,無hadoopCentOSHadoop
- 單機版搭建Hadoop環境圖文教程詳解Hadoop
- Hadoop單步debug追原始碼Hadoop原始碼
- kubernetes-部署Oracle資料庫步驟Oracle資料庫
- 三個步驟,從零開始快速部署LoRaServerServer
- doris編譯和安裝部署詳細步驟編譯
- 大資料(Hadoop)元件安裝 Linux環境準備 步驟簡單 詳細大資料Hadoop元件Linux
- hadoop偽分散式叢集的安裝(不是單機版)Hadoop分散式
- git上傳github簡單操作步驟Github
- 管家婆簡單安裝步驟
- BAPI的簡單實現步驟(轉)API
- Linux環境下MySQL安裝部署操作步驟LinuxMySql