hadoop3.1.0 HDFS快速搭建偽分散式環境

eat.u發表於2018-04-26
Hadoop分散式

 

1.環境準備

  1. CenntOS7環境
  2. JDK1.8-並配置好環境變數
  3. 下載Hadoop3.1.0二進位制包到使用者目錄下

2.安裝Hadoop

1.解壓移動

#1.解壓tar.gz
tar -zxvf hadoop-3.1.0.tar.gz
#2.將hadoop.tar.gz 移動到usr目錄下
sudo mv hadoop-3.1.0 /usr/hadoop

2.配置Hadoop JAVA_HOME

vim /usr/hadoop/etc/hadoop/hadoop-env.sh

#設定JAVA_HOME
export JAVA_HOME=/usr/java/xxx

3.配置Hadoop環境變數

vim /etc/profile

#設定Hadoop環境變數
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

#使用 hadoop 指令檢測是否配置成功

4.修改etc/hadoop/core-site.xml

vim /usr/hadoop/etc/hadoop/core-site.xml

#設定configuration
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

5.修改etc/hadoop/hdfs-site.xml

vim /usr/hadoop/etc/hadoop/hdfs-site.xml

#設定configuration
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

6.檢測localhost是否可以免密登入

ssh localhost

#如果不可以設定後再測試
ssh-keygen -t rsa -P `` -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

7.格式化NameNode

hdfs namenode -format

8.啟動

/usr/hadoop/sbin/start-dfs.sh

9.檢查是否啟動成功

#輸入命令jps檢視

#返回
30403 DataNode
3043 Jps
30665 SecondaryNameNode
30301 NameNode
#成功

3.結束：使用一些hadoop命令試試成果

#檢視根目錄
hdfs dfs -ls /

#建立一個test資料夾
hdfs dfs -mkdir /test

#上傳一個檔案
hdfs dfs -copyFromLocal ko.txt /test

#檢視上傳檔案
hdfs dfs -cat /test/ko.txt

#下載檔案到本地
hdfs dfs -copyToLocal /test/ko.txt tiger.txt

相關文章