3.1安裝JDK
java --version 檢視java版本,出現下面資訊代表未安裝。
輸入命令 sudo apt-get update 更新軟體包資訊。
sudo apt-get install defult-jdk 下載jdk,出現提示按y。
再次檢視jdk版本。
輸入update-alternatives --display java 檢視java安裝路徑。
3.2設定SSH無密碼登入
輸入命令 sudo apt-get install ssh 下載ssh
輸入 sudo apt-get install rsync 安裝rsync
輸入ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 產生金鑰
檢視產生的ssh
輸入 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 把產生的Key放到許可證檔案中
3.3下載安裝Hadoop
wget https://archive.apache.org/dist/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz
下載慢換映象https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz
輸入sudo tar -zxvf hadoop-3.2.4.tar.gz 解壓
輸入 sudo mv hadoop-3.2.4 /usr/local/hadoop 把hadoop移動到/usr/local下
3.4設定Hadoop環境變數
sudo gedit ~/.bashrc 設定環境變數
設定JDK安裝路徑
export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
設定PATH
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
設定HADOOP其他環境變數
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
連結庫相關設定
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
source ~/.bashrc 讓設定生效
3.5修改Hadoop配置檔案
編輯Hadoop-env.sh
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
把原來註釋掉的JAVA_HOME修改為:export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
設定core-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
編輯YARN-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml
<property> <name>yarn.nodemanager.aux.services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux.services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>
設定mapred-site.xml
sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml /usr/local/hadoop/mapred-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
編輯hdfs-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> </configuration>
3.6建立並格式化HDFS目錄
建立namenode資料儲存目錄 : sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
建立datanode資料儲存目錄 : sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
把Hadoop目錄的所有者更改為hdusr: sudo chown hduser:hduser -R /usr/local/hadoop
將HDFS格式化:hadoop namenode -format,出現提示按 y。
3.7啟動Hadoop
啟動HDFS: start-dfs.sh
啟動Hadoop MapReduce 框架Yarn: start-yarn.sh
同時啟動HDFS,Yarn: start-all.sh
使用jps檢視已經啟動的程序
3.8開啟Hadoop Recource-Manager Web介面
開啟瀏覽器,在網站欄輸入:http://localhost:8088/
點選nodes會顯示當前節點。
3.9 NameNode HDFS Web 介面
開啟瀏覽器,在網站欄輸入:http://localhost:9870/
檢視live node 發現有一個節點啟動。
點選datanodes, 顯示當前啟動datanode。