從0開始學習Hadoop（2）安裝JDK以及設定SSH

vinnie發表於2017-03-06
HadoopJDK
  • 安裝JDK

使用ppa/源方式安裝

1.新增ppa

sudo add-apt-repository ppa:webupd8team/java

sudo apt-get update

2.安裝oracle-java-installer

　jdk7

sudo apt-get install oracle-java7-installer

　jdk8

sudo apt-get install oracle-java8-installer

修改環境變數
c檢視JDK安裝位置
 update-alternatives - -config java 
cd /
cd /etc
suto gedit prifile

#JAVA VARIABLES
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JRE_HOME=$JAVA_HOME/jre 
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar 
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP VARIABLES 

#export HADOOP_INSTALL=/usr/local/hadoop
#export PATH=$PATH:$HADOOP_INSTALL/bin
#export PATH=$PATH:$HADOOP_INSTALL/sbin
#export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
#export HADOOP_COMMON_HOME=$HADOOP_INSTALL
#export HADOOP_HDFS_HOME=$HADOOP_INSTALL
#export YARN_HOME=$HADOOP_INSTALL
#export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
#export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

  • 建立hadoop使用者組

 


 

 

    建立hadoop使用者

    sudo addgroup hadoop

    sudo adduser -ingroup hadoop hadoop

    回車後會提示輸入新的UNIX密碼，這是新建使用者hadoop的密碼，輸入回車即可。

    如果不輸入密碼，回車後會重新提示輸入密碼，即密碼不能為空。

    最後確認資訊是否正確，如果沒問題，輸入 Y，回車即可。

    為hadoop使用者新增許可權

 

     輸入：sudo gedit /etc/sudoers

     回車，開啟sudoers檔案

     給hadoop使用者賦予和root使用者同樣的許可權

 

 

 

切換賬號
su hadoop


  • 設定 HOST
SUDO gedit /etc/hosts
 
#ADD 這裡IP地址重啟VB之後有可能變化，需要重新檢視橋接網路卡IP，在設定
192.168.56.101 master
192.168.56.102 node1
192.168.56.103 node2

 



驗證
ping master 
ping node1
ping node2
 
 
  • 設定SSH
1)生產公私祕鑰
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
 

 

2)複製公私祕鑰KEY 
cd /.ssh
cat id_dsa.pub >> autohrized_keys
 

 

 
 
3)單機會還SSH免密碼登入測試
 
ssh localhost

 

 
發現問題，連結拒絕，懷疑是防火牆問題或者SSH安裝問題。
解決：
#關閉防火牆
service iptables stop
#檢視防火牆狀態
service iptables status
安裝ssh
sudo
apt-get install openssh-server

 

 
 
4)     讓主結點(master)能通過SSH免密碼登入兩個子結點（slave）
操作：node1 node2
cd .ssh/
scp hadoop@master:/home/hadoop/.ssh/id_dsa.pub ./master_das.pub
5)
複製aster.dsa-pub到認證KEY檔案
cat id_dsa.pub >> autohrized_keys
 
驗證登入 
操作：master
ssh node1  
ssh node2
免密碼登入即可
 
#回收許可權，防止成為肉雞
chmod 600 authorized_keys
 
 
以上，環境配置成功：
參考文件：

相關文章