大資料叢集搭建（1）ubuntu、jdk、ssh搭建配置

BY@QEL發表於2019-03-21
大資料UbuntuJDK

 

今天一直在想這麼快速搭建叢集，因為之後叢集會有很多slave，不可能一個個的安裝吧，然後腦袋抽了，看來docker，個人感覺docker相當於是小型的虛擬機器，可以提取出想要的環境，便於測試吧，但是一般是一個linux裡邊幾個docker，應該和叢集還不一樣，如果用docker的話相當於linux的虛擬機器吧。然後突然又想起來可以從master直接傳過去到slave啊。。。。。。

算是搭了兩次叢集吧，第一次對於大資料平臺還是很模糊，感覺工具好多，要學的好多，但是我並沒有搞清需求，一直在看各種軟體，以至於還得重新弄，第二次卡在centosSSH配置了，真的是沒辦法啊。。。現在又開始了搭建叢集，一定要把所有的步驟都記下來~

推薦廈大林子雨實驗室網站進行安裝參考，林子雨老師關於大資料的慕課也很好，特別適合入門！

1.VM安裝Ubuntu14.04，第一個安裝為maste，第二個用克隆作為slave1(之後的slave可以克隆這個，改一些配置即可)

2.使用者登入後，我們先更新一下 apt，後續我們使用 apt 安裝軟體，如果沒更新可能有一些軟體安裝不了。按 ctrl+alt+t 開啟終端視窗，執行如下命令

sudo apt-get update

3.安裝vim，編輯方便，gedit也可以

sudo apt-get install vim

4.安裝SSH、配置SSH無密碼登陸

叢集、單節點模式都需要用到 SSH 登陸（類似於遠端登陸，你可以登入某臺 Linux 主機，並且在上面執行命令），Ubuntu 預設已安裝了 SSH client，此外還需要安裝 SSH server：(我的centos不能配置成功ssh應該就是忘記了server)

sudo apt-get install openssh-server
ssh localhost

首先退出exit剛才的  ssh，就回到了我們原先的終端視窗，然後利用 ssh-keygen 生成金鑰，並將金鑰加入到授權中：

 

exit                           # 退出剛才的 ssh localhost
cd ~/.ssh/                     # 若沒有該目錄，請先執行一次ssh localhost
ssh-keygen -t rsa              # 會有提示，都按回車就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授權

此時再用 

ssh localhost

 命令，無需輸入密碼就可以直接登陸了

 

5.安裝jdk

下載jdk-8u131-linux-x64.tar.gz安裝包，然後檢測自己的系統中有沒有java環境

rpm -qa | grep java
yum remove java-1.*    #移除java版本
sudo mkdir /usr/BigData     #建立資料夾，之後所有關於大資料平臺都放在這裡
sudo mkdir /usr/BigData/jdk
#將下載好的jdk放在桌面

cd ~/Desktop
sudo tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/BigData/jdk  #安裝jdk

安裝時一定要sudo
修改環境變數，關於環境變數

我們修改.bashrc,因為每次登陸shell它都會更新

sudo gedit ~/.bashrc
#將以下部分加入到首行
JAVA_HOME=/usr/BigData/jdk/jdk1.8.0_131
CLASSPATH=.:./bin
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
#儲存並關閉檔案後
source ~/.bashrc#使生效
echo $JAVA_HOME     # 檢驗變數值
$JAVA_HOME/bin/java -version  # 與直接執行 java -version 一樣

當出現以下即為成功！

java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)

 

參考網站http://dblab.xmu.edu.cn/blog/install-hadoop/

相關文章