hdp2.4是hortonworks最新推出的100%開源的hadoop發行版本,其中包含了最新的spark 1.6,衝著這點,使用離線方式安裝最新的2.4版本。
1. 主要點
- 假設伺服器無網路環境,或者其中只有一臺能上外網,或者上外網速度慢到相當於無網路。
- 離線下載資料包,解壓,放到其中一臺機器,開啟http支援,其它內網能訪問。
- 配置ubuntu的源,指向內網的機器,安裝Ambari-server服務。再通過Ambari-server服務來安裝其它所有的hadoop元件。
無網路環境安裝,主要是訪問hortonworks的速度太慢了,而且中間各種不穩定,因此採用離線的方式,能保證安裝成功。
2. 具體的操作步驟
2.1 下載三個大檔案,備用
1 2 3 4 5 6 |
# down.sh nohup wget -c http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari-2.2.1.0-ubuntu14.tar.gz > 1.log 2>&1 & nohup wget -c http://public-repo-1.hortonworks.com/HDP/ubuntu14/2.x/updates/2.4.0.0/HDP-2.4.0.0-ubuntu14-deb.tar.gz > 1.log 2>&1 & nohup wget -c http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/ubuntu14/HDP-UTILS-1.1.0.20-ubuntu14.tar.gz > 2.log 2>&1 & |
2.2 解壓
解壓三個檔案到某個目錄,最後,目錄中有如下
1 2 3 4 5 6 7 8 |
$ ls AMBARI-2.2.1.0 ambari-2.2.1.0-ubuntu14.tar.gz down.sh HDP HDP-2.4.0.0-ubuntu14-deb.tar.gz HDP-UTILS-1.1.0.20 HDP-UTILS-1.1.0.20-ubuntu14.tar.gz |
2.3 開啟http
在目錄下執行http服務,不需要Apache,也不需要Nginx以及他們的各種配置,使用一個命令即可:
1 |
$ python -m SimpleHTTPServer |
看提示,已經開啟了8000埠,web的根目錄就為當前目錄。
2.4 在內網其它機器,新增官方源
1 2 |
wget -nv http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0/ambari.list -O /etc/apt/sources.list.d/ambari.list apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD |
2.5 修改官方源配置檔案
1 2 3 4 |
#VERSION_NUMBER=2.2.1.0-161 #deb http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.2.1.0 Ambari main deb http://1.2.3.4:8000/AMBARI-2.2.1.0/ubuntu14/2.2.1.0-161 Ambari main |
其中地址:http://1.2.3.4:8000即是上面的那臺開啟http的內網機器。後面的目錄,可以根據前面下載解壓後的目錄來修改。
2.5 更新源並安裝程式:
1 2 |
apt-get update apt-get install ambari-server |
2.6 配置ambari服務
1 |
ambari-server setup |
其中自定義jdk版本,填寫JAVA_HOME的路徑為,根據具體的jdk路徑來設定,比如:/opt/jdk
2.7 啟動服務
1 |
ambari-server start |
2.8 訪問web介面
http://ip:8080 使用預設的admin/admin登入。
2.9 在選擇源的地方,填寫路徑
1 2 3 4 |
# http://public-repo-1.hortonworks.com/HDP/ubuntu14/2.x/updates/2.4.0.0 http://1.2.3.4:8000/HDP/ubuntu14/2.x/updates/2.4.0.0 # http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/ubuntu12 http://1.2.3.4:8000/HDP-UTILS-1.1.0.20/repos/ubuntu14 |
註釋的部分為hdp2.4的預設官方源,用自己的內網源替換即可。
2.10 後續服務安裝
配置各機器證照登入,選擇安裝服務等等後續步驟。
安裝好後,關閉前面的http服務即可。
就是這麼簡單,就是這麼方便。走過,路過,請不要跳過,在大資料圈混,遲早有一天用得到的。
最後,如果遇到問題,請留言。
打賞支援我寫出更多好文章,謝謝!
打賞作者
打賞支援我寫出更多好文章,謝謝!
任選一種支付方式