hadoop分散式叢集搭建前期準備(centos7)

豬頭強發表於2015-08-14

     那玩大資料,想做個大資料的從業者,必須瞭解在生產環境下搭建叢集哇?由於hadoop是apache上的開源專案,所以版本有些混亂,聽說都在用Cloudera的cdh5來弄?後續研究這個吧,就算這樣搭建不適合真實環境,也算是瞭解hadoop的一些基本東西了。

  搭建之前要做一些前期的準備,如果買不起伺服器那就裝虛擬機器吧,看了一種用最少的伺服器模擬真是環境的搭建方式,需要四臺,好吧,整四個虛擬機器,事實證明我的坑爹電腦撐得住。

使用vm建立幾臺虛擬機器,首先要知道自己處在什麼樣的網路環境下,其實直接用nat模式最好,互不受影響。開啟nat模式,將自己的虛擬機器的網路模式也設定為nat模式。

 

 

 

先配置一個,剩餘的在vm中,右鍵虛擬機器,管理中有一個clone,clone四分然後改了網路卡配置就ok了。下面這個是我的網路卡配置:

TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
#IPV6INIT=yes
#IPV6_AUTOCONF=yes
#IPV6_DEFROUTE=yes
#IPV6_PEERDNS=yes
#IPV6_PEERROUTES=yes
#IPV6_FAILURE_FATAL=no
IPADDR=192.168.75.117
GATEWAY=192.168.75.2
NETMASK=255.255.255.0
DNS1=192.168.75.2
NAME=eno16777736
UUID=a393e22f-4bae-4ed2-8782-f0247eeddddb
DEVICE=eno16777736
ONBOOT=yes

不知道別的怎麼樣,centos7在etc/resolv.conf配置了dns重啟會失效,配置的註釋中也說了,在網路卡中以DNS1=x.x.x.x DNS2=x.x.x.x的形式配置就可以了,最主要的是閘道器和DNS都應該設定為NAT中分配的閘道器地址,不然你會連線不上外網的,據我猜測dns設定為閘道器地址就是把dns讓路由給代理了。(修改dns不需要重啟網路卡,測試了確實如此~~)

還有最好開機預設啟動指令碼模式,不然卡哭了就,這個centos7配置的方式,之前修改什麼init 3什麼的也不行了:

ln -sf /lib/systemd/system/multi-user.target /etc/systemd/system/default.target

四臺機器的記憶體配置要看你的電腦的情況了,給自己的windows留點....

接下該再複習一下ssh免密碼登入啦~~~

 

相關文章