zookeeper:spark-project專案的zookeeper配置

花和尚也有春天發表於2018-09-18

安裝ZooKeeper

1、將zookeeper-3.4.5-cdh5.3.6.tar.gz使用WinSCP拷貝到sparkproject1的/usr/local目錄下。

2、對zookeeper-3.4.5-cdh5.3.6.tar.gz進行解壓縮:tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz。

3、對zookeeper目錄進行重新命名:mv zookeeper-3.4.5-cdh5.3.6 zk。

4、配置zookeeper相關的環境變數

vi ~/.bashrc

export ZOOKEEPER_HOME=/usr/local/zk

export PATH=$ZOOKEEPER_HOME/bin

source ~/.bashrc

配置zoo.cfg

cd zk/conf

mv zoo_sample.cfg zoo.cfg

 

vi zoo.cfg

修改:dataDir=/usr/local/zk/data

新增:

server.0=sparkproject1:2888:3888    

server.1=sparkproject2:2888:3888

server.2=sparkproject3:2888:3888

設定zk節點標識

cd zk

mkdir data

cd data

vi myid   //這個myid檔案內容是叢集中各個節點的標識,必須是數字,到後續應該對每臺機器依次修改

0

搭建zk叢集

1、在另外兩個節點上按照上述步驟配置ZooKeeper,使用scp將zk和.bashrc拷貝到spark2和spark3上即可。

2、唯一的區別是spark2和spark3的標識號myid分別設定為1和2。

啟動ZooKeeper叢集

1、分別在三臺機器上執行:zkServer.sh start。

2、檢查ZooKeeper狀態:zkServer.sh status,應該是一個leader,兩個follower

3、jps:檢查三個節點是否都有QuromPeerMain程式。

 

相關文章