zookeeper：spark-project專案的zookeeper配置

花和尚也有春天發表於2018-09-18
SparkProject

安裝ZooKeeper

1、將zookeeper-3.4.5-cdh5.3.6.tar.gz使用WinSCP拷貝到sparkproject1的/usr/local目錄下。

2、對zookeeper-3.4.5-cdh5.3.6.tar.gz進行解壓縮：tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz。

3、對zookeeper目錄進行重新命名：mv zookeeper-3.4.5-cdh5.3.6 zk。

4、配置zookeeper相關的環境變數

vi ~/.bashrc

export ZOOKEEPER_HOME=/usr/local/zk

export PATH=$ZOOKEEPER_HOME/bin

source ~/.bashrc

配置zoo.cfg

cd zk/conf

mv zoo_sample.cfg zoo.cfg

 

vi zoo.cfg

修改：dataDir=/usr/local/zk/data

新增：

server.0=sparkproject1:2888:3888    

server.1=sparkproject2:2888:3888

server.2=sparkproject3:2888:3888

設定zk節點標識

cd zk

mkdir data

cd data

vi myid   //這個myid檔案內容是叢集中各個節點的標識，必須是數字，到後續應該對每臺機器依次修改

0

搭建zk叢集

1、在另外兩個節點上按照上述步驟配置ZooKeeper，使用scp將zk和.bashrc拷貝到spark2和spark3上即可。

2、唯一的區別是spark2和spark3的標識號myid分別設定為1和2。

啟動ZooKeeper叢集

1、分別在三臺機器上執行：zkServer.sh start。

2、檢查ZooKeeper狀態：zkServer.sh status，應該是一個leader，兩個follower

3、jps：檢查三個節點是否都有QuromPeerMain程式。

 

相關文章