kafka：spark-project專案的kafka和scala配置

花和尚也有春天發表於2018-09-18
KafkaSparkProject

安裝scala 2.11.4

1、將scala-2.11.4.tgz使用WinSCP拷貝到sparkproject1的/usr/local目錄下。

2、對scala-2.11.4.tgz進行解壓縮：tar -zxvf scala-2.11.4.tgz。

3、對scala目錄進行重新命名：mv scala-2.11.4 scala

4、配置scala相關的環境變數

vi ~/.bashrc

export SCALA_HOME=/usr/local/scala

export PATH=$SCALA_HOME/bin

source ~/.bashrc

5、檢視scala是否安裝成功：scala -version

6、按照上述步驟在sparkproject2和sparkproject3機器上都安裝好scala。使用scp將scala和.bashrc拷貝到另外兩臺機器上即可。

安裝Kafka

1、將kafka_2.9.2-0.8.1.tgz使用WinSCP拷貝到sparkproject1的/usr/local目錄下。

2、對kafka_2.9.2-0.8.1.tgz進行解壓縮：tar -zxvf kafka_2.9.2-0.8.1.tgz。

3、對kafka目錄進行改名：mv kafka_2.9.2-0.8.1 kafka

4、配置kafka vi /usr/local/kafka/config/server.properties

broker.id：依次增長的整數，0、1、2，叢集中Broker的唯一id zookeeper.connect=192.168.1.28:2181,192.168.1.31:2181,192.168.1.32:2181

5、安裝slf4j

將slf4j-1.7.6.zip上傳到/usr/local目錄下

unzip slf4j-1.7.6.zip

把slf4j中的slf4j-nop-1.7.6.jar複製到kafka的libs目錄下面

搭建kafka叢集

1、按照上述步驟在另外兩臺機器分別安裝kafka。用scp把kafka拷貝到sparkproject2和sparkproject3即可。

2、唯一區別的，就是server.properties中的broker.id，要設定為1和2

預設的是同步模式 sync

相關文章