大資料執行環境的執行

Franson發表於2018-05-16

1.azkaban

 啟動:bin/azkaban-solo-start.sh或絕對路徑方式執行azkaban-solo-start.sh指令碼

 關閉:bin/azkaban-solo-shutdown.sh

2.kafka

注意配置server.properties,此配置檔案用來配置kafka伺服器,介紹幾個最基礎的配置

  1. broker.id 申明當前kafka伺服器在叢集中的唯一ID,需配置為integer,並且叢集中的每一個kafka伺服器的id都應是唯一的,我們這裡採用預設配置即可
  2. listeners 申明此kafka伺服器需要監聽的埠號,如果是在本機上跑虛擬機器執行可以不用配置本項,預設會使用localhost的地址,如果是在遠端伺服器上執行則必須配置,例如:listeners=PLAINTEXT:// 192.168.180.128:9092。並確保伺服器的9092埠能夠訪問
  3. zookeeper.connect 申明kafka所連線的zookeeper的地址 ,需配置為zookeeper的地址,由於本次使用的是kafka高版本中自帶zookeeper,使用預設配置即可zookeeper.connect=localhost:2181

2.1 啟動zookeeper:bin/zookeeper-server-start.sh config/zookeeper.properties 也可以自己建立一個啟動指令碼zookeeper-start.sh,內容如下:          

exec /home/hadoop/runtime/kafka_2.11-1.1.0/bin/zookeeper-server-start.sh /home/hadoop/runtime/kafka_2.11-1.1.0/config/zookeeper.properties

2.2 關閉zookeeper:沒有提供指令碼,只能先jps找出QuorumPeerMain所在的程式ID,然後使用命令 kill -9 pid殺掉程式

2.3 啟動kafka: bin/kafka-server-start.sh config/server.properties

2.4 建立topic:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

2.5 檢視topic列表:

bin/kafka-topics.sh --list --zookeeper localhost:2181

2.6 建立消費者

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

 

2.7 建立生產者

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

注意以上的localhost是在server.properties檔案沒有修改的情況下。如果server.properties修改成如下配置:

則在建立消費者和生產者的命令時需要如下:

--建立消費者

bin/kafka-console-consumer.sh --bootstrap-server PLAINTEXT://10.1.7.100:9092 --topic test --from-beginning

--建立生產者

bin/kafka-console-producer.sh --broker-list PLAINTEXT://10.1.7.100:9092 --topic test

實踐證明,建立生產者可以不用加PLAINTEXT://也是可行的。

相關文章