1.azkaban
啟動:bin/azkaban-solo-start.sh或絕對路徑方式執行azkaban-solo-start.sh指令碼
關閉:bin/azkaban-solo-shutdown.sh
2.kafka
注意配置server.properties,此配置檔案用來配置kafka伺服器,介紹幾個最基礎的配置
- broker.id 申明當前kafka伺服器在叢集中的唯一ID,需配置為integer,並且叢集中的每一個kafka伺服器的id都應是唯一的,我們這裡採用預設配置即可
- listeners 申明此kafka伺服器需要監聽的埠號,如果是在本機上跑虛擬機器執行可以不用配置本項,預設會使用localhost的地址,如果是在遠端伺服器上執行則必須配置,例如:listeners=PLAINTEXT:// 192.168.180.128:9092。並確保伺服器的9092埠能夠訪問
-
zookeeper.connect 申明kafka所連線的zookeeper的地址 ,需配置為zookeeper的地址,由於本次使用的是kafka高版本中自帶zookeeper,使用預設配置即可zookeeper.connect=localhost:2181
2.1 啟動zookeeper:bin/zookeeper-server-start.sh config/zookeeper.properties 也可以自己建立一個啟動指令碼zookeeper-start.sh,內容如下:
exec /home/hadoop/runtime/kafka_2.11-1.1.0/bin/zookeeper-server-start.sh /home/hadoop/runtime/kafka_2.11-1.1.0/config/zookeeper.properties
2.2 關閉zookeeper:沒有提供指令碼,只能先jps找出QuorumPeerMain所在的程式ID,然後使用命令 kill -9 pid殺掉程式
2.3 啟動kafka: bin/kafka-server-start.sh config/server.properties
2.4 建立topic:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic
test
2.5 檢視topic列表:
bin/kafka-topics.sh --list --zookeeper localhost:2181
2.6 建立消費者
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic
test
--from-beginning
2.7 建立生產者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic
test
注意以上的localhost是在server.properties檔案沒有修改的情況下。如果server.properties修改成如下配置:
則在建立消費者和生產者的命令時需要如下:
--建立消費者
bin/kafka-console-consumer.sh --bootstrap-server PLAINTEXT://10.1.7.100:9092 --topic
test
--from-beginning
--建立生產者
bin/kafka-console-producer.sh --broker-list
PLAINTEXT://10.1.7.100
:9092 --topic test
實踐證明,建立生產者可以不用加PLAINTEXT://也是可行的。