kafka+flume的整合

準備工作:安裝好zookeeper,kafka,flume

1.首先要有三臺zookeeper啟動好的zookeeper叢集,啟動起來

    可以自己設定shell指令碼一鍵啟動(路徑問題自己解決)

cat /export/server/onekey/zk/slave | while read line
do
{
 echo $line
 ssh $line "source /etc/profile;nohup zkServer.sh start >/dev/null 2>&1 &"
}&
wait
done

2.編寫日誌檔案.也是用shell指令碼不斷更新檔案作為flume的採集源

for((i=0;i>/export/data/flume/click_log/data.log;
done

3.寫好flume採集配置資訊 exec.conf

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /export/data/flume/click_log/data.log
a1.sources.r1.channels = c1
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = cn.itcast.realtime.flume.AppInterceptor$AppInterceptorBuilder
a1.sources.r1.interceptors.i1.appId = 1


a1.channels.c1.type=memory
a1.channels.c1.capacity=10000
a1.channels.c1.transactionCapacity=100


a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.topic = myTest
a1.sinks.k1.brokerList = wy-1:9092
a1.sinks.k1.requiredAcks = 1
a1.sinks.k1.batchSize = 20
a1.sinks.k1.channel = c1

4.在kafka中建立conf配置的topic

進入到kafka bin目錄,執行:

./kafka-topics.sh --create --zookeeper zk01:2181 --topic myTest --partitions 6 --replication-factor 2

5.建立好topic後,啟動kafka服務端,kafka客戶端

服務端啟動broker, 客戶端用來消費broker中的資料

服務端啟動命令:

./kafka-server-start.sh  /export/servers/kafka/config/server.properties

客戶端啟動命令:

./kafka-console-consumer.sh  --zookeeper wy-1:2181 --from-beginning  --topic myTest

6.啟動flume服務,開始採集資料

./flume-ng agent -n a1 -c conf -f /export/servers/flume/myconfig/exec.conf -Dflume.root.logger=INFO,console