Python指令碼消費多個Kafka topic

TechSynapse發表於2024-11-20
Python指令碼Kafka

在Python中消費多個Kafka topic，可以使用kafka-python庫，這是一個流行的Kafka客戶端庫。以下是一個詳細的程式碼示例，展示如何建立一個Kafka消費者，並同時消費多個Kafka topic。

1.環境準備

（1）安裝Kafka和Zookeeper：確保Kafka和Zookeeper已經安裝並執行。

（2）安裝kafka-python庫：透過pip安裝kafka-python庫。

bash複製程式碼

pip install kafka-python

2.示例程式碼

以下是一個完整的Python指令碼，展示瞭如何建立一個Kafka消費者並消費多個topic。

from kafka import KafkaConsumer
import json
import logging
 
# 配置日誌
logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s'
)
logger = logging.getLogger(__name__)
 
# Kafka配置
bootstrap_servers = 'localhost:9092'  # 替換為你的Kafka伺服器地址
group_id = 'multi-topic-consumer-group'
topics = ['topic1', 'topic2', 'topic3']  # 替換為你要消費的topic
 
# 消費者配置
consumer_config = {
    'bootstrap_servers': bootstrap_servers,
    'group_id': group_id,
    'auto_offset_reset': 'earliest',  # 從最早的offset開始消費
    'enable_auto_commit': True,
    'auto_commit_interval_ms': 5000,
    'value_deserializer': lambda x: json.loads(x.decode('utf-8'))  # 假設訊息是JSON格式
}
 
# 建立Kafka消費者
consumer = KafkaConsumer(**consumer_config)
 
# 訂閱多個topic
consumer.subscribe(topics)
 
try:
    # 無限迴圈，持續消費訊息
    while True:
        for message in consumer:
            topic = message.topic
            partition = message.partition
            offset = message.offset
            key = message.key
            value = message.value
 
            # 列印消費到的訊息
            logger.info(f"Consumed message from topic: {topic}, partition: {partition}, offset: {offset}, key: {key}, value: {value}")
 
            # 你可以在這裡新增處理訊息的邏輯
            # process_message(topic, partition, offset, key, value)
 
except KeyboardInterrupt:
    # 捕獲Ctrl+C，優雅關閉消費者
    logger.info("Caught KeyboardInterrupt, closing consumer.")
    consumer.close()
 
except Exception as e:
    # 捕獲其他異常，記錄日誌並關閉消費者
    logger.error(f"An error occurred: {e}", exc_info=True)
    consumer.close()

3.程式碼解釋

（1）日誌配置：使用Python的logging模組配置日誌，方便除錯和記錄消費過程中的資訊。

（2）Kafka配置：設定Kafka伺服器的地址、消費者組ID和要消費的topic列表。

（3）消費者配置：配置消費者引數，包括自動重置offset、自動提交offset的時間間隔和訊息反序列化方式（這裡假設訊息是JSON格式）。

（4）建立消費者：使用配置建立Kafka消費者例項。

（5）訂閱topic：透過consumer.subscribe方法訂閱多個topic。

（6）消費訊息：在無限迴圈中消費訊息，並列印訊息的詳細資訊（topic、partition、offset、key和value）。

（7）異常處理：捕獲KeyboardInterrupt（Ctrl+C）以優雅地關閉消費者，並捕獲其他異常並記錄日誌。

4.執行指令碼

確保Kafka和Zookeeper正在執行，並且你已經在Kafka中建立了相應的topic（topic1、topic2、topic3）。然後執行指令碼：

bash複製程式碼

python kafka_multi_topic_consumer.py

這個指令碼將開始消費指定的topic，並在控制檯上列印出每條訊息的詳細資訊。你可以根據需要修改指令碼中的處理邏輯，比如將訊息儲存到資料庫或傳送到其他服務。

5.參考價值和實際意義

這個示例程式碼展示瞭如何在Python中使用kafka-python庫消費多個Kafka topic，適用於需要處理來自不同topic的資料流的場景。例如，在實時資料處理系統中，不同的topic可能代表不同型別的資料流，透過消費多個topic，可以實現資料的整合和處理。此外，該示例還展示了基本的異常處理和日誌記錄，有助於在生產環境中進行除錯和監控。

相關文章