Spring整合Kafka實現批量消費和手動提交offset
spring-kafka的官方文件介紹,可以知道自1.1版本之後,
@KafkaListener開始支援批量消費,只需要設定batchListener引數為true
把application.yml中的enable-auto-commit設定為false,設定為不自動提交
@Bean
public KafkaListenerContainerFactory<?> batchFactory(ConsumerFactory consumerFactory){
ConcurrentKafkaListenerContainerFactory<Integer,String> factory =
new ConcurrentKafkaListenerContainerFactory<>();
factory.setConsumerFactory(consumerFactory);
factory.setConcurrency(10);
factory.getContainerProperties().setPollTimeout(1500);
factory.setBatchListener(true);//設定為批量消費,每個批次數量在Kafka配置引數中設定
factory.getContainerProperties().setAckMode(ContainerProperties.AckMode.MANUAL_IMMEDIATE);//設定手動提交ackMode
return factory; }
//批量訊息
@KafkaListener(topics = {"first_top"},containerFactory="batchFactory")
public void consumerBatch(List<ConsumerRecord<?, ?>> records, Acknowledgment ack){
log.info("接收到訊息數量:{}",record.size());
//手動提交
ack.acknowledge();
}
這裡containerFactory = “batchFactory”要指定為批量消費
相關文章
- spring 整合kafka監聽消費SpringKafka
- kafka消費者提交方式(程式碼演示)Kafka
- alpakka-kafka(8)-kafka資料消費模式實現Kafka模式
- kafka消費Kafka
- 來!自己動手實現一個loghub(或kafka)分片消費負載均衡器Kafka負載
- Kafka 消費組消費者分配策略Kafka
- 理解Kafka offsetKafka
- Kafka Offset StorageKafka
- 「Kafka應用」PHP實現生產者與消費者KafkaPHP
- Kafka 消費者解析Kafka
- Kafka - 消費介面分析Kafka
- kafka消費者消費訊息的流程Kafka
- kafka中生產者和消費者APIKafkaAPI
- 實戰Spring4+ActiveMQ整合實現訊息佇列(生產者+消費者)SpringMQ佇列
- spring-kafka多執行緒順序消費SpringKafka執行緒
- Spring Boot 整合 RabbitMQ 訊息事務(消費者)Spring BootMQ
- 「Kafka應用」消費者Kafka
- Kafka 消費者組 RebalanceKafka
- Kafka之消費與心跳Kafka
- SpringBoot整合Kafka(生產者和消費者都是SpringBoot服務)Spring BootKafka
- 實際業務處理 Kafka 訊息丟失、重複消費和順序消費的問題Kafka
- Spring Boot 整合 KafkaSpring BootKafka
- 聊聊如何實現一個帶冪等模板的Kafka消費者Kafka
- 使用Spring Boot和Kafka Streams實現CQRSSpring BootKafka
- Kafka重複消費和丟失資料研究Kafka
- Java實現生產者和消費者Java
- 生產者和消費者(.net實現)
- kafka消費者客戶端Kafka客戶端
- Kafka 1.0.0 多消費者示例Kafka
- flink連線消費kafkaKafka
- java的kafka生產消費JavaKafka
- Kafka消費與心跳機制Kafka
- Kafka消費者自動提交配置會導致潛在的重複或資料丟失!Kafka
- kafka生產者和消費者吞吐量測試-kafka 商業環境實戰Kafka
- Kafka 簡單實驗二(Python實現簡單生產者消費者)KafkaPython
- 如何在優雅地Spring 中實現訊息的傳送和消費Spring
- alpakka-kafka(7)-kafka應用案例,消費模式Kafka模式
- Kafka入門(2):消費與位移Kafka