自由式学习
21人加入学习
(0人评价)
大数据___Kafka
价格 免费
承诺服务

Consumer API:

实际生产环境一般手动提交offset

props.put("enable.auto.commit","false")

每次消费完成后手动提交offset:

  • 使用异步提交的方法,不会阻塞程序的消费

KafkaConsumer.commitAsync();

  • 同步进行提交,消费数据完成后,提交offset,提交完成后才能进行下一次消费

KafkaConsumer.commitSync();

  • 处理完成一个分区里面的数据,就提交一次offset值,记录到对应的分区里面的数据消费到哪里

KafkaConsumer.poll获取所有的数据,包含了各个分区里面的数据

创建一个线程安全的集合

Collections.singletonMap(topicPartition)

KafkaConsumer.commitSync()

 

 

 

 

[展开全文]

授课教师

高级算法工程师
老师

课程特色

考试(5)
图文(1)
视频(24)