一个topic对应多个partition,一个partition里面有多个segment文件段
每个segment文件段里面包含了两个文件
.index文件:存放的是.log文件数据的索引值
.log文件:存放的是我们真实的数据,一旦.log文件达到1GB的时候,就会产生一个新的segment
每一条数据都有一个唯一的offset值
index文件每隔一段距离,记录一次数据的offset索引值
kafka的基本架构
producer:负责生产数据到topic
topic:虚拟的概念
kafka需要依赖Zookeeper保存一些节点信息,kafka紧耦合Zookeeper
消费组:任意时刻,一个分区里面的数据,只能被一个消费组里面的一个线程进行消费