kafka使用scala语言编写,kafka是一个分布式、分区的,多副本的,多订阅者的日志系统
kafka是一个分布式的消息队列系统
分布式是由多个节点组成,一个节点就是一个服务器
在kafka当中节点叫做broker,一个节点就是一个broker,一个broker就是一个服务器
磁盘顺序读写
kafka应用场景:
流式处理:实时处理,数据从出现到产生,在一秒钟以内能够处理完成
流式计算:程序一旦启动,就会一直运行下去,一旦有数据,就能够马上被处理掉
生产者生产数分局到kafka里面去,然后通过一些实时处理的框架例如storm或者sparkstreaming或者flink等等实时处理的框架去处理kafka里面的数据