kafka（一）快速入门

一、kafka（一）是什么？

? ? ? ? kafka是一个分布式、支持分区、多副本，基于zookeeper协调的分布式消息系统；

二、应用场景

????????日志收集：一个公司可以用Kafka收集各种服务的log，通过kafka推送到各种存储系统；

? ? ? ? 消息系统：解耦和生产者和消费者、缓存消息等。

? ? ? ? 数据收集：将数据推送到kafka中，订阅者消费处理分析；

三、kafka的基本概念

? ? ? ? Broker：消息中间处理节点；

? ? ? ? Topic：kafka根据topic对详细进行归类，发布到kafka的每一条消息都要指定topic；

? ? ? ? Producer：生产者，向Broker推送消息的客户端；

? ? ? ? Consumer：消费者，从Broker读取消息的客户端；

? ? ? ? ConsumerGroup：每个Consumer属于一个特定的Consumer Group，一条消息可以被多个不同的Consumer Group消费，但是一个Consumer Group中只能有一个Consumer消费；

? ? ? ? Partition：物理概念，一个投pic可分为多个partition，每个partition内部消息是有序的；

? ? ? ??

kafka所有消息存储在文件上，消费完不会删除；（默认保持一周）

四、消费类型

? ? ? ? 普通消费：消费最新消息

? ? ? ? 消费多主题消息：同一个消费者可以监听多个topic进行消费；

? ? ? ? 单播消费：一条消息在一组消费者中只能有一个消费者消费；

? ? ? ? 多播消息：消费者指定不同的消费组，每个消费组下的消费者都可以消费同一消息；

kafka是如何做到单播消费与多播消费的？

kafka的消费是以组为单位，组内只有一个消费者可以消费成功，组内会记录消费消息的偏移量与未消费数量；

五、副本

? ? ? ?一个topic可以指定多个分区，每个分区可以指定对个副本；

六、消费顺序

? ? ? ? 一个partition同一时刻在一个Consumer group中只能有一个consumer 在消费，从而保证顺序；consumer group中的consumer 数量不能比一个topic中的partition数量多，否则多出来的消费不到消息；

? ? ? ?