Kafka系列(一)

发布时间:2024年01月15日

内容

该系列主要是复习期间,通过浏览资料记录的一些笔记和重点,用于日常学习和学习后的总结。

组件概念

broker

  • 一个Kafka的集群通常由多个broker组成,这样才能实现负载均衡、以及容错

  • broker是无状态(Sateless)的,它们是通过ZooKeeper来维护集群状态

  • 一个Kafka的broker每秒可以处理数十万次读写,每个broker都可以处理TB消息而不影响性能

zookeeper

  • ZK用来管理和协调broker,并且存储了Kafka的元数据(例如:有多少topic、partition、consumer)

  • ZK服务主要用于通知生产者和消费者Kafka集群中有新的broker加入、或者Kafka集群中出现故障的broker。

PS:Kafka正在逐步想办法将ZooKeeper剥离,维护两套集群成本较高,社区提出KIP-500就是要替换掉ZooKeeper的依赖。“Kafka on Kafka”——Kafka自己来管理自己的元数据

producer(生产者)

  • 生产者负责将数据推送给broker的topic

consumer(消费者)

  • 消费者负责从broker的topic中拉取数据,并自己进行处理

consumer group(消费者组)

  • consumer group是kafka提供的可扩展且具有容错性的消费者机制

  • 一个消费者组可以包含多个消费者

  • 一个消费者组有一个唯一的ID(group Id)

  • 组内的消费者一起消费主题的所有分区数据

分区(Partitions)

  • 在Kafka集群中,主题被分为多个分区

副本(Replicas)

  • 副本可以确保某个服务器出现故障时,确保数据依然可用

  • 在Kafka中,一般都会设计副本的个数>1

主题(Topic)

  • 主题是一个逻辑概念,用于生产者发布数据,消费者拉取数据

  • Kafka中的主题必须要有标识符,而且是唯一的,Kafka中可以有任意数量的主题,没有数量上的限制

  • 在主题中的消息是有结构的,一般一个主题包含某一类消息

  • 一旦生产者发送消息到主题中,这些消息就不能被更新(更改)

偏移量(offset)

  • offset记录着下一条将要发送给Consumer的消息的序号

  • 默认Kafka将offset存储在ZooKeeper中

  • 在一个分区中,消息是有顺序的方式存储着,每个在分区的消费都是有一个递增的id。这个就是偏移量offset

  • 偏移量在分区中才是有意义的。在分区之间,offset是没有任何意义的

文章来源:https://blog.csdn.net/Java_Zzm/article/details/135609555
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。