Kafka是现在非常热门的分布式消息队列,常用于微服务间异步通信，业务解耦等场景。kafka的性能非常强大，但是单个微服务吞吐性能是有上限的，我们就会用到分布式微服务，多消费者多生产者进行数据处理，保证性能同时也能根据业务量进行横向拓展，对于同一个微服务的多个实例，输入输出的topic是同一个，这时候我们就可以利用Kafka分区消费来解决这个问题。
业务场景我们开发的是一个物联网系统，大量设备接入到平台实时发送数据，有秒级数据和分钟级别数据等等，处理流程包含接入、处理、存储，这三个模块间就是使用kafka进行数据流转，数据处理模块中包含多个微服务，单条数据会经历多次处理，部分业务耗时较长，导致在高频率接收到数据时候单体服务无法达到吞吐平衡，于是对于这些服务进行了分布式部署，多个实例进行消费处理。
业务实现 不指定分区我们在给kafka发送消息时候，如果不指定分区，是不需要手动创建topic的,发送时没有topic,kafka会自动创建一个分区为1的topic，如下：
指定分区 topic分区初始化及配置指定分区发送时候，如果未配置topic分区数，指定>0的分区，会提示分区不存在，这时候我们就需要提前创建好topic及分区
手动创建，服务启动前，使用kafka tool手动创建topic 不推荐 x
自动创建，服务启动时，使用KafkaClient创建 推荐 √
生产者分区发送方案上面讲到如何初始化分区topic，这时候我们的kafka环境已经准备好了，我们先使用TopicInitRunner为我们创建一个名称为 partition-topic 分区数为三，现在讲一讲如何均匀的讲消息发送的每个分区上，如何保证多消费者实例是负载均衡的，具体方案如下：
1.因为每条消息都是设备上传的，都会有设备id，先给每个设备生成一个自增号，这样1000个设备，每个设备就会有0到999的自增号，放到缓存中，每次根据消息中的设备id获取到该设备的自增号2.使用自增号对分区数进行取模操作,代码实现如下： 消费者我们讲到消费者使用分布式部署，一个微服务有多个实例，我们只需要按照服务监听的topic分区数创建对应数目的服务实例即可，这样kafka就会自动分配对应分区的数据到每个实例。
我们采取批量消费，进一步提高服务吞吐性能，消费及配置代码如下，配置文件参考springbootkafka配置即可，主要设计kafka服务配置，消费及生产配置，比较核心的是
到此这篇关于Java Kafka分区发送及消费实战的文章就介绍到这了,更多相关Kafka分区发送及消费内容请搜索七叶笔记以前的文章或继续浏览下面的相关文章希望大家以后多多支持七叶笔记！
