Apache Kafka 2.6的新增功能为过渡到重要版本3.0铺垫 - confluent


在此版本中,我们进行了许多重大的性能改进,尤其是当代理具有更大的分区数时。代理关闭性能得到显着改善,而当生产者使用压缩时,性能也得到显着提高。ACL使用的各个方面都更快,并且需要更少的内存。而且,我们减少了代理中其他几个位置的内存分配。
此发行版还增加了对Java 14的支持。在过去的几个发行版中,社区默认切换为使用Scala 2.13,现在建议将Scala 2.13用于生产。
最后,这些成就只是Apache Kafka 3.0启动前更大的活动路线图的一部分,而Apache Kafka 3.0可能是该项目历史上最重要的版本之一。用内置的基于Raft的共识替换ZooKeeper的工作正在进行中,有八个KIP正在积极开发中。Kafka针对元数据仲裁的新Raft协议已经可供审查。分层存储通过KIP-405解锁了无限扩展和更快的重新平衡时间,并且已在Uber的内部集群中启动并运行。

....
KIP-447:语义仅一次的生产者可伸缩性
此版本在此KIP上增加了其他工作,以简化用于以事务方式读取和写入Kafka的应用程序的API。以前,此用例通常需要为每个输入分区使用单独的生产者实例,但是现在没有特殊要求。这使构建消耗大量分区的精确语义(EOS)应用程序变得更加容易。这是在下一版本中对Kafka Streams进行类似改进的基础。
有关更多详细信息,请参见KIP-447

详细点击标题见原文。