Kafka-on-Pulsar 实现了偏移更好支持kafka - StreamNative


KoP(Kafka on Pulsar) 2.8.0 支持连续偏移,现在可以投入生产。
默认情况下,Pulsar broker 只支持 Pulsar 协议。通过协议处理程序,Pulsar broker 可以支持其他消息协议,包括 Kafka、AMQP 和 MQTT。这允许 Pulsar 与基于其他消息传递技术构建的应用程序交互,从而扩展 Pulsar 生态系统。
Kafka-on-Pulsar (KoP)是一种协议处理程序,可将原生 Kafka 协议引入 Pulsar。它使开发人员能够使用现有的 Kafka 应用程序将数据发布到 Pulsar 或从 Pulsar 获取数据,而无需更改代码。KoP 显着降低了 Kafka 用户采用 Pulsar 的障碍,使其成为最受欢迎的协议处理程序之一。
KoP 通过解析 Kafka 协议并通过 Pulsar 提供的流存储抽象直接访问 BookKeeper 存储来工作。虽然Kafka和Pulsar有很多共同的概念,比如topic和partition,但是在Pulsar中没有对应的Kafka偏移的概念。KoP 的早期版本通过简单的转换方法解决了这个问题,该方法不允许连续偏移并且容易出现问题。
为了解决这个痛点,KoP 2.8.0 中引入了代理入口元数据以实现连续偏移。通过此更新,KoP 可用且可用于生产。请务必注意,此更新后向后兼容性已被破坏。在这篇博客中,我们深入探讨了 KoP 如何在 2.8.0 之前和之后实现偏移。并解释重大变化背后的基本原理。
详细点击标题