Kafka消息系统教程

Apache Kafka、Amazon Kinesis、Microsoft Event Hubs 和 Google Pub/Sub 等分布式日志技术在过去几年中已经成熟，并且在为某些用例移动数据时添加了一些很棒的新型解决方案。据

在这篇博客中，我介绍了在Java中定义Kafka消费者的各种方法。Spring、Micronaut、Vert.x和Akka Streams在引擎盖下使用kafka-clients库，并提供完整的功能集来消费Kafka消息。Kafka 是一个著名的事件流平台。我们在很多项目中使用它。没

数据网格克服了由数据湖和数据仓库设计引起的限制和减速，而是以分散的点对点方式连接数据 - 将其网格化。该想法由 Thoughtworks 新兴技术总监 Zhamak Dehghani 提出，并建立在四个基础上：面向领域的数据所有权、数据即产品、自助数据和适当的治理。我相信这些对于帮助我们在未

事件通常分为以下两类：消息和命令。 消息事件类似于简单的事实：用户发送他们的新地址，产品离开仓库，我们首先记录这些事实，而不立即考虑接下来会发生什么。 命令事件类似于调用特定操作的命令：用户单击[BUY购买]按钮，然后系统采取该操作（例如，通过触发订单处理）。

Yotpo使用Apache Kafka和Debezium为每分钟数百万条消息实施了高度可扩展且可靠的预定消息解决方案：实现大规模分布式系统并不容易，因为传统的数据库调度无法扩展。此外，在使用微服务架构时，它变得更加困难，因为您继承了所有分布式系统问题，例如数据不一致、双重写入 和 域

Ifood它是一家巴西食品科技公司，每天交付超过100 万个订单，并且每年增长约 110%。作为一家食品技术公司，该平台的流量时间

在本文中，您将学习如何使用KEDA自动扩展使用来自 Kafka 主题的消息的应用程序。KEDA缩写是Kubernetes Event Driven简写。为了解释它背后的想法，我将创

在 Strimzi 0.14.0 中，我们为 Kafka 代理支持的标准集添加了一个额外的身份验证选项。您的 Kafka 客户端现在可以在与 Kafka 代理建立会话时使用基于 OAuth 2.0 令牌的身份验证。通过这种身份验证，Kafka 客户端和代理与符合 OAuth 2.0 的中央授

InfluxDB的未来核心是InfluxDB IOx， 使用的是Apache  Kafka 对数据进行排序：到目前为止，我们一直依赖于 ru

在 Netflix，从流媒体棒到智能电视，每天都会通过自动化测试数百种不同的设备类型，需要确保新软件版本继续提供我们客户喜欢的 Netflix 体验质量。此外，Netflix 不断与其合作伙伴（如 Roku、三星、LG、亚马逊）合作，将 Netflix SDK 移植到他们的新设备和即将推出的

消息传递模型是用户在选择流式消息传递系统时应该考虑的第一件事。消息传递模型应涵盖以下 3 个方面： 消息消费 - 消息是如何发送和消费的？ 消息确认 - 如何确认消息？ 邮件保

Apache Pulsar 是一个开源的分布式发布-订阅消息系统，与kaffka根本不同的是持久性存储。在 Kafka 中，日志保存在代理上，而 Pulsar 使用Apache BookKeeper，这似乎是一个真正的优势，尤其是在扩展方面。BookKeeper 的另一个诱人特性是分层存储。

它一个 mysql-to-json kafka 生产者，Maxwell 为您提供了事件溯源的一些好处，而无需重新构建整个平台。该应用程序读取 MySQL 二进制日志并将行更新作为 JSON 写入 Kafka、Kinesis 或其他流媒体平台。Maxwell 的操作开销很低，只需要 m

Slack工程师介绍了他们如何构建和操作 Kafka 集群以大规模运行。Slack 将 Kafka 广泛用于他们的作业队列和移动关键任务数据（分析、日志记录、计费数据等）这篇博文介绍了 Slack 如何（以及为什么）使用 Chef 和 Terraform 自动化管理 Kafk

我们并不是说事件溯源总是一个糟糕的选择。这是一个真正强大的概念。但是，您应该警惕它可能给您的项目增加的复杂性。我们的看法是你不应该用它来解决所有类型的问题，而应该将它应用到选定的业务领域（它可能对所有类型的技术和技巧都是通用的）。Kafka Streams 可能对我们来说更加陡峭的学

KafkaGoSaur是Deno的一个新的Kafka客户端，它是在kafka-go基础上用WebAssembly构建的，kafka-go是为Go编写的优秀的Kafka客户端库。这篇文章解释了KafkaGoSaur的基本用法，并对其性能进行了基准测试。但它也深入探讨了WebAssemb