Kafka消息系统教程

在自 2016 年以来，我们在 Mirakl 开始使用 Kafka 作为消息服务，以支持我们在微服务环境中的异步驱动架构。起初，Kafka 仅用于非关键服务，如电子邮件、审计或日志记录。这是一种安全的方法，因为我们对这项技术还没有完全的信心，尤其是我们对关系数据库的交易方面，这是处理

Homepoint 是一家位于美国的大型抵押贷款批发商和贷方。Homepoint 的软件平台团队需要找到数据库自动化解决方案并改进其单体数据库架构，以提高质量和更快地响应客户。该公司原来使用其贷款发放系统（LOS）数据库作为SSOT（单一事实来源），但这个数据库不支持自动决策，不支持

重试非常重要，尤其是在微服务系统中，这些服务必须经常协作才能处理请求。如果一个服务只中断了几秒钟会发生什么？其他服务应该在放弃之前向客户抛出错误或重试多次。举个简单的例子：通过http链式调用的服务：

在线食品订购和配送是一个竞争激烈的市场，速度是生存的关键。Coupang Eats（简称Eats）是韩国电商巨头Coupang的外卖子公司。在这篇文章中，我们将详细介绍 Eats 数据平台团队如何构建通用且配置驱动的数据处理系统，通过自动化关键业务运营来加速我们的增长。

如何构建流数据管道以捕获 MySQL 数据库更改并通过 Debezium 和 Kafka 将它们流式传输到 Apache Pinot？

在 DoorDash，实时事件是深入了解我们业务的重要数据源，但构建能够处理数十亿实时事件的系统具有挑战性。事件由我们的服务和用户设备生成，需要处理并传输到不同的目的地，以帮助我们在平台上做出数据驱动的决策。举几个用例： 几乎所有的事件都需要传输到我们的

Snowflake 和 Debezium 在现代数据堆栈中获得了当之无愧的地位，现在很容易找到有关使用这些技术的在线资源。在这篇博客中，我们更进一步，回顾了我们（在 Shippeo）使用 Debezium 近乎实时地将大规模数据复制到 Snowflake 中学到的经验教训。数据是 S

Adobe使用Kafka处理数据的流量规模：310B msg/day，300 TB/day IN和920 TB/day OUT，今天我们将分享我们在 Kafka Client

Terraform是许多基础设施即代码专家中的流行工具。毫不奇怪，它也有 Kafka 资源的 TF 提供程序 安装：terraform-provider-kafka可在 terraform 注册表中找到。要安装，请将以下内容添加到您的mai

Adobe Experience Platform Pipeline是一个低延迟、基于 Kafka 的流系统。管道连接数百个 Adob​​e 组件和系统。我们的 Kafka 集群处理310B msg/天，300 TB/天的 IN和920 TB/天的 OUT流量。因此，了解 Kafka 客户端

Cloudflare 自 2014 年以来一直在生产中使用 Kafka。从那时起，我们已经取得了长足的进步，目前跨多个数据中心运行 14 个不同的 Kafka 集群，大约有 330 个节点。在他们之间，在过去八年中处理了超过一万亿条消息。 Clou

当试图建立一个自动化的Kafka平台时，有一个问题是 "我如何管理我的Kafka Artefacts？"。 在这篇文章中，我们谈论了一个我们目前在不同项目中使用的解决方案，在未来的文章中，我们打算更详细地了解它的一些功能和实现。

用于轻松、声明式管理 Kafka 主题的工具。包括从 YAML “应用”主题更改的能力，以及用于对代理、主题、消费者组、消息等进行交互式探索的 repl。 通过标准工具管理 Kafka 主题可能很乏味且容易出错；没有标准的、声明性的方式来定义主题（

如果在生产环境中运行kafka，需要手动创建集群、主题、连接器等既乏味又容易出错。如果能更好地依赖于您放入修订控制并以自动化方式应用的声明性配置就自动化了。Kafkaer 是 Apache Kafka 的部署和配置工具。它允许您跨多个环境自动创建/更新主题和代理。创建一个模板配置文件

Apache Kafka 是一个分布式事件流平台。使用softwaremill这个工具（点击标题），您可以模拟数据如何通过复制的 Kafka 主题流动，从而更好地了解消息处理模型。