Kafka消息系统教程

     

Coinbase如何改造基础设施中Kafka?

1027 6K
在2020年和2021年,Coinbase的数据团队在AWS MSK、开源的Kafka Connect和Airflow ETL的基础上塑造了一个通用的Kafka基础设施,以增强工程师对事件流、数据分析.

debezium官方分布式事务Saga案例源码

1418
此示例演示如何使用变更数据捕获以安全可靠的方式实现Saga 模式,以实现跨多个微服务的分布式事务。基于发件箱模式,此实现避免了对服务数据库和 Apache Kafka 的不安全双重写入,方法是通过原始.

Uber实时数据基础设施:分布式计算架构

1644 1 7K
Uber 的实时数据基础设施: Apache Kafka 用于流式存储, Flink 用于流处理, Pinot 用于 OLAP, HDFS 用于归档存储, Presto 用于交互式查询 数据来源与挑战.

使用Spring Boot + Kafka实现分布式事务 - Piotr

2098 1 21K
在本文中,您将学习如何在 Spring Boot 应用程序中将 Kafka 事务与 Spring Kafka 项目一起使用。为了运行 Kafka 集群,我们将使用Upstash。如果您想自己尝试一下,.

使用Spring WebFlux和Reactive Kafka实现后端服务器发送事件

2071 1 4K

以非阻塞方式从基于 Kafka 的响应式 WebFlux REST 服务器到 Webflux 客户端的数据流。以下设计的架构可用于: 近乎实时地将数据推送到外部或内部应用程序。 将数据推送到文件上并将.

Dendrite项目从Kafka迁移到NATS

1236 2

Matrix 是建立在分布式数据结构之上的实时通信联合协议,Dendrite是一个按照微服务架构建立的Matrix家庭服务器的实现。我们使用 Kafka 作为在微服务组件之间分发事件和异步任务的一种手.

有状态流处理和流数据库两种数据处理方式比较

1282 3K

长期以来,在有状态流处理器和流数据库之间进行选择一直是一个有争议的问题。一个流处理应用程序是一个DAG(直接无环图),其中每个节点是一个处理步骤。你通过编写单独的处理函数来编写DAG,这些函数在数据流.

在kubernetes上通过Knative服务和FastAPI消费使用 Kafka事件

1608 1 13K
分享我使用Knative设置事件驱动架构的经验和工作流程。我现在构建的大多数最近的应用程序都严重依赖于 Kafka 和 Kubernetes,长话短说,这最终会产生一个向主题发送事件的生产者和一个消费.

在事件驱动管道中设计弹性系统

1502 1
我为我们的金融科技软件设计了事件驱动的架构。它由三个部分组成。第一部分有一个同步过程,第二部分和第三部分有异步操作。响应回复客户端后,将Kafka(消息代理)的最终结果发送到第二部分和第三部分。在第二.

监控和检查Kafka健康运行的几个方法 - Ivelina

2667 10K

微服务通常使用发送或回复心跳/健康检查的模型作为向报告、调度或编排服务提供状态信息的一种方式。这些不仅在应用程序的正常生命周期中很重要,而且在新版本推出期间也很重要。我们将看看如何使用不同的库和抽象来.

如何用事件总线实现数据合约?- mehdio

859 2K

如果您从事数据工作,那么您很有可能多次遇到这个问题:数据是错误的,您不知道为什么。数据上游似乎有问题,但是您的内部同事都不知道为什么,我们该怎么办?我们应该联系谁?由于数据不是一等公民,数据团队大多开.

如何在 Kubernetes 上运行 Redpanda?

1163

Redpanda 是一个开发人员优先的流数据平台,兼容 Kafka -API、无 ZooKeeper、无 JVM、Jepsen 测试和可用源。速度提高 10 倍,硬件效率提高 6 倍。您可以用 Red.

实时大数据分析:不能再忽视 CDC

1627 1

如果您参与实时分析,就不能再忽视“更改数据捕获(简称CDC)”。一些最流行和最先进的架构现在建立在基于 CDC 的解决方案之上。让我们探索是什么让 CDC 如此受欢迎,看看它将如何影响您的商业模式和项.

Eats数据平台:用数据赋能企业

1435 4K
在线食品订购和配送是一个竞争激烈的市场,速度是生存的关键。Coupang Eats(简称Eats)是韩国电商巨头Coupang的外卖子公司。在这篇文章中,我们将详细介绍 Eats 数据平台团队如何构建.

Homepoint公司使用Kafka改进其单体数据库架构

1640 1 2K
Homepoint 是一家位于美国的大型抵押贷款批发商和贷方。Homepoint 的软件平台团队需要找到数据库自动化解决方案并改进其单体数据库架构,以提高质量和更快地响应客户。该公司原来使用其贷款发放.

基于Kafka的六种事件驱动的微服务架构模式 -Wix

1690 1 12K
在过去的一年里,我一直是负责Wix的事件驱动消息基础设施(基于Kafka之上)的数据流团队的一员。该基础设施被 1400 多个微服务使用。在此期间,我已经实现或目睹了事件驱动消息传递设计的几个关键模式.

DoorDash使用 Kafka 和 Flink 构建可扩展的实时事件处理

1181 11K
在 DoorDash,实时事件是深入了解我们业务的重要数据源,但构建能够处理数十亿实时事件的系统具有挑战性。事件由我们的服务和用户设备生成,需要处理并传输到不同的目的地,以帮助我们在平台上做出数据驱动.

使用Debezium、Kafka和Apache Pinot实现基于CDC的数据插入修改Upsert

1334 4K
如何构建流数据管道以捕获 MySQL 数据库更改并通过 Debezium 和 Kafka 将它们流式传输到 Apache Pinot?Upserting意味着如果记录不存在则将其插入数据库中,或者如果.

探索Kafka消费者的内部结构

1078 4K
Adobe使用Kafka处理数据的流量规模:310B msg/day,300 TB/day IN和920 TB/day OUT,今天我们将分享我们在 Kafka Client 内部的专业知识。Kafk.

以事务方式发送 Kafka 消息

2198 1 5K
在自 2016 年以来,我们在 Mirakl 开始使用 Kafka 作为消息服务,以支持我们在微服务环境中的异步驱动架构。起初,Kafka 仅用于非关键服务,如电子邮件、审计或日志记录。这是一种安全的.

Udemy在Apache Kafka上引入热重试和冷重试

1151 1 3K
Udemy Payments Team中关于如何使用 Apache Kafka  的非阻塞重试来构建容错事件传递系统的概述Udemy 平台上有超过 4600 万学生和 64400 万课程注册,每天都有.

Apache Kafka重试和维护重试事件的顺序

1568 7K
重试非常重要,尤其是在微服务系统中,这些服务必须经常协作才能处理请求。如果一个服务只中断了几秒钟会发生什么?其他服务应该在放弃之前向客户抛出错误或重试多次。举个简单的例子:通过http链式调用的服务:.

Cloudflare使用Apache Kafka处理1万亿条消息

1006 4K
Cloudflare 自 2014 年以来一直在生产中使用 Kafka。从那时起,我们已经取得了长足的进步,目前跨多个数据中心运行 14 个不同的 Kafka 集群,大约有 330 个节点。在他们之间.

形象生动可视化Kafka工作情景的工具

813

Apache Kafka 是一个分布式事件流平台。使用softwaremill这个工具(点击标题),您可以模拟数据如何通过复制的 Kafka 主题流动,从而更好地了解消息处理模型。.

从Debezium到Snowflake在生产中构建数据复制的经验教训 - Shippeo

1133 5K
Snowflake 和 Debezium 在现代数据堆栈中获得了当之无愧的地位,现在很容易找到有关使用这些技术的在线资源。在这篇博客中,我们更进一步,回顾了我们(在 Shippeo)使用 Debezi.

terraform-provider-kafka:用于管理Kafka主题和ACL

1075

Terraform是许多基础设施即代码专家中的流行工具。毫不奇怪,它也有 Kafka 资源的 TF 提供程序安装:terraform-provider-kafka可在 terraform 注册表中找到.

topicctl:Kafka主题声明式管理工具

991

用于轻松、声明式管理 Kafka 主题的工具。包括从 YAML “应用”主题更改的能力,以及用于对代理、主题、消费者组、消息等进行交互式探索的 repl。通过标准工具管理 Kafka 主题可能很乏味且.

使用JulieOps管理Kafka自动化部署?

1010 2K

当试图建立一个自动化的Kafka平台时,有一个问题是 "我如何管理我的Kafka Artefacts?"。在这篇文章中,我们谈论了一个我们目前在不同项目中使用的解决方案,在未来的文章中,我们打算更详细.

kafkaer:基于模板的 Kafka 主题/集群/ACL 管理自动化

935

如果在生产环境中运行kafka,需要手动创建集群、主题、连接器等既乏味又容易出错。如果能更好地依赖于您放入修订控制并以自动化方式应用的声明性配置就自动化了。Kafkaer 是 Apache Kafka.

探索 Kafka Producer 的内部结构 - Alex

1035 3K

Adobe Experience Platform Pipeline是一个低延迟、基于 Kafka 的流系统。管道连接数百个 Adob​​e 组件和系统。我们的 Kafka 集群处理310B msg/.