Kafka消息系统

  

删除Kafka无用主题可提升40%性能

22-12-01 341 1k

linkedin启动TopicGC删除Kafka不用的topic后,已经删除了近20%的topic,大大降低了Kafka集群的元数据压力。客户端请求性能提高了 40% 左右,CPU 使用率降低了 3... 详细

covrom/redispubsub:Redis Streams的发布订阅驱动程序

22-11-28 409

Go语言·的 package pubsub 提供了一种简单且可移植的方式来与发布/订阅系统进行交互。这个项目驱动是基于pubsub的Redis 驱动程序,使用 Redis Streams,此驱动程... 详细

Apache Kafka 12个最佳实践

22-11-27 889 1k

Apache Kafka,也被称为Kafka,是一个企业级的消息传递和流媒体代理系统。Kafka是一项伟大的技术,可用于 架构 和建立实时数据管道和流媒体应用程序。 我强烈建议架构师们熟悉Kaf... 详细

基于CDC实现源数据库和派生数据库之间的强数据一致性

22-11-22 576 1k

在源数据库和派生数据库之间保持强数据一致性对于基于CDC的流数据管道至关重要。目标数据库必须反映对源数据库所做的最新更改,因为数据更改速度很快。 像Apache Pinot这样的实时OLAP数据库利... 详细

schema_registry_converter:使用Rust编写的Kafka Schema Registry

22-11-21 564 1k

消息是作为记录存储在 Kafka 上:记录有一个值和一个可选的键,它们都是二进制格式。 另一个重要的事实是 Kafka 使用主题来拆分消息。一个主题可能存在多个主题分区,用于使其可扩展。部分配置是特... 详细

Coinbase如何改造基础设施中Kafka?

22-11-21 588 6k
在2020年和2021年,Coinbase的数据团队在AWS MSK、开源的Kafka Connect和Airflow ETL的基础上塑造了一个通用的Kafka基础设施,以增强工程师对事件流、数据分... 详细

debezium官方分布式事务Saga案例源码

22-11-17 694
此示例演示如何使用变更数据捕获以安全可靠的方式实现 Saga 模式,以实现跨多个 微服务 的 分布式事务 。 基于 . 详细

Uber实时数据基础设施:分布式计算架构

22-11-09 778 1 8k
Uber 的实时数据基础设施: Apache Kafka 用于流式存储, Flink 用于流处理, Pinot 用于 OLAP, HDFS 用于归档存储, Presto 用于交互式查询... 详细

使用Spring Boot + Kafka实现分布式事务 - Piotr

22-10-30 766 1 21k
在本文中,您将学习如何在 Spring Boot 应用程序中将 Kafka 事务与 Spring Kafka 项目一起使用。为了运行 Kafka 集群,我们将使用 Upstash 。 如果您想自己尝... 详细

使用Spring WebFlux和Reactive Kafka实现后端服务器发送事件

22-10-06 954 1 4k

以非阻塞方式从基于 Kafka 的响应式 WebFlux REST 服务器到 Webflux 客户端的数据流。 以下设计的 架构 可用于: 近乎实时地将数据推送到外部或内部应用程序。 将... 详细

Dendrite项目从Kafka迁移到NATS

22-10-06 333 1k

Matrix  是建立在分布式数据结构之上的实时通信联合协议,Dendrite是一个按照 微服务 架构 建立的Matrix家庭服务器的实现。 我们使用 Kafka 作为在微服务... 详细

有状态流处理和流数据库两种数据处理方式比较

22-09-30 425 3k

长期以来,在有状态流处理器和流数据库之间进行选择一直是一个有争议的问题。 一个流处理应用程序是一个DAG(直接无环图),其中每个节点是一个处理步骤。你通过编写单独的处理函数来编写DAG,这些函数... 详细

在kubernetes上通过Knative服务和FastAPI消费使用 Kafka事件

22-09-21 980 1 13k
分享我使用Knative设置事件驱动 架构 的经验和工作流程。 我现在构建的大多数最近的应用程序都严重依赖于 Kafka 和 Kubernetes,长话短说,这最终会产生一个向主题发送事件的生... 详细

在事件驱动管道中设计弹性系统

22-09-15 929 1 2k
我为我们的金融科技软件设计了事件驱动的 架构 。它由三个部分组成。 第一部分有一个同步过程, 第二部分和第三部分有 异步 操作。响应回复客户端后,将Kafka(消息代理)的最终结果发送到第二... 详细

监控和检查Kafka健康运行的几个方法 - Ivelina

22-09-14 672 10k

微服务通常使用发送或回复心跳/健康检查的模型作为向报告、调度或编排服务提供状态信息的一种方式。这些不仅在应用程序的正常生命周期中很重要,而且在新版本推出期间也很重要。 我们将看看如何使用不同的库和抽... 详细

共有 2101 2 3 4 ... 14 下一页