Kafka消息系统教程

     

如何对Kafka 中的消息实现优先分级?

6425 3 4K

果您了解内部原理,那么您可能想知道如何在 Kafka 中实现消息优先级。因为,就其工作方式而言,Kafka 无法直接实现此用例。如果你真的是 Kafka 的新手,那么一定要坚持到文章结束。我将尽力分享.

用 《异星工厂》游戏形象理解Apache Kafka - Ruurtjan

1141 4K
Factorio异星工场 是一个开放世界的 RTS,您可以在其中构建和优化供应链以发射卫星并恢复与您的家乡星球的通信,而 Kafka 是一个分布式流媒体平台,它处理异步通信一种持久的方式。我想知道 在.

Twitter如何升级Hadoop+Kafka架构实现实时处理数十亿个事件?

1107 3K
在Twitter,我们每天实时处理大约 4000 亿个事件并生成 PB 级数据。我们消费数据的事件源有很多种,它们在不同的平台和存储系统中产生,例如 Hadoop、Vertica、Manhattan .

事件流平台Kafka、Pulsar和RabbitMQ比较 - Picnic

1854 1 3K

让我们首先将事件定义为机器可读数据,当发生某些事情时,设备或服务会发出该数据,例如,客户在应用程序中单击。事件流是单个事件或小批量事件从生产者到消费者的代理和传输过程。事件流平台正在接收、即时转换事件.

微服务选择哪个消息代理:RabbitMQ、Kafka和Redis? - Payoda

1222 1

在选择代理来执行异步操作时,您应该考虑以下几点:Broker Scale — 系统内每秒发送的消息数。消费者效率——在管理一对一和/或一对多消费者方面是否有效。数据持久性——恢复消息的能力。 Rabb.

配置Apache Kafka生产者参数以获得高可用性和弹性 - Nabraj

1114 4K
Apache kafka以其弹性、容错性和高吞吐量而闻名。但它的表现并不总是满足所有人的期望。在某些情况下,我们可以通过缩小或扩大代理规模来改进它。而在大多数情况下,我们必须玩配置游戏。在卡夫卡的生态.

使用Kafka重新架构电子商务系统 - Dina

1380 1 2K
示例是:向经过身份验证的用户显示产品页面,下图显示了在这种情况下如何执行请求。为经过身份验证的用户显示产品页面,请注意,必须执行五个请求,但我们应该只计算四个顺序请求。尽管如此,由于请求是以同步方式执.

如何在一周内使用Kafka+Redis构建分布式排行榜系统? - Aritra

1391 1 4K
这是 T20 世界杯赛季,我们想为我们的用户建立一个测验系统,用于短期预言预测。在比赛开始时要求用户预测场景,最后,主持人将提交所有预测场景中实际发生的情况。评分将根据谁回答正确以及回答所花费的时间进.

MemQ:可替代Kafka的高效、可扩展的云原生PubSub系统

2378 2K

这篇博文介绍了 MemQ,这是一种为 Pinterest 的云开发的高效、可扩展的 PubSub 系统,自 2020 年中期以来一直为我们提供近实时数据传输用例,并补充了 Kafka,同时成本效率提高.

edenhill/kcat:通用命令行非 JVM Apache Kafka 生产者和消费者

1398

kcat 是以前称为 kafkacat 的项目,kcat是 Apache Kafka >=0.8 的通用非 JVM 生产者和消费者,可以将其视为 Kafka 的 netcat。kafkacat 项目于.

避免CRUD思维泄漏DDD领域逻辑 - mscharhag

1624 1 4K

许多软件架构试图将域逻辑与应用程序的其他部分分开。为了遵循这种做法,我们总是需要知道什么是领域逻辑,什么不是。不幸的是,这并不总是那么容易分开。如果我们做出错误的决定,领域逻辑很容易泄漏到其他组件和层.

使用 Debezium 实现真正的原子微服务以确保数据一致性 – brainDOSE

3068 1 46K
传统的微服务发件箱模式实现需要开发人员手动创建发件箱事件表并编写代码将数据从发件箱表发送到相应的消息平台。Debezium 发件箱事件路由器和发件箱 Quarkus 扩展一起解决了这个问题,并通过声明.

如何克服 Apache Kafka中的数据顺序问题 - DATAVERSITY

2038 2 4K
通过了解 Apache Kafka 如何对数据进行排序,您可以确保您的数据或应用程序保持良好的工作状态。尽管Apache Kafka已经赢得了作为功能强大的分布式流媒体平台的声誉,但在确保按您希望的顺.

构建企业CDC数据湖解决方案 -DZone

1516 3K
CDC(Change Data Capture) 是一个软件过程,它捕获源数据库中所做的更改(DDL 和 DML)以同步另一个数据存储库,例如数据库、内存缓存、数据仓库或数据湖。CDC 用于本文不会讨.

provectus/kafka-ui: 开源Apache Kafka的Web GUI图形界面管理工具

3970 3

UI for Apache Kafka 是一个免费的开源 Web UI,用于监控和管理 Apache Kafka 集群。Apache Kafka 的 UI 是一个简单的工具,它使您的数据流变得可观察,.