消息队列教程

     

Apache Pulsar分布式事务机制

1364

Pulsar 事务 (txn) 使事件流应用程序能够在一个原子操作中消费、处理和生成消息。开发此功能的原因可以总结如下。随着流处理的兴起,对具有更强处理保障的流处理应用的需求也随之增长。例如,在金融行.

Rust中的后台作业 - kerkour

1271 3K

对于经常性工作(又名 CRON 工作),我个人使用lightspeed_scheduler: let job = Job::new("kernel", "dispatch_delete_old_dat.

分布式后台作业调度器JobRunr介绍 - JAXenter

3531 1 6K

JobRunr 分析所有作业并将其序列化为 SQL 或 NoSQL 数据库的可读 JSON。如果创建了太多后台作业,您可以通过启动更多应用程序实例来水平扩展。由于作业以 JSON 格式存储在中央数据库.

什么是分布式系统的利特尔定律? - nurkiewicz

1569

利特尔定律(Little's law)是一个令人震惊的方程式,它非常简单,但它可以为你的分布式系统的能力带来惊人的洞察力。举例:首先,假设我们去一个杂货店。想象一下,有一个店员,平均在四分钟内处理一个.

Procrastinate:基于PostgreSQL的Python任务队列

1141

Procrastinate 是一个开源的 Python 3.7+ 分布式任务处理库,利用 PostgreSQL 来存储任务定义、管理锁和调度任务。它可以在同步和异步代码中使用。换句话说,从你的主代码中.

微服务基准测试:Chronicle Queue比Kafka快750倍?

1761 1

比较 Chronicle Queue 和 Apache Kafka 的一个有趣的基准测试,请注意:对于极其重视低延迟应用程序,kafka 可能不是最佳适合工具,Kafka适合高吞吐量和大数据可扩展的应.

使用db-scheduler实现高性能持久队列

1791 3K

由于效率低下和可扩展性的限制,使用数据库作为队列历来被认为是一种反模式,但另一方面,不将数据分布在多个数据存储上也有巨大的好处。在这篇博文中,我将讨论利弊,探讨人们对现代数据库的预期限制以及哪些优化使.

Facebook的分布式优先级队列FOQS

1907

Facebook 有序队列服务 (FOQS)是一种完全托管的分布式优先级队列服务,用于在许多服务之间进行可靠的消息传递。FOQS 已从区域部署发展为地理分布的全球部署,以帮助确保存储在逻辑队列中的数据.

比较Apache Pulsar 和Apache Kafka:统一排队和流式传输 - splunk

1365 3K

消息传递模型是用户在选择流式消息传递系统时应该考虑的第一件事。消息传递模型应涵盖以下 3 个方面: 消息消费 - 消息是如何发送和消费的? 消息确认 - 如何确认消息? 邮件保留 - 邮件保留多长时间.

使用Chronicle Queue创建低延迟的TB级别的队列 - DZone

2814 1 4K

本文介绍如何使用开源 Chronicle Queue创建巨大的持久队列,同时保持可预测和一致的低延迟。在本文中,目标是维护来自市场数据馈送的对象队列(例如,在交易所交易的证券的最新价格)。也可以选择其.

如何使用Rust的gaffer实现优先级的微批处理调度器 - njk

908 2K

Surve Mobility是一个为共享出行服务提供商提供全方位服务的车队运营,我们从客户那里接收任务,例如充电、清洁、补充耗材等。根据客户和任务,这些任务会在整个过程中一一接收在一天的过程中,在每天.

coleifer/huey:python 的一个小任务队列

1128

Huey是: 一个任务队列(2019-04-01:2.0版本发布) 用 python (2.7+, 3.4+) 编写 干净简单的API redis、sqlite、文件系统或内存存储 多进程、多线程或 .

用 《异星工厂》游戏形象理解Apache Kafka - Ruurtjan

1153 4K
Factorio异星工场 是一个开放世界的 RTS,您可以在其中构建和优化供应链以发射卫星并恢复与您的家乡星球的通信,而 Kafka 是一个分布式流媒体平台,它处理异步通信一种持久的方式。我想知道 在.

MemQ:可替代Kafka的高效、可扩展的云原生PubSub系统

2406 2K

这篇博文介绍了 MemQ,这是一种为 Pinterest 的云开发的高效、可扩展的 PubSub 系统,自 2020 年中期以来一直为我们提供近实时数据传输用例,并补充了 Kafka,同时成本效率提高.

Java中不可变的队列如何实现? - XP123

945 3K

函数式语言通常具有不可变的数据类型——一旦创建了对象,您就无法更改它,尽管您可以将其作为其他对象的一部分包含在内。不可变对象更容易推理,并防止代码的两部分认为它们具有更改数据的独占访问权限的错误。我们.

基于asyncio和redis的Python分布式任务队列

1211 2K

aiorq 是一个带有 asyncio 和 redis 的分布式任务队列,由 arq 重写以进行改进并包含 Web 界面。要求 Redis >= 5.0 aioredis>=1.1.0 <2.0.0 .

如何在Java中使用Deque? - Java67

1190 3K

Queue 和 Deque的区别在于 ,您只能从 Queue 的后端添加元素,但可以在 Deque 的前端和后端添加元素。考虑你想实现一个售票柜台。人们可以从最后进入队列,并将从前面移除。而且,为了实.

基于Redis构建微服务的反应式架构 - bitsrc

1644 1 5K
如何使用 Redis 的特性来生成反应式数据流?Redis 是我遇到的最强大、最通用的技术之一。可悲的是,大多数人只知道它是因为它是一个很好的缓存解决方案。我们需要解决这个问题。特别是,我想向您展示您.

优步是如何使用Apache Flink和Kafka实现实时Exactly-Once广告事件处理?

1299 3K

优步最近推出了一项新功能:UberEats 上的广告。这种新能力带来了 Uber 需要解决的新挑战,例如广告拍卖、竞标、归因、报告等系统。本文重点介绍我们如何利用开源技术构建 Uber 的第一个“近实.

RPC 与消息传递——哪个更快? - Boike

2265 2 3K
有时开发人员只关心速度。忽略消息传递的所有其他优势,他们会问我们以下问题:RPC 不是比消息传递更快吗?RPC可能会有其他不同的术语或技术,如 REST、微服务、gRPC、WCF、Java RMI 等.

从消费者角度比较Kafka 与 RabbitMQ - OpenCredo

1090 1 7K

对于大型分布式系统,Kafka 往往是更好的选择。它可以更有效地横向扩展,为更大的场景实现更好的吞吐量,包括消费者离线和不可用时。RabbitMQ 非常适合具有较低延迟要求的系统,消费者可以跟上消息的.

微服务消息代理比较:Redis vs Kafka vs RabbitMQ - Mertcan

1267 1 2K

对微服务使用异步通信时,通常使用消息代理。代理确保不同微服务之间的通信可靠且稳定,消息在系统内得到管理和监控,并且消息不会丢失。您可以选择一些消息代理,它们的规模和数据功能各不相同。这篇博文将比较三种.

RabbitMQ推出类似Kafka的流Stream

2417 2

RabbitMQ 3.9 引入了一种新型数据结构:流。Streams 解锁了一组用例,使用“传统”队列实现这些用例可能很乏味。让我们在这篇文章中发现流如何扩展 RabbitMQ 的功能。RabbitM.

Java JMS 极简演示

972

这篇文章足够清楚并解释了 JMS 模式的主要思想。现在,Message Broker 几乎是每个企业应用程序的必备部分。使用的源代码位于此处。JMS 或 Java Messaging 服务是一种使用消.

使用PostgreSQL替代Redis实现队列、分布式锁和发布/订阅

4141 2K

两种常用架构: 用于数据存储的 PostgreSQL Redis 用于协调后台作业队列(以及一些有限的原子操作) Redis 非常棒,但如果我告诉你这个堆栈最常见的用例实际上可以只使用 Postgre.

企业客服沟通对话信息的开源大数据平台:airy

1414 2K

客服与客户之间沟通是每个企业的核心,每家公司都应该拥有自己的对话并以最佳方式利用他们的对话数据,同时考虑到客户的兴趣和隐私。Airy 是一个对话平台,主要为企业构建:大多数企业都有他们支持的各种对话应.

沃尔玛基于前后端的消息通知框架介绍和源码

1760 1 6K
微服务是一种流行的设计模式,其中一个大型应用程序被分解为多个独立且松散耦合的服务,这些服务通过预定义的接口相互通信;Walmart 的ML平台使用相同的原理构建: 部署在 Kubernetes 集群中.

一个就只是JMS的开源项目,没有Kafka和RabbitMQ!

688
这是一个理解消息系统的源码案例,只有JMS,没有使用复杂的Kafka和RabbitMQ!点击标题进入:.

CasaOne工程经验:我们是如何设计领域事件的? - Deepak

1174 1 5K
在分布式系统中,事件在解耦系统的不同组件方面起着重要作用。在本文中,我们讨论如何改进领域事件的设计以解决系统中的多个问题。 上下文CasaOne租赁平台由围绕其自己的有界上下文构建的多个服务组成。去年.

网上商店DDD系统的领域事件的消息流程与状态设计 - itnext

1286 16K
本文是SpringBoot + DDD + Apache Kafka实现最终一致性的教程与源码第四部分:这篇文章中说明了三种状态更改事件消息传递流程。对客户的更改动作会触发由Accounts服务生成的.