消息队列教程
Apache Pulsar分布式事务机制
Pulsar 事务 (txn) 使事件流应用程序能够在一个原子操作中消费、处理和生成消息。开发此功能的原因可以总结如下。随着流处理的兴起,对具有更强处理保障的流处理应用的需求也随之增长。例如,在金融行.
Rust中的后台作业 - kerkour
对于经常性工作(又名 CRON 工作),我个人使用lightspeed_scheduler: let job = Job::new("kernel", "dispatch_delete_old_dat.
分布式后台作业调度器JobRunr介绍 - JAXenter
JobRunr 分析所有作业并将其序列化为 SQL 或 NoSQL 数据库的可读 JSON。如果创建了太多后台作业,您可以通过启动更多应用程序实例来水平扩展。由于作业以 JSON 格式存储在中央数据库.
什么是分布式系统的利特尔定律? - nurkiewicz
利特尔定律(Little's law)是一个令人震惊的方程式,它非常简单,但它可以为你的分布式系统的能力带来惊人的洞察力。举例:首先,假设我们去一个杂货店。想象一下,有一个店员,平均在四分钟内处理一个.
Procrastinate:基于PostgreSQL的Python任务队列
Procrastinate 是一个开源的 Python 3.7+ 分布式任务处理库,利用 PostgreSQL 来存储任务定义、管理锁和调度任务。它可以在同步和异步代码中使用。换句话说,从你的主代码中.
微服务基准测试:Chronicle Queue比Kafka快750倍?
比较 Chronicle Queue 和 Apache Kafka 的一个有趣的基准测试,请注意:对于极其重视低延迟应用程序,kafka 可能不是最佳适合工具,Kafka适合高吞吐量和大数据可扩展的应.
使用db-scheduler实现高性能持久队列
由于效率低下和可扩展性的限制,使用数据库作为队列历来被认为是一种反模式,但另一方面,不将数据分布在多个数据存储上也有巨大的好处。在这篇博文中,我将讨论利弊,探讨人们对现代数据库的预期限制以及哪些优化使.
Facebook的分布式优先级队列FOQS
Facebook 有序队列服务 (FOQS)是一种完全托管的分布式优先级队列服务,用于在许多服务之间进行可靠的消息传递。FOQS 已从区域部署发展为地理分布的全球部署,以帮助确保存储在逻辑队列中的数据.
比较Apache Pulsar 和Apache Kafka:统一排队和流式传输 - splunk
消息传递模型是用户在选择流式消息传递系统时应该考虑的第一件事。消息传递模型应涵盖以下 3 个方面: 消息消费 - 消息是如何发送和消费的? 消息确认 - 如何确认消息? 邮件保留 - 邮件保留多长时间.
使用Chronicle Queue创建低延迟的TB级别的队列 - DZone
本文介绍如何使用开源 Chronicle Queue创建巨大的持久队列,同时保持可预测和一致的低延迟。在本文中,目标是维护来自市场数据馈送的对象队列(例如,在交易所交易的证券的最新价格)。也可以选择其.
如何使用Rust的gaffer实现优先级的微批处理调度器 - njk
Surve Mobility是一个为共享出行服务提供商提供全方位服务的车队运营,我们从客户那里接收任务,例如充电、清洁、补充耗材等。根据客户和任务,这些任务会在整个过程中一一接收在一天的过程中,在每天.
coleifer/huey:python 的一个小任务队列
Huey是: 一个任务队列(2019-04-01:2.0版本发布) 用 python (2.7+, 3.4+) 编写 干净简单的API redis、sqlite、文件系统或内存存储 多进程、多线程或 .
用 《异星工厂》游戏形象理解Apache Kafka - Ruurtjan
MemQ:可替代Kafka的高效、可扩展的云原生PubSub系统
这篇博文介绍了 MemQ,这是一种为 Pinterest 的云开发的高效、可扩展的 PubSub 系统,自 2020 年中期以来一直为我们提供近实时数据传输用例,并补充了 Kafka,同时成本效率提高.
Java中不可变的队列如何实现? - XP123
函数式语言通常具有不可变的数据类型——一旦创建了对象,您就无法更改它,尽管您可以将其作为其他对象的一部分包含在内。不可变对象更容易推理,并防止代码的两部分认为它们具有更改数据的独占访问权限的错误。我们.
基于asyncio和redis的Python分布式任务队列
aiorq 是一个带有 asyncio 和 redis 的分布式任务队列,由 arq 重写以进行改进并包含 Web 界面。要求 Redis >= 5.0 aioredis>=1.1.0 <2.0.0 .
如何在Java中使用Deque? - Java67
Queue 和 Deque的区别在于 ,您只能从 Queue 的后端添加元素,但可以在 Deque 的前端和后端添加元素。考虑你想实现一个售票柜台。人们可以从最后进入队列,并将从前面移除。而且,为了实.
基于Redis构建微服务的反应式架构 - bitsrc
优步是如何使用Apache Flink和Kafka实现实时Exactly-Once广告事件处理?
优步最近推出了一项新功能:UberEats 上的广告。这种新能力带来了 Uber 需要解决的新挑战,例如广告拍卖、竞标、归因、报告等系统。本文重点介绍我们如何利用开源技术构建 Uber 的第一个“近实.
RPC 与消息传递——哪个更快? - Boike
从消费者角度比较Kafka 与 RabbitMQ - OpenCredo
对于大型分布式系统,Kafka 往往是更好的选择。它可以更有效地横向扩展,为更大的场景实现更好的吞吐量,包括消费者离线和不可用时。RabbitMQ 非常适合具有较低延迟要求的系统,消费者可以跟上消息的.
微服务消息代理比较:Redis vs Kafka vs RabbitMQ - Mertcan
对微服务使用异步通信时,通常使用消息代理。代理确保不同微服务之间的通信可靠且稳定,消息在系统内得到管理和监控,并且消息不会丢失。您可以选择一些消息代理,它们的规模和数据功能各不相同。这篇博文将比较三种.
RabbitMQ推出类似Kafka的流Stream
RabbitMQ 3.9 引入了一种新型数据结构:流。Streams 解锁了一组用例,使用“传统”队列实现这些用例可能很乏味。让我们在这篇文章中发现流如何扩展 RabbitMQ 的功能。RabbitM.
Java JMS 极简演示
这篇文章足够清楚并解释了 JMS 模式的主要思想。现在,Message Broker 几乎是每个企业应用程序的必备部分。使用的源代码位于此处。JMS 或 Java Messaging 服务是一种使用消.
使用PostgreSQL替代Redis实现队列、分布式锁和发布/订阅
两种常用架构: 用于数据存储的 PostgreSQL Redis 用于协调后台作业队列(以及一些有限的原子操作) Redis 非常棒,但如果我告诉你这个堆栈最常见的用例实际上可以只使用 Postgre.
企业客服沟通对话信息的开源大数据平台:airy
客服与客户之间沟通是每个企业的核心,每家公司都应该拥有自己的对话并以最佳方式利用他们的对话数据,同时考虑到客户的兴趣和隐私。Airy 是一个对话平台,主要为企业构建:大多数企业都有他们支持的各种对话应.