消息队列系统 https://www.jdon.com/tag-26269/ 消息队列系统 《KIP-932:Queues for Kafka》于7天前发布。 https://www.jdon.com/66496.html Kafka的队列Queues 是目前讨论的最热门的新功能! 传统的队列系统是这样一种系统: - 多个消费者从同一队列读取(pub-sub) - 一个特定的消费者从一个特定的生产者读取(点对点) 消息通常被存储,直到它们被消费一次--队列有一个最大深度。 Kafka从未支持过这样的传统排队。 它的优势之一恰恰是生产者和消费者之间的脱钩。 一个糟糕的消费者对生产者的影响几乎为零。(除非它导致Kafka从磁盘读取并耗尽IO) 这种方法的一个痛点是消费者组与主题中的分区数量相关联。 如果您有一个包含10个分区的主题,则不能扩展到超过10个消费者。 所以,人们通常过度分割。 但对于.. Kafka消息系统 消息队列系统 发布订阅模式 异步编程 Tue, 23 May 2023 10:18:00 GMT https://www.jdon.com/66496.html banq 2023-05-23T10:18:00Z 为什么我们放弃 RabbitMQ 并用 Postgres 队列取而代之? https://www.jdon.com/66350.html 我们最近从我们的系统中删除了 RabbitMQ,并将其替换为构建在我们的 Postgres 数据库之上并用 SQL 编写的队列。 它极大地提高了我们系统的可靠性和弹性。这是对这一变化、其背后的基本原理以及我们是如何做到的的记录。 注意:这不是对 RabbitMQ 或其他队列系统的控诉。很有可能(很可能,真的)我们的判断是错误的。 让我们简要地谈谈为什么我们首先需要一个队列。Prequel 是一个大规模数据管道:我们帮助 B2B SaaS 公司将数据同步到客户的数据库或从客户的数据库同步数据。换句话说,我们的业务包括在各种数据库和仓库之间运行数据传输。这些传输中的每一个都可以建模为一个作.. RabbitMQ 消息队列系统 PostgreSQL ESB消息总线技术 Tue, 02 May 2023 23:30:00 GMT https://www.jdon.com/66350.html banq 2023-05-02T23:30:00Z 使用Kafka 和 Spring Boot 实现并发编程 https://www.jdon.com/66301.html 本文将教您如何使用 Spring Boot 和 Spring for Kafka 为 Kafka 消费者配置并发。Spring for Kafka 的并发与Kafka 分区和消费者组密切相关。消费者组中的每个消费者都可以从多个分区接收消息。组内的消费者使用单个线程,而消费者组使用多个线程来消费消息。虽然每个消费者都是单线程的,但记录的处理可以利用多个线程。我们将分析如何用Spring Boot和Spring for Kafka来实现。 GitHub  存储库 。no-transactions-service目录 先决条件 我们将在今天的练习中使用三种不同的工具。当然,我们将使用最新.. 并发编程 SpringBoot框架 Kafka消息系统 消息队列系统 Sun, 30 Apr 2023 22:14:00 GMT https://www.jdon.com/66301.html banq 2023-04-30T22:14:00Z Meta自适应LIFO概念 https://www.jdon.com/65942.html Facebook在队列中使用了自适应LIFO的概念: - 它们在正常情况下使用FIFO顺序 - 他们在高负荷下改用后进先出顺序 理由呢?通过在高负载下保持FIFO顺序,用户可能已经放弃了他们的请求。 因此,处理先入请求意味着将资源花费在与刚刚到达的请求相比不太可能使用户受益的请求上。 它既保持了先进先出法的公平性,又保持了后进先出法的实用性。 如果负载很低,那么LIFO和FIFO之间没有太大的区别,因为队列大部分时间都是空的。 它作为减载的替代解决方案之一 详细点击标题 消息队列系统 分布式缓存 Redis缓存内存数据库 并发编程 Tue, 11 Apr 2023 01:02:00 GMT https://www.jdon.com/65942.html banq 2023-04-11T01:02:00Z Redis、Kafka 与 RabbitMQ 对比 https://www.jdon.com/65791.html 当为 微服务 使用 异步 通信时,通常使用消息代理。代理确保不同微服务之间的通信可靠和稳定,消息在系统内得到管理和监控,并且消息不会丢失。您可以选择一些消息代理,它们的规模和数据功能各不相同。 这篇博文将比较三种最流行的代理:RabbitMQ、Kafka 和 Redis。 微服务通信:同步和异步 微服务之间有两种常见的通信方式:同步和异步。在同步通信中,调用方在发送下一条消息之前等待响应,它作为 HTTP 之上的 REST 协议运行。相反,在异步通信中,消息在不等待响应的情况下发送。这适用于 分布式系统 ,通常需要消息代理来管理消息。 您选择的通信类型应考虑不同的参数.. Redis缓存内存数据库 Kafka消息系统 RabbitMQ 消息队列系统 Mon, 03 Apr 2023 00:37:00 GMT https://www.jdon.com/65791.html banq 2023-04-03T00:37:00Z