Dojo
话题
新佳
订阅
极道
元认知
元逻辑
元设计
元编程
元语言
Kafka消息系统教程
Spring Boot和Kafka实战自定义复杂配置示例
这篇博客文章展示了如何配置Spring Kafka和Spring Boot以使用JSON发送消息并以多种格式接收它们:JSON,纯字符串或字节数组。基于此配置,您还可以将Kafka生成器从发送JSON切换到其他序列化方法。此示例应用程序还演示了同一消费组中三个Kafka消费者的使用情
通过Kafka分布式事务实现微服务数据交换与发件箱模式
作为其业务逻辑的一部分,微服务通常不仅需要更新自己的本地数据存储,而且还需要向其他服务通知发生的数据更改。发件箱模式描述了一种让服务以安全和一致的方式执行这两项任务的方法; 它为源服务提供即时“读取您自己的写入”语义,同时提供跨服务边界的可靠,最终一致的数据交换。如果你已经构建了几个
什么是数据流?
数据流是一种数据分发技术,数据生成器将数据记录写入有序数据流,数据使用者可以从该数据流以相同的顺序读取数据。这是一个简单的数据流图,说明了数据生成器,数据流和数据使用者:
使用Spring Boot的Kafka消息机制实现请求响应模型
Spring Apache Kafka (spring-kafka)提供了基于卡夫卡的消息传递解决方案的高级抽象。传统的请求响应模型中,响应容易被堵塞,造成两个系统耦合,调用者需要等待到响应返回才能继续做自己的工作,这在分布式系统中,流量比较大情况下几乎不现实,使用消息模型只能每次请求一个消息,响应
如何为Kafka设置OAuth2安全机制?
随着Kafka版本2.0.0 的KIP-255(Kafka改进提案)的提交
Kafka消费者自动提交配置会导致潜在的重复或数据丢失!
在New Relic,我们使用Apache Kafka构建了管道的一些关键部分。多年来,我们遇到了很多
从单体到微服务再到事件驱动的演进图
为什么Twitter决定采用kafka作为其发布订阅系统?
Twitter系统的实时性质为Twitter工程团队带来了独特而具有挑战性的问题。我们需要快速发布突发新闻,向用户提供相关广告,并解决许多其他实时用例。Twitter的Pub / Sub系统为Twitter团队提供了处理此工作负载的基础架构。Twitter的Messaging团队过去
使用Elasticsearch作为主数据存储
荷兰和比利时最大的电子商务公司 bol.com开始了为期4年的重新思考和重建其整个ETL(提取,转换,加载) 管道的过程,该管道一直在阴暗的甲骨文 Oracle PL / SQL黑客的地牢中呼吸,处于腐烂状态,导致生产上的不断增加的短暂停顿。重写是不可避免的。在起草了许多蓝图后,我们
Spring Boot和Apache Kafka结合实现错误处理,消息转换和事务支持?
Spring为Kafka带来了熟悉的Spring编程模型。它提供了KafkaTemplate用于发布记录和用于异步执行POJO侦听器的侦听器容器。Spring Boot自动配置连接了大部分基础架构,因此您可以专注于业务逻辑。 错误恢
reactor-kafka:使用Reactor的反应性Kafka实现程序
这是使用Reactor的Kafka案例方式,生产者代码如下:
Spring Cloud Stream如何深度支持Apache Kafka?
Spring Cloud Stream提供了一种编程模型,可以立即连接到Apache Kafka。应用程序需要在其类路径中包含Kafka绑定器并添加一个名为的注释@EnableBinding,该注释将Kafka主题绑定到其输入或输出(或两者)。Spring Cloud Stream提
Spring Cloud Stream对Kafka Streams的深度支持
在编写流处理应用程序时,Spring Cloud Stream提供了另一个
优步是如何实现打车行程的会话状态机?
优步如何实时根据打车者的要求有效匹配到对应司机?这项挑战算法归为如何收集,存储和逻辑排列数据的问题。 通过预测打车者的需求,能够确保他只要很短的等待时间就能打到车,同时通过考虑流量和其他因素使司机尽可能有效地使用平台。
Apache Kafka和Spring Integration的使用
Apache Kafka当然是最常用的JMS代理,它有Apache Hadoop等分布式系统用于数据入口。与其他JMS代理相比,Apache Kafka的关键特性(从我的观点来看): Apache Kafka是无状态的,当您使用Kafka主题的消息时,它不会被删除。Kafka
基于Spring Integration的Apache Kafka JMS消费者
让我们总结一下从Apache Kafka编写JMS消费者时需要知道的基本功能: Kafka没有跟踪哪些消息被消费而言,Apache Kafka是无状态的。这是JMS消费者的责任。这种简单性使Kafka非常快。 Apache Kafka消息的JMS消费者者需要保持消息偏
关于使用Spring Boot的Kafka教程 - DZone大数据
关于Kafka背后的体系结构及其pub-sub模型的教程,以及我们如何使用流行的Java框架Spring Boot。Apache Kafka是一个分布式流媒体平台,具有发布和订阅记录流,以容错方式存储记录以及处理该记录流等功能。 它用于构建实时流数据管道,可以执行功能,例如将
Kubernetes+Docker系统的级联停机故障教训 - Dan Woods
Target的数据中心中运行了许多异构基础架构,为不同的工作负载提供多个不同的后端托管基础架构。其中大部分投入生产的基础架构是用于不同用例和应用程序开发和部署模式的遗留工件。比如
上页
下页
关闭