#kafka

      更多分类

Kubernetes+Docker系统的级联停机故障教训 - Dan Woods

19-01-17 10 banq

Tar​​get的数据中心中运行了许多异构基础架构,为不同的工作负载提供多个不同的后端托管基础架构。其中大部分投入生产的基础架构是用于不同用例和应用程序开发和部署模式的遗留工件。比如 目标应用平台(... 详细

基于Spring Integration的Apache Kafka JMS消费者

19-01-10 14 banq

让我们总结一下从Apache Kafka编写JMS消费者时需要知道的基本功能: Kafka没有跟踪哪些消息被消费而言,Apache Kafka是无状态的。这是JMS消费者的责任。这种简单性使K... 详细

Apache Kafka和Spring Integration的使用

19-01-10 18 banq

Apache Kafka当然是最常用的JMS代理,它有Apache Hadoop等分布式系统用于数据入口。与其他JMS代理相比,Apache Kafka的关键特性(从我的观点来看): Apac... 详细

使用Spring Boot的Kafka消息机制实现请求响应模型

18-12-28 104 1 banq

Spring Apache Kafka (spring-kafka)提供了基于卡夫卡的消息传递解决方案的高级抽象。传统的请求响应模型中,响应容易被堵塞,造成两个系统耦合,调用者需要等待到响应返回才能继... 详细

Kafka消费者自动提交配置会导致潜在的重复或数据丢失!

18-12-24 24 banq

在New Relic,我们使用Apache Kafka构建了管道的一些关键部分。多年来,我们遇到了 很多问题, 并设计了管理Kafka集群的 最佳实践 。我们已经从中学到了很多关于Ka... 详细

如何为Kafka设置OAuth2安全机制?

18-12-21 14 banq

随着Kafka版本2.0.0 的 KIP-255 (Kafka改进提案)的提交,现在我们可以使用SASL(简单认证和安全层)OAUTHBEARER来验证客户端到代理或中间人身份验证。 先决条件 ... 详细

什么是数据流?

18-12-12 36 banq

数据流是一种数据分发技术,数据生成器将数据记录写入有序数据流,数据使用者可以从该数据流以相同的顺序读取数据。这是一个简单的数据流图,说明了数据生成器,数据流和数据使用者: 数据流有很多种变化 ... 详细

优步是如何实现打车行程的会话状态机?

18-12-06 182 1 banq

优步如何实时根据打车者的要求有效匹配到对应司机?这项挑战算法归为如何收集,存储和逻辑排列数据的问题。 通过预测打车者的需求,能够确保他只要很短的等待时间就能打到车,同时通过考虑流量和其他因素使司机... 详细

使用Elasticsearch作为主数据存储

18-12-01 70 banq

荷兰和比利时最大的电子商务公司 bol.com开始了为期4年的重新思考和重建其整个ETL(提取,转换,加载) 管道的过程,该管道一直在阴暗的甲骨文 Oracle PL / SQL黑客的地牢中呼吸,处... 详细

为什么Twitter决定采用kafka作为其发布订阅系统?

18-11-30 177 3 banq

Twitter系统的实时性质为Twitter工程团队带来了独特而具有挑战性的问题。我们需要快速发布突发新闻,向用户提供相关广告,并解决许多其他实时用例。Twitter的Pub / Sub系统为Twi... 详细

Spring Boot和Kafka实战自定义复杂配置示例

18-11-28 188 banq

这篇博客文章展示了如何配置Spring Kafka和Spring Boot以使用JSON发送消息并以多种格式接收它们:JSON,纯字符串或字节数组。基于此配置,您还可以将Kafka生成器从发送JSO... 详细

如何从MySQL中将变化的事件数据发布到Kafka?

18-11-26 87 banq

如何使用Debezium向Kafka提交MySQL的更改数据事件?  CDC(变更数据捕获) 是将OLTP数据库系统与其他系统(如数据仓库,缓存,Spark或Hadoop)互连的最佳方式之一。 ... 详细

通过Docker在自己电脑上启动Kafka

18-11-19 43 banq

想Apache Kafka在你自己的电脑上运行,需要Docker,docker-compose,一些磁盘空间和互联网连接。我们将使用来自 https://www.confluent.io/的  Ka... 详细

如何在Spring Boot应用程序中使用Apache Kafka?

18-11-02 26 banq

第1步:生成我们的项目:  Spring Initializr 来生成我们的项目。我们的项目将提供Spring MVC / Web支持和Apache Kafka支持。 第2步:发布/读取Kafka主... 详细

使用Kafka实现事件溯源

18-10-31 224 1 banq

EventSourcing事件溯源是存储实体相关的事件流(实则是明细表),而不是直接存储实体的“当前”状态。每个事件都是一个事实,它描述了实体发生的状态变化(过去时态!)。众所周知,事实是无可争议的... 详细

共有 411 2 3 下一页