Dojo
话题
新佳
订阅
极道
元认知
元逻辑
元设计
元编程
元语言
Kafka消息系统教程
使用 Postgres、Debezium 和 Kafka 流式传输数据
通过流处理,我们可以在数据可用时持续处理数据我们以事件流的形式从事件源(例如数据库)实时捕获数据,并将数据移动到目标系统(例如数据仓库和数据库)。 什么是事件?事件就是你将数据概念化的时候。我这么说是什么意思?考虑一下下面的
Kafka已经成为一个成熟的ETL CDC数据管道平台
Apache Camel与Spring-boot和Kafka的集成开源案例
这是一个Apache Camel 与 Spring-boot 和 Kafka 集成,一个应用程序充当生产者,另一个应用程序使用消息,点击标题。 生产者和消费者: superhero-searcher(作为 Kafka 生产者) </
使用Kafka分区扩展Spring Batch大数据调度批处理 – Arnold
假设有一个您需要定期运行的流程,例如一天结束 (EOD)。假设这个流程中需要处理的数据量在不断增加。最初,你可以做一个非常简单的 Spring 调度(或者 Quartz 或者你有什么),它只执行一个方法,一次加载所有数据,处理所有数据并将结果写回数据库。如果读取的行数(例如从
Redpanda:用C++重写的Kafka
Redpanda 是对 Kafka 的 C++ 重写,提供与 Kafka API 的 100% 兼容性。Redpanda 不需要 Zookeeper 或 JVM,因此在生产中操作起来不太复杂。因此,更广泛的开发人员受众的可访问性。
优步分享基于Apache Kafka的Presto使用经验
Presto和 Apache Kafka 在 Uber 的大数据堆栈中发挥着关键作用。Presto 是查询联合的事实标准,已用于交互式查询、近实时数据分析和大规模数据分析。Kafka 是支持许多用例的数据流的骨干,例如发布/订阅、流处理等。
使用OpenTelemetry、Spring Cloud Sleuth、Kafka和Jaeger实现分布式跟踪
分布式跟踪可让您深入了解特定服务在分布式软件系统中作为整体的一部分是如何执行的。它跟踪和记录从起点到目的地的请求以及它们经过的系统。在本文中,我们将使用 OpenTelemetry、Spring Cloud Sleuth、Kafka 和 Jaeger 在三个 Spring Boot
Zilla:一个事件驱动的API网关
Zilla是一个用于事件流的开源 API 网关,Zilla 使用标准协议(例如 HTTP、Server-Sent Events 和 Kafka)将 Web 和移动应用程序连接到事件驱动的微服务。对 MQTT、gRPC、GraphQL、AMQP、WebSocket 和 WebHook
Spring Boot与运行在Kubernetes上的ksqlDB集成教程 - Piotr
在本文中,您将学习如何在 Kubernetes 上运行ksqlDB并将其与 Spring Boot 一起使用。您还将了解如何基于
flight-tracker-demo:一个Quarkus + Kafka演示源码项目
这个实时航班跟踪器演示展示如何使用Quarkus + Kafka架构,项目点击标题进入:
使用开源组件构建自动运维Kafka集群 - Slack
Slack团队使用 Cruise Control、Kafka Manager、Chef 和 Terraform 等开源组件大规模运行自我修复的 Kafka 集群。此外,使用标准 SRE 原则和适当的工具(如 Kafka Manager 和 Kafka offset exporter),可以使
使用 Redpanda、Quarkus 和 Testcontainers 进行本地开发 - piotr
在本文中,您将学习如何使用Redpanda和 Quarkus 加速本地开发。主要目标是展示您可以用 Redpanda 替换 Apache Kafka Ⓡ而无需对源代码进行任何更改
Pinterest使用MemQ、Singer和Kafka优化大数据摄取
在 Pinterest,Logging Platform 团队维护着每天摄取数 TB 数据的数据摄取基础设施的骨干。 MemQ:使用 Netty 实现内存高效的批量数据交付
贝莱德公司的现场可靠性工程
贝莱德是全球最大的资产管理公司,管理的资产超过 10 万亿美元。除了作为资产管理公司,贝莱德还是一家科技公司。他们向其他资产管理公司、银行、保险公司等出售各种软件。他们最大的产品是金融行业最受欢迎的投资管理软件平台Aladdin 阿拉丁。资产管理公司(银行、养老基金、对冲基金
Wix如何零停机将将2000个微服务迁移到多集群Kafka?
为了更轻松地将 2000 个微服务的生产者和消费者迁移到多个托管的 Kafka 集群,最初的设计依赖于首先完全排空每个数据中心(DC)的流量。这种设计意味着只需将生产者和消费者的连接细节切换到他们的新 Kafka 集群。由于 Wix 微服务使用 Greyhound 层连接到 Kafk
kafkaer:将 kafka主题和配置作为代码管理
Kafkaer 是 Apache Kafka 的部署和配置工具。它允许您跨多个环境自动创建/更新主题和代理。创建一个模板配置文件并使用不同的属性文件进行控制。目前的特点: 创建主题 更新现有主题的配置和分区 更新特定代理的配置 更新整个 kaf
优步的紧急按钮及其背后的技术
uber的紧急按钮的第一个版本于 2015 年在印度推出。原始系统允许乘客和司机在留在应用程序内的同时联系当地警察当局,并自动提醒区域支持团队主动联系用户。2018 年,该团队利用增强功能改进系统,例如在应用程序中显示实时位置信息、与当局共享旅行详细信息以及制作
Uber如何安全保护Kafka基础设施?
Uber 拥有世界上最大的 Apache Kafka 部署之一。它支持 Uber 的大量实时工作流,包括用于传递来自骑手和司机应用程序的事件数据的发布-订阅消息总线,以及后端服务之间的金融交易事件。由于 Kafka 构成了 Uber 核心工作流程的关键组件,因此保护从主题发布和订阅的数据以保
上页
下页
关闭