实时大数据分析:不能再忽视 CDC


如果您参与实时分析,就不能再忽视“更改数据捕获(简称CDC)”。
一些最流行和最先进的架构现在建立在基于 CDC 的解决方案之上。让我们探索是什么让 CDC 如此受欢迎,看看它将如何影响您的商业模式和项目。

虽然云提供了许多好处,例如存储和灾难恢复,但它限制了您做出实时业务决策的能力。企业过去常常使用基于批处理的方法每天移动一次或多次数据。这引入了延迟。

更改数据捕获CDC记录表上的插入、更新、删除活动。这些信息可以写入基于日志的存储,如 Apache Kafka;不同的系统可以使用这些更改并以相同的顺序应用它们以实现数据库的当前状态。

写入日志的所有更改都可以由不同的系统以近乎实时的方式并行使用。更改数据捕获功能适用于所有主要的关系数据库。

要点:变更数据捕获是保持多个系统同步的有效方法。

Debezium 是一个用于变更数据捕获的开源分布式平台:
Debezium 建立在Apache Kafka之上,它经过验证、可扩展,并且可以非常快速地处理大量数据。