Debezium

定义

Debezium 是红帽(Red Hat)主导的开源变更数据捕获(CDC)平台,通过读取数据库的事务日志,把行级增删改转换为结构化事件流,通常发布到 Kafka 供下游消费。

原理

Debezium 为每种数据库实现专门的连接器:MySQL 连接器解析 binlog,PostgreSQL 使用逻辑复制槽,SQL Server、Oracle、MongoDB 等也各有对应机制。连接器一般以 Kafka Connect Source 形式运行,首次启动可先做一致性快照,再无缝衔接增量日志;事件中包含变更前后镜像、操作类型和源位点元数据。

部署形态

除 Kafka Connect 模式外,还提供 Debezium Server(投递到 Pulsar、Kinesis 等)和可嵌入应用的 Engine 库。

应用

典型用途包括异构数据同步、缓存与搜索索引更新、实时数仓入湖、微服务间数据复制,以及配合 Outbox 模式实现可靠的事件发布。它已成为开源 CDC 事实标准。