变更数据捕获

为什么需要 CDC

传统定时全量或增量 SQL 查询存在问题：DELETE 操作无法被时间戳条件捕获；频繁全表扫描对源库有压力；同步延迟在分钟到小时级。CDC 通过读取数据库内部变更日志，可以做到秒级甚至毫秒级同步，对源数据库几乎没有额外查询压力。[1]

Debezium 与典型架构

Debezium（Red Hat 开源，2016 年）是目前最流行的 CDC 工具，支持 MySQL、PostgreSQL、MongoDB、Oracle 等，把变更事件发布到 Kafka，下游可同步到 Elasticsearch（全文搜索实时更新）、Redis（缓存失效刷新）、数据仓库（实时 ODS 层）。典型电商实时数据管道：MySQL 业务库 -> Debezium 读 Binlog -> Kafka -> Flink 流处理 -> ClickHouse 实时报表，整个链路延迟可控制在 5 秒以内，让运营实时看到大促 GMV 仪表盘，而不是等 T+1 报表。