Kafka Connect

定义

Kafka Connect 是 Apache Kafka 自带的数据集成框架,用于在 Kafka 与外部系统(数据库、对象存储、搜索引擎等)之间可靠地搬运数据,目标是用配置代替一次性的数据导入导出代码。

架构

Connect 集群由若干 Worker 进程组成,连接器(Connector)分两类:Source Connector 把外部数据写入 Kafka,Sink Connector 把 Kafka 数据写到外部系统。连接器被拆分为多个 Task 并行执行,偏移量、配置和状态都存储在 Kafka 内部主题中,Worker 故障后任务自动重新分配。

特性

支持分布式与单机两种模式,提供 REST API 管理连接器,内置单消息转换(SMT)做轻量清洗,配合 Schema Registry 可管理 Avro/Protobuf 模式。

生态

社区和厂商提供了数百种连接器,如 JDBC、Elasticsearch、S3、Debezium(CDC)等。它是构建以 Kafka 为中枢的数据管道时的标准组件。