ksqlDB

定义

ksqlDB 是 Confluent 公司开发的事件流数据库,前身为 2017 年发布的 KSQL,2019 年更名。它让用户用 SQL 语句直接在 Kafka 主题之上做流处理,而无需编写 Java 代码。

原理

ksqlDB 把 Kafka 主题抽象为流(STREAM)和表(TABLE)两类对象,用户通过 CREATE STREAM ... AS SELECT 之类的语句定义持续查询(persistent query),引擎将 SQL 编译为 Kafka Streams 拓扑执行,状态存储与容错也沿用 Kafka Streams 机制。它还支持拉取查询(pull query),可像数据库一样按键查询物化状态。

特性

内置窗口聚合、流表连接、UDF 扩展,并集成 Kafka Connect 管理,能在一个系统里完成摄取、加工、查询。

定位与局限

ksqlDB 适合以 Kafka 为中心的实时 ETL 和物化视图场景;它不是通用数据库,查询能力和生态受限,且核心受 Confluent Community License 约束,云厂商不能直接售卖其服务。