Kappa架构

定义

Kappa 架构是 Kafka 联合创作者 Jay Kreps 于 2014 年在文章《Questioning the Lambda Architecture》中提出的数据架构,主张去掉 Lambda 架构中的批处理层,只用一条流处理管道服务所有场景。

原理

Kappa 架构把可长期保留的日志系统(典型是 Kafka)作为事实来源:正常情况下流作业持续消费最新数据;当业务逻辑变更或发现错误需要重算时,不再依赖批处理,而是启动新版本流作业从日志起点重放历史数据,追上进度后切换输出表、下线旧作业。

优缺点

优点是只维护一套代码和一种引擎,消除了批流逻辑不一致的问题,架构显著简化。缺点是长期保留全量日志有存储成本(分层存储可缓解);重放海量历史的速度可能不如专门的批引擎;某些复杂分析仍以批处理更自然。

影响

Kappa 思想推动了流优先(streaming-first)理念与流批一体引擎的发展,是现代实时数仓设计的重要参照。