Amazon Kinesis

定义

Amazon Kinesis 是 AWS 推出的托管实时数据流服务家族,2013 年发布,用于大规模采集、缓冲和处理流式数据,常被视为云托管场景下 Kafka 的替代品。

组成

• Kinesis Data Streams:核心流存储,数据按分区键写入分片(Shard),每个分片有固定的读写配额,扩容通过增减分片实现,消息默认保留 24 小时、最长可延至一年;
• Data Firehose:将流数据自动装载到 S3、Redshift、OpenSearch 等目的地;
• 曾提供 Data Analytics 用于 SQL/Flink 流分析,后演进为托管 Flink 服务(Amazon Managed Service for Apache Flink)。

特点

与自建 Kafka 相比,Kinesis 免运维、与 IAM 和 Lambda 深度集成,消费者可用 KCL 库自动做分片负载均衡;代价是单分片吞吐受限、跨云移植性差、成本随规模上升明显。

应用

典型场景包括日志与埋点采集、实时指标、点击流分析和 IoT 数据接入。