Fluentd

定义

Fluentd 是一款开源的日志采集、处理与转发框架,由 Treasure Data 联合创始人古桥贞之(Sadayuki Furuhashi)创建,主体以 Ruby 编写(性能关键部分为 C),是 CNCF 毕业项目。

原理

其核心理念是'统一日志层'(Unified Logging Layer):把来源各异的日志统一解析为带标签(tag)的 JSON 事件流,再按标签路由经过滤、缓冲后输出到不同目的地。输入、解析、过滤、缓冲、输出全部插件化,社区插件数以百计,覆盖 Elasticsearch、Kafka、S3、各类数据库等。内置的缓冲与重试机制保证投递可靠性。

相关项目

同源的 Fluent Bit 以 C 编写,资源占用更低,更适合边缘与容器 sidecar 场景,两者常配合使用(Bit 采集、Fluentd 聚合)。

评价

优点是生态庞大、路由灵活;缺点是 Ruby 实现的单核性能有限,高吞吐场景需要精细的多进程与缓冲调优。