dbt

定义

dbt（data build tool）是 Fishtown Analytics（现 dbt Labs）于 2016 年推出的开源数据转换工具，只负责 ELT 中的 T（Transform）：分析师用 SQL 编写模型，dbt 将其编译并在数仓内执行。

原理

dbt 的模型本质是带 Jinja 模板的 SELECT 语句，通过 ref 函数声明模型间依赖，dbt 据此自动构建 DAG 并按序物化为视图、表或增量表。它把软件工程实践带入 SQL 开发：版本控制、模块化、宏复用、数据测试（唯一性、非空、引用完整性等断言）、文档与血缘图自动生成。dbt 不搬运数据，所有计算下推给 Snowflake、BigQuery、Redshift、Databricks 等底层引擎。

应用

dbt 是现代数据栈（Modern Data Stack）的核心组件，催生了「分析工程师」（Analytics Engineer）这一职位；开源的 dbt Core 可自托管，dbt Cloud 提供托管调度与 IDE。

优缺点

优点是学习成本低、工程化程度高、社区包生态丰富；缺点是仅覆盖转换环节，复杂过程逻辑用 SQL 加 Jinja 表达易显笨拙。