ETL

三个阶段的实际工作

抽取：从 MySQL、Oracle、日志文件、API 等异构源获取数据，需处理增量抽取（基于时间戳或 CDC 读取 Binlog）和全量抽取。转换：最复杂的部分——数据清洗（缺失值、格式不一致、重复记录）、字段映射、聚合计算、业务规则应用（把不同系统的状态码统一成标准值）。加载：写入目标系统，考虑全量覆盖还是增量追加，以及加载失败的重试和幂等。[1]

ETL 向 ELT 的演变

传统 ETL 在外部服务器做转换。随着 BigQuery、Redshift、Snowflake 的计算能力大幅提升，ELT 模式兴起：先把原始数据直接加载到数据仓库，再用 SQL 在仓库内部做转换。原始数据完整保留便于调试和重跑，转换逻辑直接用 SQL 写，门槛低。dbt（data build tool）是 ELT 转换层的标志性工具，让数据分析师用 SQL 管理转换逻辑并自动生成血缘关系文档，2019 年以来迅速普及。