Delta Lake

定义

Delta Lake 是 Databricks 于 2019 年开源的数据湖存储层（表格式），构建在 Parquet 文件之上，为对象存储中的数据提供 ACID 事务、模式约束与时间旅行等数据库级特性。

原理

其核心是 _delta_log 事务日志目录：每次写入以原子方式追加一条 JSON 提交记录，记录新增和删除的数据文件，并定期生成 checkpoint。读取方通过重放日志得到表的一致性快照，从而实现快照隔离、并发写冲突检测以及按版本号或时间戳查询历史数据（Time Travel）。它还支持 Schema Enforcement 与 Schema Evolution，防止脏数据写入。

应用

Delta Lake 是 Databricks「湖仓一体」（Lakehouse）架构的基石，与 Spark 深度集成，也逐步支持 Flink、Trino 等引擎，常用于流批一体的数仓分层建设。

优缺点

优点是与 Spark 生态结合紧密、易上手；缺点是部分高级特性长期以 Databricks 商业版体验最佳，跨引擎开放性曾弱于 Iceberg。