数据湖

数据湖的兴起

数据湖这个词由 Pentaho 联合创始人 James Dixon 于 2010 年提出，他把数据水库（Data Mart）比作预先装瓶的水，把数据湖比作天然湖泊，用的时候直接取原水。Hadoop HDFS 的普及让廉价存储大量原始数据成为可能，AWS S3 进一步降低了门槛。主流存储格式：Apache Parquet 是列式格式，对分析查询友好；Apache Iceberg 和 Delta Lake 加入 ACID 事务、时间旅行（Time Travel）、Schema 演化，让数据湖具备了接近数据仓库的可靠性。[1]

数据沼泽问题

没有治理的数据湖会变成数据沼泽（Data Swamp）：数据杂乱堆放，没有分类、没有 Schema 文档、没有数据质量检测，查询时根本不知道哪个字段可信。防止数据沼泽需要配套建设数据目录（Data Catalog，如 Apache Atlas、AWS Glue Catalog）、数据血缘（Lineage）追踪和定期质量检查，这是实践中最容易被低估的工作量。