Hive

简介

Apache Hive是建立在 Hadoop 之上的数据仓库基础设施,它让用户能用类 SQL 的查询语言(HiveQL)分析存储在 HDFS 上的海量数据,而无需编写复杂的 MapReduce 程序,大大降低了大数据分析的门槛。

原理

Hive 的核心是将 SQL 查询翻译为底层的分布式计算任务。早期它把 HiveQL 转换为 MapReduce 作业执行,后来支持 Tez、Spark 等更高效的执行引擎。Metastore 是 Hive 的关键组件,负责存储表结构、分区与字段等元数据。

核心概念

• 表与分区:通过分区和分桶组织数据,缩小扫描范围以提升查询效率。
• 内部表与外部表:外部表仅管理元数据,删除表不影响底层数据文件。
• 存储格式:支持 ORC、Parquet 等列式格式以提升压缩比与查询性能。

应用

Hive 主要面向离线数据仓库与批量分析,适合 T+1 报表、数据汇总与 ETL 加工。由于基于批处理,它延迟较高,不适合实时查询。在企业数仓分层架构中,Hive 常用于构建 ODS、DWD、DWS 等数据层,是离线数仓的事实标准。