列式数据库

简介

列式数据库是一类按列而非按行来组织和存储数据的数据库。传统的行式数据库把一行记录的所有字段连续存放,适合频繁读写整行的事务处理;而列式数据库把同一列的所有值连续存放,这种布局对于只涉及少数列的分析查询极为高效。

原理

列式存储的优势源于其数据组织方式。

• 分析查询往往只读取众多列中的少数几列,列式存储可以只扫描相关列,大幅减少 I/O。
• 同一列的数据类型相同、取值相近,压缩效果远好于行式存储,显著节省空间。
• 列式数据天然适合向量化执行,CPU 可以批量处理同类型数据,充分利用缓存与 SIMD 指令。
• 常配合数据分块、编码和稀疏索引进一步加速聚合统计。

代价是写入和更新单行数据时开销较大,因此它更偏向 OLAP 而非 OLTP。

应用

列式数据库广泛用于数据仓库、商业智能、报表分析和大数据处理。代表性产品包括 ClickHouse、Apache Doris、Greenplum、Amazon Redshift 等。当业务需要对海量数据做快速的聚合、统计和多维分析时,列式数据库是主流选择。