DuckDB

简介

DuckDB 是一款嵌入式列式分析型数据库,由荷兰国家数学与计算机科学研究中心(CWI)的研究人员发起,2019 年开源。它常被形象地称为「分析领域的 SQLite」,因为它同样以进程内库的形式运行、无需服务器,但专注于在线分析处理(OLAP)而非事务处理。

特点

DuckDB 把现代分析数据库的关键技术浓缩进一个轻量库中。

• 采用列式存储与向量化执行引擎,批量处理数据,分析查询速度极快。
• 无外部依赖,可直接嵌入 Python、R、C++、Java 等环境。
• 能够直接查询 Parquet、CSV、JSON 等文件,甚至无需事先导入数据。
• 支持完整的 SQL 语法,并能与 Pandas、Arrow 等数据科学工具无缝协作。

它充分利用单机多核与内存,在中等规模数据上往往胜过分布式系统。

应用

DuckDB 特别适合数据科学与本地分析场景,如在笔记本上对数 GB 数据做交互式探索、为数据管道做轻量 ETL、替代繁重的 Spark 作业等。研究人员和数据工程师用它快速完成查询与原型验证,而无需搭建和维护复杂的数据仓库基础设施。