Google BigQuery

定义

Google BigQuery 是 Google Cloud 于 2011 年发布的无服务器（Serverless）云数据仓库，是谷歌内部交互式分析系统 Dremel 的对外产品化，用户无需管理任何集群即可用 SQL 分析超大规模数据。

原理

BigQuery 彻底存算分离：数据以列式格式 Capacitor 存储在分布式文件系统 Colossus 上，查询由 Dremel 执行引擎动态分配成千上万个 Slot（计算单元）并行处理，节点间经 Jupiter 高速网络交换数据。多级树状执行与列式扫描使其能在秒级完成 TB 到 PB 级扫描。计费支持按扫描字节量的按需模式与预留 Slot 的容量模式。它还内置 BigQuery ML（SQL 训练模型）、流式写入与对 Iceberg 等开放格式的支持。

应用

BigQuery 广泛用于日志分析、营销数据分析与数据科学探索，Google Analytics 等产品的原始数据导出也以其为承载。

优缺点

优点是零运维、弹性近乎无限、启动成本低；缺点是按扫描量计费易失控，深度依赖 GCP 生态存在锁定问题。