大数据 Big Data

简介

大数据泛指规模巨大、增长迅速、结构多样,以致传统单机数据库与处理工具难以在可接受时间内采集、存储和分析的数据集合。它既指数据本身,也指围绕这些数据发展出的一整套分布式存储与计算技术体系。

核心概念

业界常用「4V」来刻画大数据的特征:

• Volume(体量):数据规模从 TB 跨越到 PB、EB 级别。
• Velocity(速度):数据持续高速产生,常需实时或近实时处理。
• Variety(多样):涵盖结构化、半结构化与非结构化数据,如日志、图片、视频。
• Value(价值):单位数据价值密度低,需要从海量数据中提炼洞察。

应用

大数据广泛应用于互联网推荐系统、用户画像、风控反欺诈、智慧交通、精准营销与科学研究等领域。企业通过对行为日志、交易记录的聚合分析,发现规律并支撑决策。

生态

大数据生态以 Hadoop 与 Spark 为代表,辅以 Kafka 消息队列、Hive 数仓、Flink 流处理、HBase 列存储等组件,构成从采集、存储、计算到分析展现的完整链路。近年来云原生数据湖与湖仓一体架构进一步降低了大数据落地门槛。