加载中...

GFS 是 Google 于 2003 年在 SOSP 发表的分布式文件系统,为大规模网页处理工作负载设计,与 MapReduce、Bigtable 并称"Google 三驾马车",直接催生了开源的 Hadoop HDFS。
文件被切成 64MB 的 chunk,默认三副本存放于大量廉价 chunkserver;单一 master 只管理元数据(命名空间、chunk 位置与租约),数据流不经过 master,客户端直接与 chunkserver 传输,写入沿链式管道推送以省带宽。设计假设是组件故障常态化、文件以追加写为主、吞吐优先于延迟。
GFS 证明了"用软件容错换廉价硬件"的路线,塑造了此后二十年的大数据存储架构。Google 内部后继者 Colossus 将元数据本身分布化并引入纠删码,解决了单 master 的规模瓶颈。

登录 后参与讨论
暂无讨论,来发表第一条评论吧