谷歌文件系统

论文-原件

谷歌文件系统

Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung Google∗

摘要

我们设计并实现了 Google 文件系统（Google File System, GFS），这是一个面向大规模分布式数据密集型应用的可扩展分布式文件系统。GFS 能够在廉价的通用硬件上运行，提供容错能力，并为大量客户端提供高聚合性能。尽管与此前的分布式文件系统有许多相同的设计目标，但我们的设计受到对当前及可预见未来的应用工作负载和技术环境的观察所驱动，这些观察与一些早期文件系统的假设存在显著差异。这促使我们重新审视传统设计选择，并探索截然不同的设计思路。

该文件系统已成功满足了我们的存储需求。目前，GFS 在 Google 内部被广泛部署，作为各类服务生成和处理数据的存储平台，同时也支持需要大规模数据集的研究与开发工作。迄今为止，最大的 GFS 集群在超过一千台机器的数千块硬盘上提供了数百 TB 的存储空间，并支持数百个客户端同时访问。

在本文中，我们介绍了为支持分布式应用而设计的文件系统接口扩展，讨论了我们设计的诸多方面，并报告了来自微基准测试和真实应用场景的性能测量结果。

分类主题

D [4]: 3—分布式文件系统

通用术语

设计, 可靠性, 性能, 测量

关键字

容错性、可扩展性、数据存储、集群存储

1. 引言

2. 设计概述