当前位置:首页 > 培训职业 > 正文

当前主流分散式档案系统有哪些

目前几个主流的分散式档案系统除GPFS外,还有PVFS、Lustre、PanFS、GoogleFS等。

1. PVFS(Parallel Virtual File System)是由Clemson大学为执行Linux丛集而建立的一个开源项目。目前PVFS存在以下不足:

1) 单一管理节点:只有一个管理节点负责元资料,随着集群规模的扩大,管理节点可能变得过度繁忙,成为系统瓶颈。

2) 资料存储缺乏容错机制:当某个I/O节点失效时,相关资料将无法访问。

3) 静态配置:PVFS的配置只能在启动前进行,系统运行后无法更改。

2. Lustre档案系统是一个基于对象存储的分散式档案系统,由Carnegie Mellon University于1999年启动,也是一个开源项目。它只有两个元资料管理节点,随着系统规模的扩大,管理节点可能成为Lustre系统瓶颈。

3. PanFS(Panasas File System)是Panasas公司用于管理自身丛集存储系统的分散式档案系统。

4. GoogleFS(Google File System)是Google公司为满足内部资料处理需求而设计的一套分散式档案系统。

5. 相对于其他档案系统,GPFS具有以下优点:

1) 使用分散式锁管理和大资料块策略支持更大规模的集群系统,档案系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁,首个获得锁的客户负责维护相应共享物件的一致性管理,减轻了元资料服务器的负担。

2) 拥有多个元资料服务器,元资料也是分散式,解决了管理节点成为系统瓶颈的问题。

3) 令牌管理以位元组为锁的最小单位,除非两个请求访问的是同一档案的同一位元组资料,否则资料访问请求不会冲突。

当前主流的分散式档案系统包括:

- 分散式档案系统:用于作业系统和应用程式的本地储存。

- 网路档案系统(简称:NAS):基于现有以太网架构,实现不同服务器间传统档案系统资料共享。

- 丛集档案系统:在共享储存基础上,通过丛集锁实现不同服务器共用一个传统档案系统。

- 分散式档案系统:在传统档案系统上,通过额外模组实现资料跨服务器分布,并整合raid保护功能,保证多台服务器同时访问、修改同一个档案系统,效能优越,扩展性好,成本低廉。

Linux下常用的分散式档案系统包括GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等,各自适用于不同领域,都不是系统级的分散式档案系统,而是应用级的分散式档案存储服务。

多重随机标签

猜你喜欢文章