1. [官网]
  2. https://github.com/happyfish100/
C编写的,开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等(中小文件 4KB < file_size <500MB)。

架构 [Tracker server、Storage server]

FastDFS - 简介 - 图1

Tracker server作用是负载均衡和调度,通过Trackerserver在文件上传时可以根据一些策略找到Storage Server提供文件上传服务。可以将tracker称为追踪服务器或调度服务器。

Storageserver作用是文件存储,客户端上传的文件最终存储在Storage服务器上,Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage称为存储服务器。

客户端请求Tracker Server进行文件上传、下载,通过Tracker Server调度最终由Storage Server完成文件上传和下载。

FastDFS集群中的Tracker server可以有多台,Trackerserver之间是相互平等关系同时提供服务,Trackerserver不存在单点故障。客户端请求Trackerserver采用轮询方式,如果请求的tracker无法提供服务则换另一个tracker。

Storage集群采用了分组存储方式。storage集群由一个或多个组构成,集群存储总容量为集群中所有组的存储容量之和。

组内的Storage server之间是平等关系,不同组的Storageserver之间不会相互通信,同组内的Storageserver之间会相互连接进行文件同步,从而保证同组内每个storage上的文件完全一致的。

FastDFS - 简介 - 图2

文件上传流程
FastDFS - 简介 - 图3

文件下载流程

文件系统 TFS FastDFS MogileFS MooseFS GlusterFS Ceph
开发语言 C++ C Perl C C C++
开源协议 GPL V2 GPL V3 GPL GPL V3 GPL V3 LGPL
存储方式 文件/Trunk 文件 文件/块 对象/文件/块
集群节点通信协议 私有协议(TCP) 私有协议(TCP) HTTP 私有协议(TCP) 私有协议(TCP)/ RDAM(远程直接访问内存) 私有协议(TCP)
专用元数据存储点 占用NS 占用DB 占用MFS 占用MDS
在线扩容 支持 支持 支持 支持 支持 支持
冗余备份 支持 支持 - 支持 支持 支持
单点故障 存在 不存在 存在 存在 不存在 存在
跨集群同步 支持 部分支持 - - 支持 不适用
易用性 安装复杂,官方文档少 安装简单,社区相对活跃 - 安装简单,官方文档多 安装简单,官方文档专业化 安装简单,官方文档专业化
适用场景 跨集群的小文件 单集群的中小文件 - 单集群的大中文件 跨集群云存储 单集群的大中小文件
指标 适合类型 文件分布 系统性能 复杂度 FUSE POSIX 备份机制 通讯协议接口 社区支持 开发语言
FastDFS 4KB~500MB 小文件合并存储不分片处理 很高 简单 不支持 不支持 组内冗余备份 Api HTTP 国内用户群 C语言
TFS 所有文件 小文件合并,以block组织分片 复杂 不支持 Block存储多份,主辅灾备 API http C++
MFS 大于64K 分片存储 Master占内存多 支持 支持 多点备份动态冗余 使用fuse挂在 较多 Perl
HDFS 大文件 大文件分片分块存储 简单 支持 支持 多副本 原生api 较多 Java
Ceph 对象文件块 OSD一主多从 复杂 支持 支持 多副本 原生api 较少 C++
MogileFS 海量小图片 复杂 可以支持 不支持 动态冗余 原生api 文档少 Perl
ClusterFS 大文件 简单 支持 支持 C