1. GlusterFS卷类型简介
GlusterFS支持七种Volume,即Distribute卷、Stripe卷、Replica卷、Distribute stripe卷和Distribute replica卷，Stripe Replica Volume 、Distribute Stripe Replica Volume卷。这些卷类型可以满足不同应用对高性能、高可用的需求，有些卷类型有益于扩展存储大小、有些可以提高性能、还有的可以兼顾两者。
基本卷
(1) distribute volume：分布式卷
GlusterFS文件系统默认的卷类型，文件通过hash算法分布到所有brick server上，因此不存在数据冗余。只是扩大的磁盘空间，优点是磁盘容量扩展性强和使用率高。但如果有一个磁盘坏了，对应的数据将丢失，文件级RAID 0，不具有容错能力，除非brick底层使用硬件Raid等外部冗余措施。
(2) stripe volume：条带卷
类似RAID0，文件分成数据块以Round Robin方式分布到brick server上，并发粒度是数据块，支持超大文件，大文件性能高；但是考虑到一个大文件被存储在一个brick，许多客户在同一时间经常访问。这将导致单个brick过多的负载并会降低性能。带区卷数据存储在磁盘后将它划分为不同的条纹，将大文件将被分为小块(等于brick的数量体积),每个块都存储在一个brick。实现负载分布和文件可以获取更快读取速度，但不提供数据冗余。 (3) replica volume：复制卷、镜像卷
(3) replica volume：复制卷、镜像卷
文件同步复制到多个brick上，文件级RAID 1，具有容错能力，写性能下降，读性能提升。在创建时指定副本数量，副本在存储时会存放到不同brick上， 因此，有几个复本就必须提供至少多个brick。 注意：在创建复本卷时，brick数量与复本个数必须相等；否则将会报错。另外如果同一个节点提供了多个brick，也可以在同一个结点上创建复本卷，但这并不安全，因为一台设备挂掉，其上面的所有brick就无法访问了。
复合卷
(4) distribute stripe volume：分布式条带卷
brick server数量是条带数的倍数，兼具distribute和stripe卷的特点；
(5) distribute replica volume：分布式复制卷
brick server数量是镜像数的倍数，兼具distribute和replica卷的特点,可以在2个或多个节点之间复制数据。可以指定若干brick组成一个复本卷，另外若干brick组成另个复本卷。单个文件在复本卷内数据保持复制，不同文件在不同复本卷之间进行分布。
(6) stripe replica volume：条带复制卷
类似RAID 10，同时具有条带卷和复制卷的特点
(7) distribute stripe replicavolume：分布式条带复制卷
三种基本卷的复合卷，通常用于类Map Reduce应用
2. GlusterFS卷类型详解
2.1 Distributed
在该模式下，并没有对文件进行分块处理，文件直接存储在某个server节点上。“没有重新发明轮子”，这句话很好的概括了这种GlusterFS的设计思路。因为使用了已有的本地文件系统进行存储文件，所以通用的很多linux命令和工具可以继续正常使用。这使得GlusterFS可以在一个比较稳定的基础上发展起来，也更容易为人们所接受。因为需要使用到扩展文件属性，所以其目前支持的底层文件系统有：ext3、ext4、ZFS、XFS等。 由于使用本地文件系统，一方面，存取效率并没有什么没有提高，反而会因为网络通信的原因而有所降低；另一方面，支持超大型文件会有一定的难度。虽然ext4已经可以支持最大16T的单个文件，但是本地存储设备的容量实在有限。所以如果有大量的大文件存储需求，可以考虑使用Stripe模式来实现，如考虑新建专门存储超大型文件的stripe卷。
功能： 将文件存放在服务器里，如上图，File1和File2存放在server1，而File3存放在server2，文件都是随机存储 特点： 分布卷也称为哈希卷，多个文件在多个 brick 上使用哈希算法随机存储。 应用场景: 大量小文件 优点： 读/写性能好 缺点： 如果存储或服务器故障，数据将丢失 不指定卷类型，默认是分布卷
2.2 Stripe
Stripe模式相当于raid0，在该模式下，系统只是简单地根据偏移量将文件分成N块（N个stripe节点时），然后发送到每个server节点。server节点把每一块都作为普通文件存入本地文件系统中，并用扩展属性记录了总的块数（stripe-count）和每一块的序号（stripe-index）。stripe数必须等于volume中brick所包含的存储服务器数，文件被分成数据块，以Round Robin的方式存储在bricks中，并发粒度是数据块，大文件性能好
功能： 将文件存放在不同服务器里，如上图，File被分割为6段，1、3、5放在server1，2、4、6放在server2 特点： 类似与RAID0 将文件分成条带，存放在多个 brick上，默认条带大小128K 应用场景: 大文件 优点： 适用于大文件存储 缺点： 可靠性低，brick 故障会导致数据全部丢失 stripe = brick
2.3 Replicated
Replicated模式，也称作AFR（AutoFile Replication），相当于raid1，即同一文件在多个镜像存储节点上保存多份，每个replicated子节点有着相同的目录结构和文件。replicated模式一般不会单独使用，经常是以“Distribute+ Replicated”或“Stripe+ Replicated”的形式出现的。如果两台机的存储容量不同，那么就如木桶效应，系统的存储容量由容量小的机器决定。replica数必须等于volume中brick所包含的存储服务器数，可用性高。创建一个两两互为备份的卷，存储池中一块硬盘损坏，不会影响到数据的使用，最少需要两台服务器才能创建分布镜像卷。 Replicated模式是在文件的级别上进行的（相比较于HDFS），而且在创建卷volume时就确定每个server节点的职责，而且只能人工的进行调整。这样的话就相对的不灵活，如果一个节点A出了问题，就一定要用新的节点去替代A，否则就会出现一些问题隐患。 在Replicated模式下，每个文件会有如下几个扩展属性： 读写数据时，具体的情况如下： 读数据时：系统会将请求均衡负载到所有的镜像存储节点上，在文件被访问时同时就会触发self-heal机制，这时系统会检测副本的一致性（包括目录、文件内容、文件属性等）。若不一致则会通过changelog找到正确版本，进而修复文件或目录属性，以保证一致性。 写数据时：以第一台服务器作为锁服务器，先锁定目录或文件，写changelog记录该事件，再在每个镜像节点上写入数据，确保一致性后，擦除changelog记录，解开锁。 如果互为镜像的多个节点中有一个镜像节点出现了问题，用户的读/写请求都可以正常的进行，并不会受到影响。而问题节点被替换后，系统会自动在后台进行同步数据来保证副本的一致性。但是系统并不会自动地需找另一个节点来替代它，而是需要通过人工新增节点来进行，所以管理员必须及时地去发现这些问题，不然可靠性就很难保证。
功能： 将文件存放在服务器里，如上图，File1同时存在server1和server2，File2也是如此，相当于server2中的文件是server1中文件的副本。 特点： 类似于 RAID1 多个文件在多个brick上复制多份，brick 的数目要与需要复制的份数相等，建议brick分布在不同的服务器上。 应用场景: 对可靠性和读性能要求高的场景 优点： 读性能好 缺点： 写性能差 replica = brick
2.4 distribute stripe volume
分布式的条带卷，volume中brick所包含的存储服务器数必须是stripe的倍数(>=2倍)，兼顾分布式和条带式的功能。每个文件分布在四台共享服务器上，通常用于大文件访问处理，最少需要 4 台服务器才能创建分布条带卷。
功能： 将文件存到不同服务器里，如上图，File被分割成4段，1、3在server1(exp1)中，2、4在server1(exp2)中。server2(exp3)1、3存放server1(exp1)中的备份文件，server2(exp4)2、4存放server1(exp2)中的备份文件。 特点： 多个文件在多个节点哈希存储，每个文件再分条带在多个brick上存储 应用场景: 读/写性能高的大量大文件场景 优点： 高并发支持 缺点： 没有冗余，可靠性差 brick 数是 stripe 的倍数
2.5 distribute replica volume
分布式的复制卷，volume中brick所包含的存储服务器数必须是 replica 的倍数(>=2倍)，兼顾分布式和复制式的功能。
功能： 将文件备份随机存放在服务器里，如上图，server1(exp1)存放File1文件，Server1(exp2)存放File2文件。server2(exp3)存放File1的备份文件，server2(exp4)存放File2的备份文件。 特点： 多个文件在多个节点哈希存储，在多个brick 复制多份存储。 应用场景: 大量文件读和可靠性要求高的场景 优点： 高可靠性，读性能高 缺点： 牺牲存储空间，写性能差 brick 数量是 replica 的倍数 多个文件存储的时候在4个 brick 上哈希存储，每个文件存储 2份
2.6 stripe replica volume
功能： 将文件分割并备份随机存放在不同的服务器里，如上图，File被分割4段，1、3存放在server1(exp1)上，2、4存放在server2(exp4),server1上的(exp3)存放server2(exp4)的备份文件，server2上的(exp2)存放server1(exp1)的备份文件。 特点： 一个大文件存储的时候划分条带，并且保存多份。 应用场景: 超大文件，并且对可靠性要求高 优点： 大文件存储，可靠性高 缺点： 牺牲存储空间，写性能差 brick 的数量是 stripe、replica 的乘积
2.7 distribute stripe replica volume
分布式条带复制卷分布条带数据在复制卷集群。为了获得最佳效果，你应该使用分布在高并发的条带复制卷环境下并行访问非常大的文件和性能是至关重要的。
功能： 将文件分割并备份随机存放在不同服务器里，如上图，File被分割成4段，1、3存放在server1(exp1)中，2、4存放在server2(exp3)中。server1(exp2)存放server1(exp1)的备份文件，server2(exp4)存放server2(exp3)的备份文件。 特点： 多个大文件在多个节点哈希存储，存储时分成条带，并且保存多份。 应用场景: 大量大文件并且对可靠性要求高的场景 优点： 读/写/可靠性比较均衡 缺点： 牺牲存储空间，写性能相对差 brick 的数量是 stripe、replica 的乘积的倍数 多个文件存储的时候在 4 组 brick 上哈希存储，每个文件存储2份，并且划分条带。
2.8 其它卷
分散卷（Disperse）
类似于RAID5 分散卷基于校验码，它基于条带编码，并分布到多个brick上存储。 应用场景: 对冗余和磁盘空间都敏感的场景 优点： 在冗余和磁盘空间上取得平衡 缺点： 要求消耗额外的资源进行验证，对性能有一定的影响 分散卷需要指定冗余 brick 数理，冗余数要小于 brick 数量。例如创建一个 4 个brick 冗余的分散数， 最多允许1个brick故障而不丢失数据。
分布式分散卷（Distributed-Disperse）
类似于RAID6 分布分散卷，多个文件在多个节点上哈希分布存储，存储的时候基于条带校验码并有冗余度设置 应用场景: 对冗余和磁盘空间都敏感的场景 优点： 在冗余、磁盘空间、读/写性能上取得平衡 缺点： 要求消耗额外的资源进行验证，对性能有一定的影响 5个brick分布分散卷，最多允许2个brick故障而不数据丢
参考：
