GFS分布式文件系统集群(理论)

放肆的年华 提交于 2019-12-23 02:14:37

GlusterFS概述

1、GlusterFS简介

(1)开源的分布式文件系统

(2)由存储服务器、客户端以及NFS/Samba存储网关组成

(3)无元数据服务器(数据传输组件RDMA)

(4)GlusterFS特点:扩展性、高性能、高可用性

(5)全局统一命名空间

(6)弹性卷管理---->云的特性:水平(实例数)、垂直(硬件性能),包括ECS(虚拟)、OSS和RDS(裸金属)

(7)基于标准协议

2、GlusterFS术语

(1)Brick(节点)

(2)Volume(卷)

(3)FUSE(用户端交互模块)

(4)VFS(虚拟化文件系统)

(5)Glusterd(服务)

3、模块化堆栈式架构

(1)模块化、堆栈式的架构

(2)通过对模块的组合,实现复杂的功能

GlusterFS工作原理

1、GlusterFS工作流程

2、弹性HASH算法

(1)通过HASH算法得到一个32位的整数

(2)划分为N个连续的子空间,每个空间对应一个Brick

(3)弹性HASH算法的优点:

☀保证数据平均分布在每一个Brick中

☀解决了对元数据服务器的依赖,进而解决了单点故障以及访问瓶颈

GlusterFS的卷类型

1、分布式卷

●没有对文件进行分块处理

●通过扩展文件属性保存HASH值

●支持的底层文件系统有ext3、ext4、 ZFS、 XFS等

(1)分布式卷具有如下特点:

●文件分布在不同的服务器,不具备冗余性

●更容易和廉价地扩展卷的大小

●单点故障会造成数据丢失

●依赖底层的数据保护

(2)创建分布式卷

●创建一个名为dis-volume的分布式卷,文件将根据HASH分布在server1:/dip1、server2:/dir2和server3:/dir3中

2、条带卷

●根据偏移量将文件分成N块(N个条带节点),轮询的存储在每个BrickServer节点

●存储大文件时,性能尤为突出

●不具备冗余性,类似Raid0

(1)特点

●数据被分割成更小块分布到块服务器群中的不同条带区

●分布减少了负载且更小的文件加速了存取的速度

●没有数据冗余

(2)创建条带卷

●创建了一个名为Stripe-volume的条带卷,文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick中

3、复制卷

●同一文件保存一份或多分副本

●复制模式因为要保存副本,所以磁盘利用率较低

●多个节点上的存储空间不一致, 那么将按照木桶效应取最低节点的容量

●作为该卷的总容量

(1)特点

●卷中所有的服务器均保存一个完整的副本

●卷的副本数量可由客户创建的时候决定

●至少由两个块服务器或更多服务器

●具备冗余性

(2)创建复制卷

●创建名为rep-volume的复制卷,文件将同时存储两个副本

4、分布式条带卷

●兼顾分布式卷和条带卷的功能

●主要用于大文件访问处理

●至少最少需要4台服务器

(1)创建分布式条带卷

创建了一个名为dis- stripe的分布式条带卷,配置分布式的条带卷时,卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)

5、分布式复制卷

●兼顾分布式卷和复制卷的功能

●用于需要冗余的情况下

1)创建分布式复制卷

●创建了一个名为dis-rep的分布式条带卷,配置分布式的复制卷时卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!