mfs

一、MFS 简介： MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 （1）优势： 1、高可靠（数据的多个拷贝被存储在不同的计算机上）； 2、通过附加新的计算机或者硬盘可以实现容量的动态扩展； 3、删除的文件可以根据一个可配置的时间周期进行保留（一个文件系统级别的回收站）； 4、不受访问和写入影响的文件连贯快照。 （2）体系结构： 1、管理服务器（master server）： 一台管理整个文件系统的独立主机，存储着每个文件的元数据（文件的大小、属性、位置信息，包括所有非常规文件的所有信息，例如目录、套接字、管道以及设备文件） 2、数据服务器群（chunk servers）： 任意数目的商用服务器，用来存储文件数据并在彼此之间同步（如果某个文件有超过一个备份的话） 3、元数据备份服务器（metalogger server）： 任意数量的服务器，用来存储元数据变化日志并周期性下载主要元数据文件，以便用于管理服务器意外停止时好接替其位置。 4、访问mfs的客户端： 任意数量的主机，可以通过mfsmount进程与管理服务器（接收和更改元数据）和数据服务器（改变实际文件数据）进行交流。 搭建MFS分布式文件系统 修改服务器主机名 [root@localhost ~]# hostnamectl set-hostname

一、MFS分布式文件系统简述 官方网站 1、MFS是什么？ MooseFS是一个 具备容错性的分布式网络文件系统 ，它将数据分别存放在多个物理服务器（单独磁盘或分区）上，确保一份数据有多个备份副本。对于访问用户（客户端）来说，整个分布式网络文件系统集群看起来就像一个资源。 分布式文件系统的好处：集中访问、简化操作、数据容灾、提高文件的存取性能 。 特征： mfs是一个分层的目录树结构 存储支持POSIX标准的文件属性（权限，最后访问和修改时间） 支持特殊的文件，如：块设备，字符设备，管道和套接字，链接文件（符号链接和硬链接） 支持基于IP地址和密码的方式访问文件系统 2、MFS的特性 高可靠性 ：每份数据可以设置多个副本，并可以存储在不同的主机上 高可扩展性 ：可轻松的通过增加主机磁盘容量或增加主机数量来动态扩展整个文件系统的存储量 高可容错性 ：删除的文件可以根据一个可配置的时间周期进行保留（一个文件系统级别的回收站） 高数据一致性 ：即便文件被写入/访问时，我们依然可以完成对文件的一致性快照 3、MFS相关原理 分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹。 MFS原理 MFS是一个具有容错性的网络分布式文件系统

一.什么是MFS文件系统： MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 二.MFS文件系统的配置： 1.在server1安装master和web图形界面 [root@server1 3.0.103]# yum install -y moosefs-cgi-3.0.103-1.rhsystemd.x86_64.rpm moosefs-cgiserv-3.0.103-1.rhsystemd.x86_64.rpm moosefs-master-3.0.103-1.rhsystemd.x86_64.rpm 2.打开服务并查看端口 [root@server1 ~]# systemctl start moosefs-master [root@server1 mfs]# netstat -antlp 9419 metalogger 监听的端口地址(默认是9419)，和源数据日志结合。定期和master端同步数据 9420 用于chunkserver 连接的端口地址（默认是9420），通信节点 9421 用于客户端对外连接的端口地址（默认是9421） 3. 打开图形处理工具 [root@server1 ~]# systemctl start moosefs-cgiserv [root@server1 ~]#

MFS分布式文件系统 mfs工作原理 分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹。 MFS原理 MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 MFS的组成 元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据，目前不支持高可用。 元数据日志服务器（MetaLogger）：备份Master服务器的变化日志文件，当master服务器损坏，可以从日志服务器中取得文件恢复。 数据存储服务器（Chunk Server）：真正存储数据的服务器，服务器越多，容量就越大，可靠性越高，性能越好。 客户端（Client）： 可以像挂载NFS一样 挂载MFS文件系统 MFS读数据的处理过程 - 客户端向元数据服务器发出读请求 - 元数据服务器把所需数据存放的位置（Chunk Server的IP地址和Chunk编号）告知客户端 - 客户端向已知的Chunk Server请求发送数据 - Chunk Server向客户端发送数据 写入的过程 - 客户端向元数据服务器发送写入请求 - 元数据服务器与Chunk Server进行交互，但元数据服务器只在某些服务器创建新的分块Chunks

一.MFS概述 MooseFS是一个分布式存储的框架，其具有如下特性： （1）通用文件系统，不需要修改上层应用就可以使用（那些需要专门api的dfs很麻烦！）。 （2）可以在线扩容，体系架构可伸缩性极强。（官方的case可以扩到70台了！） （3）部署简单。 （4）高可用，可设置任意的文件冗余程度（提供比raid1+0更高的冗余级别，而绝对不会影响读或者写的性能，只会加速！） （5）可回收在指定时间内删除的文件（“回收站”提供的是系统级别的服务，不怕误操作了，提供类似oralce 的闪回等高级dbms的即时回滚特性！） （6）提供netapp，emc，ibm等商业存储的snapshot特性。（可以对整个文件甚至在正在写入的文件创建文件的快照） （7）google filesystem的一个c实现。 （8）提供web gui监控接口。 # 读写原理 1.MFS的读数据过程 （1） client当需要一个数据时，首先向master server发起查询请求； （2）管理服务器检索自己的数据，获取到数据所在的可用数据服务器位置ip|port|chunkid； （3）管理服务器将数据服务器的地址发送给客户端； （4）客户端向具体的数据服务器发起数据获取请求； （5）数据服务器将数据发送给客户端； 2.MFS的写数据过程 （1）当客户端有数据写需求时

MooseFS是一个分布式文件系统,其本身具有高可用性,高拓展性,开放源代码,高容错,等在数据的读写性能方面,通过dd测试,MooseFS也就是写入的速度稍微好于NFS,读上没有差别. MooseFS的文件系统结构体系可分为以下四种角色,分别对应不同的功能: 1.管理服务器managing server (master) 2.元数据日志服务器Metalogger server（Metalogger） 3.数据存储服务器data servers (chunkservers) 4.客户机挂载使用client computers 下面我们分别编译安装MFS的每个组件,实现一个企业环境的分布式文件系统. 实验环境与IP分配 [主机类型] [主机IP] [主机作用] Master-Server 192.168.22.195 主控服务器 MetaLogger-Server 192.168.22.191 备份服务器 Cunk-Server 192.168.22.192 存储节点1 Cunk-Server 192.168.22.193 存储节点2 Client 192.168.22.194 挂载客户端 Master-Server配置 管理服务器managing server (master):负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复,多节点拷贝单个机器管理整个文件系统

一、什么是MFS文件系统 二、关闭防火墙 三、修改yum源 http://mirrors.aliyun.com/repo/Centos-6.repo 四、安装依赖包 http://ppa.moosefs.com/src/moosefs-3.0.105-1.tar.gz 七、安装数据存储服务器 Data servers 八、客户端安装 九、启动和关闭服务顺序 十、故障处理 最简单的方法是：/usr/local/mfs/bin/mfsmetarestore -a 十一、其他 十二、MFS+Keepalived双机高可用热备方案 https://www.keepalived.org/software/keepalived-1.3.5.tar.gz killall掉keepalived和mfscgiserv进程

######1.大文件的离散存储###### ####1.指定文件备份份数为1#### ###1.创建大文件### ###2.对比一般文件与大文件的存储差别### （将大文件分为4个片段，分别在2个节点上进行存储） ####2.默认文件备份数为2#### ###1.创建大文件### ###2.对比一般文件与大文件的存储差别### （将大文件分为4个片段，在每个节点上都进行存储） ######2.实现数据恢复###### ####1.当一台节点挂掉#### ###1.查看有两份备份数据的文件### （可以看到没有挂掉节点上存储的备份文件） ###2.查看只有一份备份数据的文件### （可以查看到文件名称，但无法访问） （只能查看正在运行节点上备份的数据） ####2.修复挂掉的节点正常运行#### （数据自动添加回来） ####3.master非正常关闭#### ###1.查看正常情况下的数据目录### ###2.直接关闭进程，查看数据目录### 模拟非正常关闭master： （数据目录内的文件名称没有任何改变） ###3.重启服务，查看数据目录### （有报错） （将服务初始化后，数据目录内的文件就会恢复） ###4.正常关闭服务，查看数据目录### (metadata.mfs.back文件名会改变，结尾少back ) （启动服务后，文件又恢复了） ######3.实现数据恢复##

案例概述 某公司的社交网站采用PHP语言开发，为了管理PHP程序员开发的代码，上级领导要求搭建SVN服务器进行版本控制。社交网站的第一个版本部署在LNMP平台之上，前端为Nginx服务器，通过fastcgi协议访问后端的PHP服务器。为了保证数据安全，要求搭建MySQL数据库主从集群。 社交网站项目包含用户的相册功能，允许用户上传照片，上传照片需要使用共享存储来存放。针对共享存储可用的开源方案有很多，如MFS、FastDFS 等。公司决定使用MFS分布式文件系统来实现，并将MFS挂载在PHP服务器的相关目录下。 案例实施 根据公司的需求，实施过程大致分为以下步骤。 部署SVN服务器，为PHP程序员创建repo目录的访问账户，通知程序员可以导入代码。 部署MySQL主从服务器，根据PHP程序员的要求创建数据库与表。 部署Nginx服务器。部署PHP服务器。 部署MFS,将MFS文件系统挂载在前端PHP服务器的相关目录下。 通知上线部署人员可以发布上线。 MFS部署并挂载 搭建 Master Server 1、安装MFS yum install - y zlib - devel gcc gcc - c ++ //安装依赖包环境包 useradd mfs - s / sbin / nologin - M //创建管理用户 tar xzvf mfs - 1.6 . 27 - 5.tar .

案例需求：社交网站采用PHP语言开发，为了管理开发代码，搭建SVN服务器进行版本控制，社交网站的第一个版本部署在LNMP平台上，前端为nginx服务器，通过fastcgi协议访问后端的PHP服务器。这里实现动静分离，动态页面交给PHP服务器来处理，静态页面交给nginx服务器来处理。为了保证数据安全，要求搭建Mysql数据库主从集群。 社交网站项目包含用户的相册功能，允许用户上传照片，上传照片需要使用共享存储来存放，针对共享存储采用MFS分布式文件系统来实现，并将MFS挂载在PHP服务器的相关目录下。 本案例拓扑图如图所示： 案例实施 案例部署环境： 主机 IP地址 操作系统 主要软件包 SVN 172.20.10.4 CentOS7 Nginx 172.20.10.9 CentOS7 nginx-1.12.0.tar.gz PHP 172.20.10.10 CentOS7 php-5.6.11.tar.bz2,mfs-1.6.27-5.tar.gz，fuse-2.9.2.tar.gz， ZendGuardLoader-php-5.3-linux-glibc23-i386.tar.gz Mysql1 172.20.10.11 CentOS7 mysql-5.5.24.tar.gz Mysql2 172.20.10.12 CentOS7 mysql-5.5.24.tar.gz MFS