MogileFS

常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。 Google学术论文，这是众多分布式文件系统的起源 ================================== Google File System（大规模分散文件系统） MapReduce （大规模分散FrameWork） BigTable（大规模分散数据库） Chubby（分散锁服务） 一般你搜索Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)就有了。 做个中文版下载源：http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126 做个原版地址链接： http://labs.google.com/papers/gfs.html http://labs.google.com/papers/bigtable.html http://labs.google.com/papers/mapreduce.html GFS（Google File System） --------------------------------------

MogileFS MogileFS 服务请求处理流程 1. 用户浏览器发送"GET/foo"请求到负载均衡服务器 2. 请求分配到应用服务器(perl,php,ruby等) 3. 应用请求MogileFS的Tracker(mogilefsd进程)获取文件位置(或者缓存处理等) 4. 应用返回包含文件地址 'X-REPROXY-URL: http://path/from/mogilefs/tracker'的header 5. 拦截header,返回对应的文件 MogileFS高效的原因在于不用读取相应的文件再返回，而是直接从数据库查找并返回文件的存储位置 MogileFS图片系统处理流程： 1. 客户端请求图片(带宽高等参数) 2. 图片处理服务程序 3. 程序判断是否有对应的缓存，有则直接返回 4. 调用MogileFS Tracker 查找文件 5. 对图片进行处理（缩放，水印，裁剪等） 6. 缓存图片 7. 返回请求文件 MogileFS相关安装介绍参考 扶凯的博客 ，详细英文文档 点击 MogileFS高级 Application : 应用，存储和读取文件 Tracker (mogilefsd进程): 基于事件的父级 process/message bus,管理所有的来自应用的客户端通信请求。包括均衡请求到"Query workers"