项目名称: JuiceFS
项目作者: Juicedata
开源许可协议: AGPL-3.0
项目地址:https://gitee.com/juicedata/JuiceFS
项目简介
JuiceFS 是一个建立在 Redis 和 S3 等对象存储之上的开源 POSIX 文件系统。它是为云原生环境设计,通过把元数据和数据分别持久化到 Redis 和对象存储中,它相当于一个无状态的中间件,帮助各种应用通过标准的文件系统接口来共享数据。
项目特性
- 完整 POSIX 兼容:已有应用可以无缝对接;
- 极致的性能:毫秒级的延迟,近乎无限的吞吐量(取决于对象存储规模);
- 云原生:完全弹性,很容易实现存储和计算分离架构;
- 共享:可以被多个客户端同时读写;
- 文件锁:支持 BSD 锁(flock)及 POSIX 锁(fcntl);
- 数据压缩:默认使用 LZ4 压缩数据,节省存储空间。
项目架构
JuiceFS 使用 Redis 来存储文件系统的元数据。Redis 是一个开源的内存数据库,可以保障元数据的高性能访问。所有文件的数据会通过客户端存储到对象存储中,以下是它的架构图:
JuiceFS 中的文件格式,如下图所示。一个文件首先被拆分成固定大小的 "Chunk",默认 64 MiB。每个 Chunk 可以由一个或者多个 "Slice" 组成,它们是变长的。对于每一个 Slice,又会被拆分成固定大小的 "Block",默认为 4 MiB(格式化后就不可以修改)。最后,这些 Block 会被压缩和加密保存到对象存储中。压缩和加密都是可选的。
性能测试
顺序读写性能
使用 fio 测试了 JuiceFS、EFS 和 S3FS 的顺序读写性能,结果如下:
上图显示 JuiceFS 可以比其他两者提供 10 倍以上的吞吐。
元数据性能
使用 mdtest 测试了 JuiceFS、EFS 和 S3FS 的元数据性能,结果如下:
上图显示 JuiceFS 的元数据性能显著优于其他两个。
开发者说
JuiceFS 的创新架构更符合云原生的发展趋势,我们一开始就以 SaaS 的形式将它提供给公有云的客户,让客户分钟级就可以获得 PB 级企业文件存储服务。同时,我们也和行业领先的对象存储厂商一起服务私有云客户。
我们坚信文件系统是最好的管理非结构化数据的方式,对象存储只适用于某些简单场景。分布式文件系统一直是基础软件中难啃的骨头,JuiceFS 通过对文件系统中元数据和数据的独立抽象,大大减低了系统复杂度,使得文件系统能够借助这些年来对象存储和分布式数据库的进展,管理超大规模的数据。同时,复杂度的降低可以让更多的开发者参与进来,未来更多的应用也会建立在文件系统接口之上。
来源:oschina
链接:https://my.oschina.net/gitosc/blog/4911076