braft

Curve ChunkServer的CPU瓶颈问题 Curve是网易数帆开源的新一代分布式存储系统，具有高性能、高可用、高可靠的特点，可作为多种存储场景的底层存储，包括块存储、对象存储、云原生数据库、EC等。 对于分布式块存储系统来说，IOPS是最重要的一个性能指标。从Curve目前的性能测试情况看，读IOPS瓶颈在Client端——对于6个存储节点的集群，单个Client节点读IOPS接近30万，两个Client节点读IOPS接近60万。而Curve的写IOPS还有一定提升空间——对于6个存储节点的集群，IOPS只能达到26万~28万，而ChunkServer节点CPU使用率接近100%，而底层SSD的使用率则不到90%。因此，随机写IOPS场景是Curve的一个优化重点。 在测试环境A 中部署Curve（具体配置见附录1），在Client节点创建10个卷，进行4KB随机写测试。结果显示，写IOPS约为13.5万，而此时ChunkServer节点的CPU使用率接近100%，而所有SSD的使用率平均不到85%。 这表明，ChunkServer端CPU成为性能瓶颈。考虑到目前测试环境的SSD配置较低，若使用高性能NVME SSD，其IOPS可能比现有SSD高一个数量级，届时CPU性能瓶颈将更为严重。因此，优化CPU性能，释放SSD的I/O能力，是Curve性能优化的一个重要方向

网易这回良心了： 7月16日，网易公司旗下云服务商网易数帆宣布开源一款名为 Curve 的高性能分布式存储系统， 官方称其性能可达 Ceph 的 1.84 倍。 据官方介绍，Curve 的定位是提供一个高性能、低延迟的存储底座，基于这个存储底座，企业可以打造适用于不同应用场景的存储系统，如块存储、对象存储、云原生数据库等。 CURVE 的设计开发始终围绕三个理念： 一是顺应当前存储硬件设施发展趋势，做到软硬件结合打造顶级的存储产品； 二是秉持 “Simple Can be harder than complex”，了解问题本质情况下选择最简单的方案解决问题； 三是拥抱开源，在充分调研的前提下使用优秀的开源项目组件，避免造轮子。 当前网易基于 CURVE 已经实现了高性能块存储系统，支持快照克隆和恢复 ,支持 QEMU 虚拟机和物理机 NBD 设备两种挂载方式, 在网易内部作为高性能云盘使用。 目前，网易数帆已经实现了高性能块存储系统。根据项目文档介绍，Curve 主要具有三大特性： 高性能、高可用和自治 。 1、高性能 Curve 团队参考了业界一些高效的开源存储系统，设计了一个新架构以实现高性能低延迟的核心能力。采用 brpc 保证网络数据流的高性能和低延迟，基于 braft 实现多副本一致性下的低延迟，并对 braft 的快照实现进行了进一步的优化。 磁盘 IO 方面