使用YCSB测试mongodb分片集群性能

1. 测试工具

本次测试选取YCSB(Yahoo! Cloud System Benchmark)作为测试客户端工具。YCSB是Yahoo开源的一个nosql测试工具，用来测试比较各种nosql的性能，项目地址：https://github.com/brianfrankcooper/YCSB。项目的mongodb目录下有详细的安装和测试方法。

YCSB支持常见的nosql数据库读写，如插入，修改，删除，读取等。它可以使用多线程来提高客户端的性能。可以方便的自定义各种场景，如95%插入5%读，或者90%读5%更新5%插入等等。可以自定义数据请求分布方式：平均分布，zipfian(大约20%数据获得80%访问请求），最新数据。

2. 测试步骤

1. 选择客户端线程数。使用YCSB测试，要选择一个合适的线程数，否则测试的瓶颈可能在客户端而不是数据库，经过比较，大概100个线程时，YCSB达到最大性能。

2.定义测试场景。本次测试的场景如下：

workloada	写多读少，90%插入，5%读，5%更新。
workloadb	读多写少，95%读，5%更新。
workloadc	读多写少，100%读。
workloadd	读多写少，95%读，5%插入。
workloadf	读多写少，50%读，50%读写修改同一条记录。
workloadg	读多写少，60%读，20%读，20%更新。

3.测试不同数量记录下的各种场景。分成两个阶段：

1)，load。加载数据。命令为：

./bin/ycsb load mongodb -threads 100 -s -P workloads/workloada -p mongodb.url=mongodb://mongos:28000/ycsb?w=0 > outputLoad.txt

执行load 命令时，仅有recordcount参数起作用，如recordcount=60000000表示加载六千万条记录。执行run命令时，recordcount不起作用。mongos是集群中mongos实例的ip地址。

2)，run。load数据完成后，各种场景运行测试。

测试场景workloada，位于workloads目录下：

./bin/ycsb run mongodb -threads 100 -s -P workloads/workloada -p mongodb.url=mongodb://mongos:28000/ycsb?w=0 > outputRun.txt

每次load数据前要把上次测试中产生的数据删除，包括各个分片，配置服务器，mongos等的数据。

3. 测试系统架构

集群配置服务器的3个实例部署在configs服务器上，YCSB，mongos实例，shard1，shard2各自部署在一台服务器。shard1和shard2都是单独的mongodb instance，不是replicate set。mongodb 使用2.6版本。

4. 服务器的配置

	OS	CPU	RAM
YCSB	ubuntu14.04	Intel(R) Core(TM) i5-4440 CPU @ 3.10GHz 4核	1G
mongos	Red Hat 4.4	Intel(R) Xeon(R) CPU E5645 @ 2.40GHz 1核	8G
shards	Red Hat 4.4	Intel(R) Xeon(R) CPU E5645 @ 2.40GHz 1核	16G
configs	ubuntu14.04	Intel(R) Core(TM) i5-4440 CPU@3.10GHz 1核	1G

5. 测试结果

表1，一个分片，1百万，1千万，6千万，1亿记录时各个场景的吞吐量(ops/sec)。

表2，两个分片，1百万，1千万，6千万记录时各个场景的吞吐量(ops/sec)。

数据量(百万)	workloada	workloadb	workloadc	workloadd	workloadf	workloadg
1	4878	7352	7536	7885	2131	5986
10	4343	7282	7442	6996	2164	6119
60	1669	7242	7847	7810	2577	6054
100	157	7333	6796	7766	2082	4389