ycsb

When I try to run mvn clean package I am getting the following error Downloading: http://repo.maven.apache.org/maven2/org/apache/maven /plugins/maven-clean-plugin/2.4.1/maven-clean-plugin-2.4.1.pom [INFO] ------------------------------------------------------------------------ [INFO] Reactor Summary: [INFO] [INFO] YCSB Root ......................................... FAILURE [21.334s] [INFO] Core YCSB ......................................... SKIPPED [INFO] Cassandra DB Binding .............................. SKIPPED [INFO] HBase DB Binding .................................. SKIPPED [INFO]

1. 测试工具 本次测试选取YCSB(Yahoo! Cloud System Benchmark)作为测试客户端工具。YCSB是Yahoo开源的一个nosql测试工具，用来测试比较各种nosql的性能，项目地址：https://github.com/brianfrankcooper/YCSB。项目的mongodb目录下有详细的安装和测试方法。 YCSB支持常见的nosql数据库读写，如插入，修改，删除，读取等。它可以使用多线程来提高客户端的性能。可以方便的自定义各种场景，如95%插入5%读，或者90%读5%更新5%插入等等。可以自定义数据请求分布方式：平均分布，zipfian(大约20%数据获得80%访问请求），最新数据。 2. 测试步骤 1. 选择客户端线程数。使用YCSB测试，要选择一个合适的线程数，否则测试的瓶颈可能在客户端而不是数据库，经过比较，大概100个线程时，YCSB达到最大性能。 2.定义测试场景。本次测试的场景如下： workloada 写多读少，90%插入，5%读，5%更新。 workloadb 读多写少，95%读，5%更新。 workloadc 读多写少，100%读。 workloadd 读多写少，95%读，5%插入。 workloadf 读多写少，50%读，50%读写修改同一条记录。 workloadg 读多写少，60%读，20%读，20%更新。 3

下载 github： https://github.com/brianfrankcooper/YCSB/releases/tag/0.10.0 wget https://github.com/brianfrankcooper/YCSB/archive/0.10.0.tar.gz tar xvf 0.10.0.tar.gz 编译： cd YCSB-0.10.0/ 编译所有的nosql mvn clean package 只编译Hbase mvn -pl com.yahoo.ycsb:hbase10-binding -am clean package 安装成功。 cd hbase10/target/ tar xvf ycsb-hbase10-binding-0.10.0.tar.gz cd ycsb-hbase10-binding-0.10.0 测试： 1 hive中建表 hbase(main):01:0*> n_splits=120 => 120 hbase(main):02:0> create 'usertable','family',{SPLITS => (1...n_splits).map{|i| "user#{1000+i*(9999-1000)/n_splits}"}} 0 row(s) in 18.3610 seconds => Hbase::Table -

We recently benchmarked Oracle 10g and MongoDB with YCSB ( https://github.com/brianfrankcooper/YCSB/wiki ), when we tried to increase the number of threads for 1,000,000 datasets, Oracle's performance remained constant after 4 threads however MongoDB kept on performing better and better till 8 threads and after that only reads were better, writes and updates (operations/sec) remained constant. We ran this benchmark on 2 CPU Xeon quad core (total 8 cores) + 8 GB RAM on LAN. What we observed was that MongoDB performed better with multi-threaded client comparing to single-threaded client, my

一、背景 这几天对所有的基础组件做一个摸底的基准压力测试，目前我们所有的开源基础组件都没有做过性能测试，经常有开发人员问，我们的RDS、MongoDB集群能抗多大量呀，这个时候我是没办法回复的，因为我自己也不知道，虽然一个数据库集群能抗多大量，在软件、硬件配置固定的情况下，和业务场景有很大的关系，如果数据量小，查询SQL简单那吞吐量自然很高，如果数据量特别大并且都是复杂SQL，那吞吐量自然上不去；但是既然人家问了，肯定是希望有一个答案，如果你说不知道，那会给人一种不靠谱的感觉，所以做一次基准压力测试，我们知道在特定的场景下我们的集群能有多大的吞吐量，做到自己心里有数，才给别人信心。这周在压测MongoDB，谷歌了一番，MongoDB的压测工具很少，有几篇是介绍通过YCSB压测MongoDB的，找丹姐（逻辑思维首席DBA）推荐一款MongoDB的压测工具，丹姐也推荐YCSB，好吧，那就它吧，开整。 二、环境说明 1、MongoDB集群配置（一个分片的shard集群） 2、MongoDB版本 4.0.4-62-g7e345a7 4、系统及内核版本 CentOS Linux release 7.5.1804 (Core) 3.10.0-862.14.4.el7.x86_64 3、YCSB版本 YCSB-0.16.0-RC1. 4、测试说明 三、安装 1、jdk及maven安装参考官方