原文链接 https://www.zybuluo.com/SailorXiao/note/192089


项目里面需要对mongodb的性能进行测试,看了下网上很多做法都是使用YCSB进行测试,因此开始学习使用YCSB。
YCSB github地址:https://github.com/brianfrankcooper/YCSB
wiki: https://github.com/brianfrankcooper/YCSB/wiki
安装参考:https://github.com/brianfrankcooper/YCSB/tree/master/mongodb
之前的一些测试经验:http://www.sdpnosql.net/index.php/archives/3/http://www.sdpnosql.net/index.php/archives/13/

1 安装

基于参考文档(https://github.com/brianfrankcooper/YCSB/tree/master/mongodb )安装java,mvn,ycsb
基本上安装了python(2.7.5版本以上),java(需要是jdk,而不是jre),mvn和ycsb之后就可以了

1.1 YCSB目录结构

安装好YCSB之后,查看YCSB目录如下:

  1. drwxr-xr-x. 3 root root 30 Oct 10 18:20 accumulo
  2. drwxr-xr-x. 3 root root 46 Oct 10 18:20 aerospike
  3. drwxr-xr-x. 2 root root 17 Oct 13 05:03 bin
  4. drwxr-xr-x. 3 root root 56 Oct 10 18:20 binding-parent
  5. -rw-r--r--. 1 root root 877 Oct 10 18:20 BUILD
  6. drwxr-xr-x. 3 root root 30 Oct 10 18:20 cassandra
  7. -rw-r--r--. 1 root root 7216 Oct 10 18:20 checkstyle.xml
  8. drwxr-xr-x. 4 root root 60 Oct 13 03:18 core
  9. drwxr-xr-x. 3 root root 46 Oct 10 18:20 couchbase
  10. drwxr-xr-x. 3 root root 30 Oct 10 18:20 distribution
  11. drwxr-xr-x. 4 root root 4096 Oct 10 18:20 doc
  12. drwxr-xr-x. 4 root root 54 Oct 10 18:20 dynamodb
  13. drwxr-xr-x. 3 root root 46 Oct 10 18:20 elasticsearch
  14. drwxr-xr-x. 3 root root 30 Oct 10 18:20 gemfire
  15. drwxr-xr-x. 2 root root 36 Oct 10 18:20 hbase094
  16. drwxr-xr-x. 3 root root 46 Oct 10 18:20 hbase098
  17. drwxr-xr-x. 3 root root 46 Oct 10 18:20 hbase10
  18. drwxr-xr-x. 3 root root 43 Oct 10 18:20 hypertable
  19. drwxr-xr-x. 3 root root 46 Oct 10 18:20 infinispan
  20. drwxr-xr-x. 3 root root 30 Oct 10 18:20 jdbc
  21. -rw-r--r--. 1 root root 8082 Oct 10 18:20 LICENSE.txt
  22. drwxr-xr-x. 3 root root 43 Oct 10 18:20 mapkeeper
  23. drwxr-xr-x. 4 root root 59 Oct 13 03:19 mongodb
  24. drwxr-xr-x. 3 root root 43 Oct 10 18:20 nosqldb
  25. -rw-r--r--. 1 root root 479 Oct 10 18:20 NOTICE.txt
  26. drwxr-xr-x. 3 root root 46 Oct 10 18:20 orientdb
  27. -rw-r--r--. 1 root root 5263 Oct 10 18:20 pom.xml
  28. -rw-r--r--. 1 root root 2033 Oct 10 18:20 README.md
  29. drwxr-xr-x. 3 root root 46 Oct 10 18:20 redis
  30. drwxr-xr-x. 3 root root 46 Oct 10 18:20 tarantool
  31. drwxr-xr-x. 3 root root 30 Oct 10 18:20 voldemort
  32. drwxr-xr-x. 2 root root 4096 Oct 13 01:09 workloads

这里面有几个目录需要注意下:

  1. bin
  2. - 目录下有个可执行的ycsb文件,是个python脚本,是用户操作的命令行接口。ycsb主逻辑是:解析命令行、设置java环境,加载java-libs,封装成可以执行的java命令,并执行
  3. workloads
  4. - 目录下有各种workload的模板,可以基于workload模板进行个性化修改
  5. core
  6. - 包含ycsb里各种核心实现,比如DB的虚拟类DB.java,各个db子类都要继承该类;还有比如workload抽象类,如果我们要自定义workload实现也需要继承该类
  7. 各种DB的目录:
  8. - 比如mongoredis等,里面包含了对应测试的源码等。
  9. - ycsb mvn编译后,会在对应的目录下生成target文件,ycsb会加载对应target文件中的class

2 使用

ycsb在执行的时候,分为两阶段:load阶段 和 transaction阶段

2.1 load阶段

该阶段主要用于构造测试数据,ycsb会基于参数设定,往db里面构造测试需要的数据,如:

  1. ./bin/ycsb load mongodb-async -s -P workloads/workloada > outputLoad.txt

mongodb-async

在ycsb中,对于不同的db都有一些选项,比如mongo就有mongodb 和 mongodb-async。
默认的mongodb表示同步,即load和run使用同步的方式,ycsb会调用mongodb/src底下对应的MongodbClient实现对应的insert/update等操作。如果设置了mongodb-async,ycsb会调用mongodb/src底下对应的AsyncMongoDbClient.java实现
参数设置:

  1. Options:
  2. -P file Specify workload file // workload文件
  3. -cp path Additional Java classpath entries
  4. -jvm-args args Additional arguments to the JVM
  5. -p key=value Override workload property // 一些设置
  6. -s Print status to stderr // 把状态达到stderr中
  7. -target n Target ops/sec (default: unthrottled) // 每秒总共操作的次数
  8. -threads n Number of client threads (default: 1) // 客户端线程数

参数解读:

-P workload文件

在ycsb的目录下有多种workload,参考:https://github.com/brianfrankcooper/YCSB/wiki/Core-Workloads,我们以workloada举例子
基础配置:

  1. recordcount=1000 # 总共的操作条数
  2. operationcount=1000 # 总共操作的次数
  3. workload=com.yahoo.ycsb.workloads.CoreWorkload=
  4. readallfields=true # 在读取的时候,是否需要读取所有字段
  5. readproportion=0.5 # 读取比例
  6. updateproportion=0.5 # update比例
  7. scanproportion=0
  8. insertproportion=0
  9. requestdistribution=zipfian

workloada的负载比较中,read和update类比例为1:1,里面一些设置参数如上,如果我们再设置mongo的时候,还需要再workload中增加对应的mongo配置,如下:

  1. mongodb.url=mongodb://192.168.137.10:34001/ycsb? # mongodb对应的uri等
  2. mongodb.database=ycsb # 对应的db
  3. mongodb.writeConcern=normal # 写级别

-p选项

-p用于设置一些对应的参数,如果workload中的参数,也可以以-p的方式放在命令行中设置

-s

-s是表示,在运行中,把一些状态打印到stderr中,一般status信息,用于表示在运行中的一些中间状态(比如当前处理了多少请求,还有多少请求等)

-target n

表示1s中总共的操作次数(各个线程加起来的),如果性能不满足,比如最高性能只有100,你设置了1000,那么ycsb会尽量往这个数目去靠近。默认是不做限制

-thread 线程数

设置ycsb client的并发测试线程数,默认是1,单线程,所以再测试的时候,一定要设置这个选项

2.2 transcation阶段

在2.1load数据结束之后,ycsb就可以进行测试了,也就是transaction阶段。在transaction阶段,会基于workload中的比例设置,和线程参数设置进行db的压测。具体参数如上

3 一些自定义操作

由于这次在使用ycsb测试mongodb中主要是为了测试mongodb3.0的性能,同时需要和2.6.9进行对比。而3.0性能写性能大幅度提升是因为锁力度从db锁升级到collection锁。而默认的insert、update操作都是对于同一个collection操作(usertable),没法体现这个优势。
因此我们需要修改对应的insert、update和read接口实现一次性写多个db。修改如下:

  1. 修改mongodb底下的MongoDbClientAsyncMongoDbClient中关于insertupdateread函数实现
  2. 如下:
  3. 原来的实现:
  4. public final int update(final String table, final String key,
  5. final HashMap<String, ByteIterator> values) {
  6. try {
  7. final MongoCollection collection = database.getCollection(table);
  8. final DocumentBuilder query = BuilderFactory.start().add("_id", key);
  9. final DocumentBuilder update = BuilderFactory.start();
  10. final DocumentBuilder fieldsToSet = update.push("$set");
  11. for (final Map.Entry<String, ByteIterator> entry : values.entrySet()) {
  12. fieldsToSet.add(entry.getKey(), entry.getValue().toArray());
  13. }
  14. final long res =
  15. collection.update(query, update, false, false, writeConcern);
  16. return res == 1 ? 0 : 1;
  17. } catch (final Exception e) {
  18. System.err.println(e.toString());
  19. return 1;
  20. }
  21. }
  22. 修改后:
  23. public final int update(final String table, final String key,
  24. final HashMap<String, ByteIterator> values) { // 对原来的update函数做修改,在每次update时都多做几次操作
  25. int ret = updateOneTable(table, key, values);
  26. if (ret != 0) {
  27. return ret;
  28. }
  29. for (int i = 0; i < TABLE_NUM; ++i) {
  30. String tableName = table + String.valueOf(i);
  31. ret = updateOneTable(tableName, key, values);
  32. if (ret != 0) {
  33. return ret;
  34. }
  35. }
  36. return 0;
  37. }
  38. public final int updateOneTable(final String table, final String key,
  39. final HashMap<String, ByteIterator> values) {
  40. try {
  41. final MongoCollection collection = database.getCollection(table);
  42. final DocumentBuilder query = BuilderFactory.start().add("_id", key);
  43. final DocumentBuilder update = BuilderFactory.start();
  44. final DocumentBuilder fieldsToSet = update.push("$set");
  45. for (final Map.Entry<String, ByteIterator> entry : values.entrySet()) {
  46. fieldsToSet.add(entry.getKey(), entry.getValue().toArray());
  47. }
  48. final long res =
  49. collection.update(query, update, false, false, writeConcern);
  50. return res == 1 ? 0 : 1;
  51. } catch (final Exception e) {
  52. System.err.println(e.toString());
  53. return 1;
  54. }
  55. }

其中TABLE_NUM可以根据实际需求进行设置(实际中,我们设置了该值为4,表示一次写5个table)