自定义测试：Tracks

定义

一条Track定义了一个或多个测试场景，具体的结构定义在另一个文件中

从存在集群创建

如果你已经有一个存有数据的es集群，你可以使用rally的子命令create-track创建一个Rally的track。如基于一个已经部署的es集群通过products 和 companies这两个索引创建一个tracks，命令如下：

  1. esrally create-track --track=acme --target-hosts=127.0.0.1:9200 --indices="products,companies" --output-path=~/tracks

如果要连接到启用了TLS和基本身份验证的集群，需要指明--client-options代码如下：

  1. esrally create-track --track=acme --target-hosts=abcdef123.us-central-1.gcp.cloud.es.io:9243 --client-options="timeout:60,use_ssl:true,verify_certs:true,basic_auth_user:'elastic',basic_auth_password:'secret-password'" --indices="products,companies" --output-path=~/tracks

需要将 basic_auth_user 和 basic_auth_password 进行相应的修改。track生成器将在指定的输出目录中创建一个具有track名称的文件夹：

  1. > find tracks/acme
  2. tracks/acme
  3. tracks/acme/companies-documents.json
  4. tracks/acme/companies-documents.json.bz2
  5. tracks/acme/companies-documents-1k.json
  6. tracks/acme/companies-documents-1k.json.bz2
  7. tracks/acme/companies.json
  8. tracks/acme/products-documents.json
  9. tracks/acme/products-documents.json.bz2
  10. tracks/acme/products-documents-1k.json
  11. tracks/acme/products-documents-1k.json.bz2
  12. tracks/acme/products.json
  13. tracks/acme/track.json

文件组织如下：

  • track.json 包含了实际的测试track
  • companies.json和products.json包含提取的索引的映射和设置。
  • *-documents.json(.bz2)包含提取索引中所有文档数据，带有-1k后缀的文件包含文档语料库的较小版本，以支持test模式。

从数据集构建

我们手把手的教你构建一个tracktutorial我们将所有内容存储在〜/rally-tracks/tutorial目录中，你也可以选择其他任何位置。

首先获取数据，Geonames根据creative commons license许可提供地理数据。下载allCountries.zip（大约300MB），解压缩并检查allCountries.txt。 该文件以制表符分隔，但要使用Elasticsearch批量索引数据，我们需要JSON格式的数据。使用以下脚本转换数据：

  1. import json
  3. cols = (("geonameid", "int", True),
  4.         ("name", "string", True),
  5.         ("asciiname", "string", False),
  6.         ("alternatenames", "string", False),
  7.         ("latitude", "double", True),
  8.         ("longitude", "double", True),
  9.         ("feature_class", "string", False),
  10.         ("feature_code", "string", False),
  11.         ("country_code", "string", True),
  12.         ("cc2", "string", False),
  13.         ("admin1_code", "string", False),
  14.         ("admin2_code", "string", False),
  15.         ("admin3_code", "string", False),
  16.         ("admin4_code", "string", False),
  17.         ("population", "long", True),
  18.         ("elevation", "int", False),
  19.         ("dem", "string", False),
  20.         ("timezone", "string", False))
  23. def main():
  24.     with open("allCountries.txt", "rt", encoding="UTF-8") as f:
  25.         for line in f:
  26.             tup = line.strip().split("\t")
  27.             record = {}
  28.             for i in range(len(cols)):
  29.                 name, type, include = cols[i]
  30.                 if tup[i] != "" and include:
  31.                     if type in ("int", "long"):
  32.                         record[name] = int(tup[i])
  33.                     elif type == "double":
  34.                         record[name] = float(tup[i])
  35.                     elif type == "string":
  36.                         record[name] = tup[i]
  37.             print(json.dumps(record, ensure_ascii=False))
  40. if __name__ == "__main__":
  41.     main()

把脚本存储为toJSON.py,放到tutorial文件夹底下（~/rally-tracks/tutorial）使用python命令执行它：python3 toJSON.py > documents.json

然后将以下映射文件作为index.json存储在tutorial目录中：

  1.   "settings": {
  2.     "index.number_of_replicas": 0
  3.   },
  4.   "mappings": {
  5.     "docs": {
  6.       "dynamic": "strict",
  7.       "properties": {
  8.         "geonameid": {
  9.           "type": "long"
  10.         },
  11.         "name": {
  12.           "type": "text"
  13.         },
  14.         "latitude": {
  15.           "type": "double"
  16.         },
  17.         "longitude": {
  18.           "type": "double"
  19.         },
  20.         "country_code": {
  21.           "type": "text"
  22.         },
  23.         "population": {
  24.           "type": "long"
  25.         }
  26.       }
  27.     }
  28.   }
  29. }

注意 本教程假定您要对7.0.0之前的Elasticsearch版本进行基准测试。如果要对Elasticsearch 7.0.0或更高版本进行基准测试，则需要删除上面的映射类型。

有关es的语法的详细信息，请参阅有关映射的Elasticsearch文档和create index API
最后，将tarck存储为tutorial目录中的track.json:

  1. {
  2.   "version": 2,
  3.   "description": "Tutorial benchmark for Rally",
  4.   "indices": [
  5.     {
  6.       "name": "geonames",
  7.       "body": "index.json",
  8.       "types": [ "docs" ]
  9.     }
  10.   ],
  11.   "corpora": [
  12.     {
  13.       "name": "rally-tutorial",
  14.       "documents": [
  15.         {
  16.           "source-file": "documents.json",
  17.           "document-count": 11658903,
  18.           "uncompressed-bytes": 1544799789
  19.         }
  20.       ]
  21.     }
  22.   ],
  23.   "schedule": [
  24.     {
  25.       "operation": {
  26.         "operation-type": "delete-index"
  27.       }
  28.     },
  29.     {
  30.       "operation": {
  31.         "operation-type": "create-index"
  32.       }
  33.     },
  34.     {
  35.       "operation": {
  36.         "operation-type": "cluster-health",
  37.         "request-params": {
  38.           "wait_for_status": "green"
  39.         }
  40.       }
  41.     },
  42.     {
  43.       "operation": {
  44.         "operation-type": "bulk",
  45.         "bulk-size": 5000
  46.       },
  47.       "warmup-time-period": 120,
  48.       "clients": 8
  49.     },
  50.     {
  51.       "operation": {
  52.         "operation-type": "force-merge"
  53.       }
  54.     },
  55.     {
  56.       "operation": {
  57.         "name": "query-match-all",
  58.         "operation-type": "search",
  59.         "body": {
  60.           "query": {
  61.             "match_all": {}
  62.           }
  63.         }
  64.       },
  65.       "clients": 8,
  66.       "warmup-iterations": 1000,
  67.       "iterations": 1000,
  68.       "target-throughput": 100
  69.     }
  70.   ]
  71. }

其中文档数可以通过wc -l documents.json获取，文档未压缩大小可以通过ll获取。

注意 本教程假定您要对7.0.0之前的Elasticsearch版本进行基准测试。如果要对Elasticsearch 7.0.0或更高版本进行基准测试，则需要删除上面的types属性。

注意 您可以将任何支持的脚本与track一起存储。但是，您需要将它们放置在以“ ”开头的目录中，例如“_support”。 Rally从任何目录加载跟踪插件（请参阅下文），但将忽略以“”开头的目录。

注意 我们为轨道定义了JSON模式，您可以使用它检查如何定义track。您还应该检查Rally提供的track以获取灵感。

当你运行esrally list tracks --track-path=~/rally-tracks/tutorial的时候，一条新的track就会出现：

  1. dm@io:~ $ esrally list tracks --track-path=~/rally-tracks/tutorial
  3.     ____        ____
  4.    / __ \____ _/ / /_  __
  5.   / /_/ / __ `/ / / / / /
  6.  / _, _/ /_/ / / / /_/ /
  7. /_/ |_|\__,_/_/_/\__, /
  8.                 /____/
  9. Available tracks:
  11. Name        Description                   Documents    Compressed Size  Uncompressed Size
  12. ----------  ----------------------------- -----------  ---------------  -----------------
  13. tutorial    Tutorial benchmark for Rally      11658903  N/A              1.4 GB

您还可以通过以下方式显示有关track的详细信息： esrally info --track-path=~/rally-tracks/tutorial

  1. dm@io:~ $ esrally info --track-path=~/rally-tracks/tutorial
  3.     ____        ____
  4.    / __ \____ _/ / /_  __
  5.   / /_/ / __ `/ / / / / /
  6.  / _, _/ /_/ / / / /_/ /
  7. /_/ |_|\__,_/_/_/\__, /
  8.                 /____/
  10. Showing details for track [tutorial]:
  12. * Description: Tutorial benchmark for Rally
  13. * Documents: 11,658,903
  14. * Compressed Size: N/A
  15. * Uncompressed Size: 1.4 GB
  18. Schedule:
  19. ----------
  21. 1. delete-index
  22. 2. create-index
  23. 3. cluster-health
  24. 4. bulk (8 clients)
  25. 5. force-merge
  26. 6. query-match-all (8 clients)

恭喜，您已经创建了第一条track！你可以用esrally --distribution-version=6.0.0 --track-path=~/rally-tracks/tutorial测试es集群了。

增加测试数据

这里提供的数据数量很有限，下面的脚本可以快速增加数据量：

  1. import json,random
  3. from tqdm import tqdm
  5. MAX_NUM=10000000*3
  7. def create_data():
  8.   num = MAX_NUM
  9.   for i in tqdm(range(num)):
  10.     geonameid = random.randint(1,100)
  11.     latitude = random.uniform(10,20)
  12.     name = random.sample('zyxwvutsrqponmlkjihgfedcba',5)
  13.     name = ''.join(name)
  14.     longitude = random.uniform(20,30)
  15.     population = random.randint(1,10000)
  16.     data = {"geonameid":geonameid,"latitude":latitude,"name":name,"longitude":longitude,"population":population}
  17.     print(json.dumps(data, ensure_ascii=False))
  19. if __name__ == "__main__":
  20.     create_data()

将其保存为createJson.py执行 python3 createJson.py >> documents.json 通过配置MAX_NUM的值，每10000000的大小为1.2G的数据。