一、Datafaker 简介

DataFaker是一个大批量测试数据和流测试数据生成工具，兼容python2.7和python3.4+，本教程基于官方文档修改，目的在与方便快速上手，如有错误请参考DataFaker 官方文档。

二、下载安装

DataFaker 安装

• PyPi查看Datafaker https://pypi.org/search/?q=datafaker
• 安装DataFaker pip install -i https://pypi.tuna.tsinghua.edu.cn/simple datafaker
• 卸载DataFaker pip uninstall datafaker ```bash $datafaker —version

  0.7.4

$datafaker -h

usage: datafaker.cmd [-h] [—auth [AUTH]] [—meta [META]] [—metaj [METAJ]] [—interval INTERVAL] [—batch BATCH] [—workers WORKERS] [—version] [—outprint] [—outspliter OUTSPLITER] [—locale LOCALE] [—format FORMAT] [—withheader] [dbtype] [connect] table [num]

datafaker, a tool to make generate data easy.

positional arguments: dbtype data source type connect connect info to the database table table to process num number of records to generate

optional arguments: -h, —help show this help message and exit —auth [AUTH] user and password —meta [META] meta file path —metaj [METAJ] metaj file path —interval INTERVAL the interval to make stream data —batch BATCH the interval to make stream data —workers WORKERS the interval to make stream data —version print the version number and exit —outprint print fake date to screen —outspliter OUTSPLITER print data, to split columns —locale LOCALE locale language —format FORMAT outprint and outfile format: json, text (default: text) —withheader print data or write data to file with column header

<a name="0uYs1"></a>
#### 安装对应数据库包
对于不同的数据库需要用到不同的python包，若在执行过程中报包缺失问题。 请pip安装对应包
| 数据库 | python包 | 备注 |
| --- | --- | --- |
| mysql/tidb | mysql-python/mysqlclient | windows+python3请使用mysqlclient |
| oracle | cx-Oracle | 同时需要下载orale相关库 |
| postgresql/redshift | psycopg2 | 根据sqlachemy选择对应包 |
| sqlserver | pyodbc | mssql+pyodbc |
| Hbase | happybase,thrift |  |
| es | elasticsearch |  |
| hive | pyhive |  |
| kafka | kafka-python |  |
<a name="41LUe"></a>
### 三、快速上手
<a name="Sxnxp"></a>
#### 1. 示例meta源数据文件
- **meta.txt**

id||int||自增id[:inc(id,1)] name||varchar(20)||学生名字[:name] age||int||年龄:[:random_int(20,60)] school||varchar(20)||学校名字[:enum(厦门大学,四川大学,武汉大学,北京大学,清华大学,中山大学,中南大学,南京大学,电子科技大学,浙江大学)] major||varchar(20)||专业[:enum(物联网工程,信息工程,土木工程,计算机软件工程,会计,工商管理)] company||varchar(20)||公司[:company] job||varchar(20)||职位[:job] phone||bigint||电话号码[:phone_number] email||varchar(64)||邮箱[:email] address||text||家庭地址[:address] credit_card_number||varchar(20)||卡号[:credit_card_number] password||varchar(20)||密码[:password] datetime||datetime||日期[:datetime] ip||varchar(32)||IP地址[:ipv4]

输出示例：
```bash
$datafaker file e:\zm\Py_Datafaker out.txt 1 --meta e:\zm\Py_Datafaker\meta.txt --outprint 

1,柴东,57,北京大学,信息工程,晖来计算机传媒有限公司,项目总监,15215107764,luyan@jing.org,山东省台北市华龙嘉禾街c座 618756,4714734019682,aaT@N8PbH+,2013-03-05 18:51:19,199.185.186.194
time used: 0.143 s

• metaj.json

  {
    "name": "[:name]",
    "age": [:age],
    "school": {
        "sch_address": "[:address]",
        "scores": [
            {
                "class": "[:enum(Math, English)]",
                "score": [:decimal(4,2,1)],
                "datatime": "[:datetime(1,%Y-%m-%d %H:%M:%S)]"
            }
        ]
    }
  },
  

  输出示例： ```bash $datafaker file e:\zm\Py_Datafaker out.json 1 —metaj e:\zm\Py_Datafaker\metaj.json —outprint

{ “name”: “王玉梅”, “age”: 52, “school”: { “sch_address”: “河南省帅县沈北新阜新路M座 102658”, “scores”: [ { “class”: “English”, “score”: 85.55, “datatime”: “2021-07-25 16:52:51” } ] } }, time used: 0.130 s

<a name="Iy8pw"></a>
#### 2. 写入File
前提：需要构造源数据文件`meta.txt`、如使用enum类型需要`names.txt`<br />json格式数据需要使用参数`--metaj`
```bash
datafaker file e:\zm\Py_Datafaker out.txt 1 --meta e:\zm\Py_Datafaker\meta.txt
datafaker file e:\zm\Py_Datafaker out.json 1 --metaj e:\zm\Py_Datafaker\metaj.json

3. 写入MySQL

• 创建MySQL数据表
• 根据数据表构造元数据文件meta.txt ```bash

  写入mysql 10条数据

  datafaker rdb mysql+mysqldb://root:root@localhost:3306/datafaker?charset=utf8 test 10 —meta meta.txt

批量写入mysql数据

datafaker rdb mysql+mysqldb://root:root@localhost:3306/datafaker?charset=utf8 test 100000 —meta meta.txt —worker 8 —batch 2000 ``` 更多示例请查看：DataFaker 官方文档

四、命令行参数

DataFaker参数包含4个必选参数和一些可选参数，如下表所示

五、数据构造规则

1. 数据库常用类型

这部分数据类型可以不用指定元数据文件

• 数值类型 支持大部分标准SQL数值数据类型。 这些类型包括严格数值数据类型( int、integer、smallint、decimal和numeric)，以及近似数值数据类型(float、real和double, precision)
• 日期和时间类型 表示时间值的日期和时间类型为datetime、date、timestamp、time和year。
• 字符串类型 字符串类型指char、varchar、binary、varbinary、blob、text、enum和set。

  2. 可变数据库类型

自增类型

inc(mark, start, step)
mark: 自增的变量名
start: 起始值, 默认值为1
step: 自增步长，默认值为1
inc(id)表示将当前列名为id的列，从1开始每次增长1, 可用于mysql的自增主键
inc(score, 100, 2)表示将当前列名为score的列，从100开始每次增长2

enum类型

enum类型表示随机从列表里随机选取一个对象，例如：
enum(2, 4, 5, 18) 表示每次从2，4，5，8这四个整数中随机选择一个
如果enum数组中只有一个对象，则表示从文件读取数据列表，每行一个对象：
enum(file://data.txt) 表示从当前目录的data.txt文件中读取列表。
enum类型可用来构造多表关联，比如两个表的某些字段都用同一个enum数据列表产生数据。

order_enum类型

与enum类型使用方法相同
不同在于，用于循环顺序产生枚举值。常用于相关联的多列产生值，例如一列为城市编码,一列为城市名，城市编码需要与城市名一一对应。关联的多列应该保持枚举值数量一致。
注意：由于多线程，不保证顺序严格按照枚举值列表顺序依次产生。但是能保证多相关列一一对应
详细请搜索查看issues

op类型

op类型表示从其他列中计算出值，例如：
op(c0+c3) 表示第一列值加上第四列值
op(c1*c4+c13) 表示第一列值乘上第五列值加上第十四列值

3. 自定义扩展类型

address 地址

数值类型

公司

信用卡、货币

• 日期、时间 | 构造规则 | 含义 | 举例 | 备注 | | —- | —- | —- | —- | | am_pm | AM/PM | AM | | | century | 世纪 | VII | | | date | 随机日期 | 2014-05-18 | date(start_date,end_date,format)
  start_date表示从当前日期往前推的天数，默认值为-30y,前30年，
  end_date表示从当前日期往后推的日期数,默认值为今天
  format为日期格式,默认值为%Y-%m-%d
  例如date(-30d, +20d, %Y.%m.%d) | | date_between
  0.7.4版本不可用 | 指定范围内日期 | 1997-08-29 | date_between(start_date,end_date,format)
  start_date表示开始日期，必填
  end_date表示结束日期，必填
  format为日期格式,默认值为%Y-%m-%d
  date_between(2017-01-01, 2019-12-02, %Y%m%d) | | date_this_month | 当前月份的日期 | 2019-03-13 | | | date_this_year | 今年内的日期 | 2019-03-09 | | | date_time/datetime | （1970年1月1日至今）时间 | 可不带参数datetime, 或者带参数datetime(0)随机时间， datetime(1,%Y-%m-%d %H:%M) 数据产生时间 2010-06-15 04:07 | datetime(now,format)两个参数：now(0,1是否用当前时间, 默认为0表示随机事件，1为当前时间), format(时间格式 默认为%Y-%m-%d %H:%M:%S） | | datetime_between | 指定范围时间 | 2009-10-03 03:15:07 | datetime_between(sdt, edt, foramt=’%Y-%m-%d %H:%M:%S’), sdt、edt为起止时间，格式为%Y-%m-%d %H:%M:%S，format为输出时间格式。datetime_between(‘2019-04-14 00:00:00’, ‘2019-04-15 00:00:00’)输出为2019-04-14 00:55:07 | | month | 随机月份 | 05 | | | month_name | 随机月份（英文） | December | | | time() | 随机24小时时间 | 18:52:55 | | | timezone | 随机时区 | Europe/Andorra | | | unix_time | 随机Unix时间 | 203461583 | | | timestamp | 随机Unix时间 | timestamp/timestamp(0) 随机时间戳， timestamp(1)当前数据产生时间戳 | 带一个参数 默认为0 | | year | 随机年份 | 2017 | |

internet

文本类型

人物信息相关

其他杂项

六、注意事项

1. Datafaker 已知BUG

移步issue https://github.com/gangly/datafaker/issues/81

2. 构造大批量数据

若需要构造大批量数据，原生python将耗费大量时间，请使用pypy执行datafaker。例如：
pypy -m datafaker hbase localhost:9090 PIGONE 50000 --meta hbase.txt
或者多线程执行, 8个线程产生数据，每次批量写入pg 2000条数据:
datafaker mysql postgresql+psycopg2://postgres:postgres@localhost/testpg pig_fnumbe_test 100000 --meta meta.txt --worker 8 --batch 2000

3. 支持关系型数据库

例子中大部分是以mysql为例子展示的。 只要支持sqlachemy的关系型数据库都是可以的，例如pg, oracle, tidb，redshift等等。 但type类型都是rdb，例如： datafaker rdb postgresql+psycopg2://postgres:postgres@localhost/testpg pig_fnumbe_test 100000 --meta meta.txt --worker 8 --batch 2000
写入oracle datafaker rdb oracle://root:root@127.0.0.1:1521/helowin stu 10 --meta meta.txt
sqlalchemy连接串必须为oracle:形式

4. 间隔写入数据

需要设置interval和batch参数，例如： datafaker rdb postgresql+psycopg2://postgres:postgres@localhost/testpg pig_fnumbe_test 100000 --meta meta.txt --interval 0.5 --batch 1