本地数据上传

目前支持EXCEL及CSV格式文件上传：
Excel文件大小不能超过300M, xls等老版本Excel文件大小不能超过5M
CSV文件（可压缩成zip）文件大
小不能超过300M

操作路径：

1、(数据中心) → (+新建数据集) →（文件）

2、（EXCEL/CSV） →（下一步）

3、（点击上传文件） →（选择本地文件）

4、（选择需要上传的表内SHEET页） →（下一步）

5、（编辑数据集名称） →（选择存储路径） →（确认数据字段类型） →（确认新建）

6、TIPS-Q&A：

数据集名称： 需规范命名，方便查找
存储至： 需规范存储路径，方便后续数据集管理
数据类型： 需仔细确认数据类型是否正确
INT: 基本类型：int 二进制位数：32
最小值：Integer.MIN_VALUE= -2147483648 （-2的31次方）
最大值：Integer.MAX_VALUE= 2147483647 （2的31次方-1）
LONG: 基本类型：long 二进制位数：64
最小值：Long.MIN_VALUE=-9223372036854775808 （-2的63次方）
最大值：Long.MAX_VALUE=9223372036854775807 （2的63次方-1）
SHORT: 基本类型：short 二进制位数：16
最小值：Short.MIN_VALUE=-32768 （-2的15此方）
最大值：Short.MAX_VALUE=32767 （2的15次方-1）
FLOAT: 基本类型：float 二进制位数：32
最小值：Float.MIN_VALUE=1.4E-45 （2的-149次方）
最大值：Float.MAX_VALUE=3.4028235E38 （2的128次方-1）
DOUBLE: 基本类型：double 二进制位数：64
最小值：Double.MIN_VALUE=4.9E-324 （2的-1074次方）
最大值：Double.MAX_VALUE=1.7976931348623157E308 （2的1024次方-1）
STRING: 字符串类型/文本类型，属于引用数据类型
BOOL: 布尔型变量；但只能是 True 或是 False
DATE: 日期类型：年-月-日
TIMESTAMP：日期时间类型：年-月-日-时-分-秒
一般情况下，表格中的数值用DOUBLE类型来上传存储

OMS抽数

保证数据连通的情况下进行抽取，如变更数据库地址及密码，数据账户也需及时变更保证数据抽取。
100万行3列数据一般需要60秒抽数，多一倍的列，则抽数时间一般会按2-3倍增加。
若抽数数据量过大，首次抽数时间尽量选择在非工作时间，且后续更新建议选择增量更新。
增量更新的表需考虑表中修改时间与变量(状态、数量、金额)之间是否为关联关系，并且增量条件是否能覆盖变量变化。

操作路径：

1、打开BI选择数据集 → 选择新建数据集 → 选择数据库

2、选择SQLserver → 下一步

3、选择 OMS正式库 账户 → 输入需要抽数的SQL查询语句(先筛选需要抽数的字段后再配置，不建议SELECT *) → 设置合理的时间宏参数 → 预览数据 → 下一步

4、选择数据库链接方式（选择Guan-Index） → 选择去重主键 → 选择数据更新方式(不勾选增量更新则为每次全量更新，勾选后配置增量语句则每次为增量更新) → 选择数据更新周期（设置合理更新时间） → 下一步

5、对数据集进行命名 → 设置合理的保存路径 → 确认新建

WMS抽数

保证数据连通的情况下进行抽取，如变更数据库地址及密码，数据账户也需及时变更保证数据抽取。
100万行3列数据一般需要60秒抽数，多一倍的列，则抽数时间一般会按2-3倍增加。
若抽数数据量过大，首次抽数时间尽量选择在非工作时间，且后续更新建议选择增量更新。
增量更新的表需考虑表中修改时间与变量(状态、数量、金额)之间是否为关联关系，并且增量条件是否能覆盖变量变化。

操作路径：

1、打开BI选择数据集 → 选择新建数据集 → 选择数据库

2、选择SQLserver → 下一步

3、选择 WMS正式库 账户 → 输入需要抽数的SQL查询语句(先筛选需要抽数的字段后再配置，不建议SELECT *) → 设置合理的时间宏参数 → 预览数据 → 下一步

4、选择数据库链接方式（选择Guan-Index） → 选择去重主键 → 选择数据更新方式(不勾选增量更新则为每次全量更新，勾选后配置增量语句则每次为增量更新) → 选择数据更新周期（设置合理更新时间） → 下一步

5、对数据集进行命名 → 设置合理的保存路径 → 确认新建

TMS抽数

保证数据连通的情况下进行抽取，如变更数据库地址及密码，数据账户也需及时变更保证数据抽取。
100万行3列数据一般需要60秒抽数，多一倍的列，则抽数时间一般会按2-3倍增加。
若抽数数据量过大，首次抽数时间尽量选择在非工作时间，且后续更新建议选择增量更新。
增量更新的表需考虑表中修改时间与变量(状态、数量、金额)之间是否为关联关系，并且增量条件是否能覆盖变量变化。

操作路径：

1、打开BI选择数据集 → 选择新建数据集 → 选择数据库

2、选择MySQL → 下一步

3、选择 TMS正式库 账户 → 输入需要抽数的SQL查询语句(先筛选需要抽数的字段后再配置，不建议SELECT *) → 设置合理的时间宏参数 → 预览数据 → 下一步

4、选择数据库链接方式（选择Guan-Index） → 选择去重主键 → 选择数据更新方式(不勾选增量更新则为每次全量更新，勾选后配置增量语句则每次为增量更新) → 选择数据更新周期（设置合理更新时间） → 下一步

5、对数据集进行命名 → 设置合理的保存路径 → 确认新建

K3系统抽数

保证数据连通的情况下进行抽取(K3数据账户信息禁止更改，BI用户中：金蝶抽数-勿动 账号禁止删除、禁用、更改密码等操作)
对现有表进行字段的添加、禁用、启用、字段类型变更等操作均在Xshell中操作
对现有表进行表删除、行删除等操作均在Navicat Premium中可视化操作
对现有表进行重新全量抽数、增量抽数、按时间、按单据抽数均在 http://121.36.99.158:9092/user/login 吉家抽数管理页面进行操作。
对添加字段后的表抽数完成，需在BI中通过链接PostgreSQL数据库的方式进行抽数方可将新增字段抽取过来，然后对相关ETL进行数据集替换即可使用新增字段。

操作路径：

1、打开Xshell → 选择提报服务器并连接 → 显示红框中内容即表示为连接华为云服务成功

2、按红框1步骤输入，打开SQL-FILE文件夹 → 按红框2步骤输入，连接华为服务器中的Mysql数据库 → 按红框3步骤输入，连接并使用Mysql数据库中的kingdee数据库

①步骤1：
cd /docker/kingdee-home/mysql57/
ls
cd logs
ls
cd sql-file
ls
②步骤2：
docker exec -it mysql57 /bin/bash
mysql -uroot -p
chada123 （输入时内容不显示，直接输入之后按回车即可）
③步骤3：
use kingdee;

3、查询语句：

①查询现有已配置得所有表信息： select * from include_table;
②查询已配置表的所有字段信息： select * from table_field where table_name =’配置的表名’;
③更改字段为禁用或不禁用： update table_field set use_field=0 where id in (字段ID值，如1883等);
④更改字段类型： update table_field set field_type=’string’ where id in (字段ID值，如1883等);
⑤删除表字段（新加表，未开始抽数）： Delete from table_field where id in(字段ID值，如1883等);

4、如需新配置表或需新增表字段，则选择Xshell工具栏上的Xftp图标 → 在弹出的对话框左边找到需要执行的配置语句，拖拽到右边的Sql-file文件夹区域 → 在Xshell中执行以下相关语句（具体语句名称按具体配置来） → 执行成功

执行Xftp 中的表配置语句（Xftp中一次只存放一个语句文件，执行完需立即删除）
配置表信息： source /logs/sql-file/‘表SQL文件名’.sql;（文件名引号不保留）
配置表字段信息： source /logs/sql-file/‘字段SQL文件名’.sql; （文件名引号不保留）

5、如为源数据中已有的表增加新字段或变更字段类型等，则需要使用Navicat Premium进行操作 → 打开软件，首次登陆需创建数据库连接： 选择连接 → 选择第二个PosterSQL → 选择常规，输入相关内容 → 测试连接，确保可以连接的通 → 确定连接

①连接名： 自定义
②主机： 121.36.99.158
③端口： 5433
④初始数据库： kingdee
⑤用户名： root
⑥密码： chada123

6、双击连接名 → 双击kingdee → 双击public → 查看现有已配置并抽数的K3表 → 鼠标右击相关表，做删除处理 → 然后再进入第7步进行数据重新抽取

7、在吉家抽数管理平台上对以下4种方式进行抽数管理：

①针对添加或修改字段类型后,Navicat上做相关删除后，在以下抽数管理界面对该表进行重新全量抽数
②针对在Xshell中配置的新表进行首次全量抽数
③针对部分缺失数据进行按时间增量抽数
④针对部分缺失数据进行按单据增量抽数

点击抽数进度明细行中的查看，可查看抽数数据量及抽数时间和抽数更新状态是否成功

8、几种抽数方式的操作流程：

全量抽数：选择全量抽数 → 在抽取数据表中根据表名选择相关数据表 → 下一步即可

抽取开始页面无需填写!

增量抽数：选择增量抽数 → 在抽取数据表中根据表名选择相关数据表 → 下一步即可

不要点击全选! / 抽取开始页面无需填写!

按时间增量抽数：选择按时间增量抽数 → 在抽取数据表中根据表名选择相关数据表 → 选择开始时间 → 选择结束时间 → 下一步即可

开始时间与结束时间不能为同一日期！

单据抽数：选择单据抽数 → 在抽取数据表中根据表名选择相关数据表 → 点击上传 → 选择本地文件 → 下一步即可

抽本地文件仅支持CSV格式，按单据抽数，本地表格文件只需一行主键数值即可，如主表为FID，明细表为FENTRYID等，根据表格实际主键即可。

9、对于新增字段、变更字段类型的表，通过Workbench传输过来的时数据不会自动做变更，这时我们可以通过连接PostgreSQL数据库的方式来抽取相关表，然后将相关联的ETL数据集替换掉即可

选择新建数据集 → 选择数据库 → 选择PostgreSQL数据库 → 选择金蝶K3 postgre数据库 → 数据抽数SQL语句 → 预览 → 下一步 → 选择数据库连接方式（Guan-Index） → 选择去重主键 → 选择数据更新周期 → 下一步 → 编辑数据集名称 → 选择保存路径 → 确认新建

选择数据更新周期：因金蝶数据表更新时间为1:30-3点，所以本抽数方式选择的数据更新周期时间建议在4点30或5点以后

填报系统抽数

保证数据连通的情况下进行抽取，如变更数据库地址及密码，数据账户也需及时变更保证数据抽取。
100万行3列数据一般需要60秒抽数，多一倍的列，则抽数时间一般会按2-3倍增加。
若抽数数据量过大，首次抽数时间尽量选择在非工作时间，且后续更新建议选择增量更新。
增量更新的表需考虑表中修改时间与变量(状态、数量、金额)之间是否为关联关系，并且增量条件是否能覆盖变量变化。

操作路径：

1、打开表单填报页面 → 选择需要抽取的数据表 → 查看表结构（单主表 / 主表+子表）

如果为单主表，则在BI端抽取时只需配置主表抽数；如果为主表+子表形式，则在BI端抽取时需配置主表及明细表(子表)2张表的形式抽数。

2、选择主表/子表 → 选择SQL复制 → 点击复制

3、打开BI选择数据集 → 选择新建数据集 → 选择数据库

4、选择PostgreSQL → 下一步 → 选择 预测填报数据获取 账户 → 黏贴复制后的SQL语句 → 预览 → 下一步 → 选择数据库链接方式（选择Guan-Index） → 选择去重主键 → 选择数据更新周期（设置合理更新时间） → 下一步 → 对数据集进行命名 → 设置合理的保存路径 → 确认新建

数据追加/替换/清理/新建计算字段

功能：对数据集数据进行管理

数据追加

只针对本地文件上传有此功能，针对数据库抽数无此功能

1、打开BI选择本地上传的EXCEL数据集 → 选择追加数据

2、点击上传文件 → 选择需要添加的本地文件 → 选择需要添加的sheet页 → 下一步 → 下一步 → 下一步（或选择需去重的主键）→ （或选择对应字段关联）→ 确认追加

Excel文件大小不能超过300M, xls等老版本Excel文件大小不能超过5M
CSV文件（可压缩成zip）文件大小不能超过300M

数据替换

只针对本地文件上传有此功能，针对数据库抽数无此功能。
替换数据会替换掉原有表格所有行数据及列数据，确认清楚，谨慎操作！

1、打开BI选择本地上传的EXCEL数据集 → 选择替换数据

2、点击上传文件 → 选择需要添加的本地文件 → 选择需要添加的sheet页 → 下一步 → 预览上传数据及数据列 → 确认追加

Excel文件大小不能超过300M, xls等老版本Excel文件大小不能超过5M
CSV文件（可压缩成zip）文件大小不能超过300M

数据清理

针对现有数据集中部分数据错误需重传或原始数据中已删除关联抽数数据集也需同步删除的，可使用数据清理功能。

1、打开BI选择所需数据集 → 选择… → 选择清理数据

2、新建 → 新建需要做数据清理的规则(按选择、范围、条件进行筛选) → 确定 → 立即清理