新增任务
在任务列表界面,点击左上角的“新增任务”按钮,跳转到配置任务界面。
跳转创建数据源
如果没有想要的数据源,可以点击图片中的“这里”跳转到数据源,并根据需要添加数据源。
数据来源
数据库
当数据类型选择“数据库”时,可以通过选择数据源中的数据表作为数据同步的来源。
- 数据区域:选择数据源区、采集区还是共享区,选择后会出现数据源的选择项,必填项
- 数据源:选择一个数据库所在的数据源,再选择一个数据表,必填项
- 数据过滤:参考相应SQL语法填写where过滤语句(不要填写where关键字) 。该过滤语句通常用作增量同步。
点击“数据预览”按钮可以查看当前数据过滤语句下查询到的数据。
其他
当数据类型选择“其他”时,可以通过上传文件作为数据同步的来源。
上传文件
点击“数据源”右侧的“”按钮;
选择需要上传的文件(只能上传xls/xlsx/csv文件,且不超过10Mb);
选择文件中数据所在的sheet页;
填写“字段标题行”以及“字段起始行”,也可以通过点击后方“”按钮调整。
点击“数据预览”按钮可以查看当前文件下的数据。
按周期上传文件
点击“数据源”右侧的“
”按钮;
选择上报周期,包含季度、月份、周;
选择所属的部门;
选择需要上传的模板文件(只能上传xls/xlsx/csv文件,且不超过10Mb);
选择文件中数据所在的sheet页;
填写“字段标题行”以及“字段起始行”,也可以通过点击后方“”按钮调整。
点击“数据预览”按钮可以查看当前文件下的数据。
数据去向
数据去向需要配置数据同步的目标表。
- 数据区域:选择数据源区、采集区还是共享区,选择后会出现数据源的选择项,必填项
- 数据源:选择一个数据库所在的数据源,再选择一个数据表,必填项
当数据同步遇到主键冲突时,可以选择以下三种处理方式
insert into:当主键/约束冲突时会报脏数据
on duplicate key update:当主键/约束冲突时直接更新冲突数据
replace into:当主键/约束冲突时会先删除冲突数据再插入数据
字段映射
字段映射的目的是将源表中的表字段映射到目标表字段上,以便于数据同步。
将数据字段后面的蓝色圆点“拖拽到模板字段前面的箭头处“
”,可以将这两个字段进行关联映射。
鼠标悬浮再字段栏上会在当前字段栏后方出现拖拽按钮“”,点击该按钮可以将该字段上下拖拽挪动位置。
点击同行映射,会将左右两栏相同位置的字段依次映射。
点击同名映射,会将左右两栏相同名称的字段依次映射。
点击取消映射,将会取消所有映射关系。
配置信息
可以配置作业的传输速率和错误纪录数来控制整个数据同步过程。
- 任务名称:数据同步的名称,必填项
任务类型:选择增量会将同步的数据会直接添加到目标表中,不影响表中原来的数据,
选择**全量**会将目标表清空,再将同步的数据添加到目标表中,**必填项**
错误记录数超过:填写错误记录数的条数,也可以通过点击后方“
”按钮调整, 在数据同步过程中,错误记录数超过这个值,数据同步自动结束。(错误记录数,表示脏数据的最大容忍条数)
- 同步速率:选择不限流不会限制数据同步的速率,选择限流可以编辑同步的速率,也可以通过点击后方“
”按钮调整。(设置同步速率可以保护读取端数据库,以避免抽取速度过大,给源库造成太大的压力。同步速率建议限流,结合源库的配置,请合理配置抽取速率)
全都配置完成后,点击右上角“保存配置”按钮完成数据同步配置任务操作。