1. 账号注册
账号注册地址:datahub.hscloud.top
- 如下图,直接使用手机号码,并通过短信验证即可登陆。
- 如果用户是第一次注册,且没有组织。系统会提醒用户创建组织或者联系组织管理员将你加入特定组织。
- 如果你是一个工厂,第一次组成可以自己创建一个组织。
- 组织的名称最好用工厂名称的简写,如:台华、佳都等等
2. 部署代理
代理的部署程序请联系Datahub管理者索取(wuwending@huansi.net),提供Linux、MacOS、Windows三个平台,本例以Windows为例:
- 进入Datahub,打开“代理”页面,如下图,记录下“Agent Secret Key”待用,本例中为:bsm**qfvjg
- 拿到Windows的压缩包程序解压后有如下内容:
- 双击
install.bat
,因为第一次找不到配置文件,会自动在当前目录下生成一个:config.yaml
的配置文件 打开
config.yaml
修改如下配置内容(其他字段不建议进行修改)secret
,代理注册的安全Key,位于“代理”->“Agent Secret Key”,为我们第一个步骤中的:bsm**qfvjg``mode
,使用默认的:db
dbConfig.type
,数据库类型,配置为:mssql
dbConfig.host
,数据库服务器的IP地址dbConfig.port
,数据库服务的端口dbConfig.dbName
,数据库的名称(库名)dbConfig.user
,数据库用户dbConfig.password
,数据库用户对应的密码secret: bsm******qfvjg
mode: db
dbConfig:
type: mssql
host: 127.0.0.1
port: 1433
dbName: sample
user: sa
password: hu***c
配置完成后,再次双击
install.bat
,如果配置没有问题,程序会自动注册并启动,并在当前目录下生成datahub-agent
的日志文件,查看文件有如下内容则说明运行正常:{"level":"info","time":"2020-07-17T22:04:20+08:00","message":"Agent running."} {"level":"info","time":"2020-07-17T22:04:20+08:00","message":"Mode: db"}
登陆Datahub,在代理下可以查看到代理的运行状态,绿色表示连接正常
- 完成代理部署后就可以开始配置“数据”
3. 创建数据
- 点击“数据”->“新增”
- 在“新增”页面,输入“数据”名称,“类型”选择“源”,“模式”为“DB”,点击确认
- 点击上一步新增的“面料库存”
- 在数据配置页面,选择第2步部署的代理名称,并在SQL部分,输入查询出面料库存的SQL语句,然后点击“生成”按钮,用于生成“数据格式”配置
- 往下滚动我们可以看到Datahub通过SQL语句帮我们自动生成的“数据格式”配置,如果没有问题可以直接点击保存。如果有修改调整的可以手工进行调整后再保存。
- 点击最下部分的“保存”按钮完成数据配置
4. 配置转换
当数据配置完成后,我们需要配置一个转换,让数据转换给另一个组织(如,CPP)。在数据转换的前提是CPP已经给当前组织进行授权,如果没有授权请联系CPP的管理员(wuwending@huansi.net)
- 在面料库存的配置页面,点击“数据转换”标签,如果没有配置过数据转换,会自动弹出新增加窗口,如下图
- 在“目标”栏位中选择“CPP->面料厂-面料库存”,请注意,如果没有权限是无法看到CPP的目标数据的。需要联系CPP的管理员开放权限。点击“确定”后看到如下界面。如果“数据”中的“字段”与目标数据的“字段同名会默认自动选中。否则为空
- 根据目标数据的要求,补充要“字段”的映射关系,并补充常量字段。常量字段,在类型中选择“值”并在后续的框中输入对应的内容。
- 完成后点击“保存”按钮,并开始进行“运行”测试
5. 运行测试
- 当数据配置完成后,我们就可以开始进行调试和测试,在“数据”配置页面的顶部点击“运行”按钮
- 点击“运行”后,系统会提示开始运行,如果正常结束会提醒“运行成功”
- 不管运行成功,还是失败,在“历史记录”页面都可以看到每次运行的详细信息。如下,每次运行Datahub会生成一个PID,并且记录开始时间、结束时间。如果要查看详细的运行过程,可以点击“查看详情”的小图标
- 点击PID的详情可以看到,每个PID下面有多个步骤。我们叫Trace,或者TID,绿色表示执行成功,红色表示执行失败。点击具体步骤可以看到详细的TID信息,如点击“Fetch”
- 点击”Fetch”后可以看到TID的详细信息,如下图,除了TID的基本信息,还是显示“日志”和“数据”,对于Fetch步骤,日志是发起要数据SQL的相关配置,如SQL语句等。数据是SQL语句返回的结果。
- 通过PID的绿色图标我们可以看到“运行”测试是成功的。我们可以继续配置“执行规则”
6. 配置执行规则
执行规则相当于一个调度任务,可以让我们在指定的时间自动执行数据转换传输给对方
- 点击“面料库存”中的“执行规则,并点击“新增”按钮,如下图:
- 点击“新增”后可以看到如下配置页面,这个例子我们直接采用“每天”凌晨“2”进行调度
- “保存”后可以看到已经添加了一条执行规则,如果需要用户可以添加多条执行规则
7. 异常提醒
我们建议用户开启异常提醒,这样在代理失效或者任务执行失败的时候会通过短信和邮件通知到用户。开启方式如下:
- 点击页面右上角的“用户名称”,选择“用户信息”
- 在“用户手机”部分,分别开启“Process预警”和“代理预警”。
8. 关于上传CPP的Token问题
如果用户是要将数据上传到CPP,CPP和Datahub是分离的两个系统,所以需要配置CPP的授权Token。设置如下:
- 点击“设置”->“添加”,添加一个名称为“CPP_Token”的token,具体的token从CPP获取。如果没有添加该token会导致Push到CPP报授权错误。
9. 进一步了解Datahub
这是一篇新手指导更详细的内容敬请期待。谢谢!