介绍

DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。
任务”执行器”支持集群部署，支持执行器多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖，执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。

下载DataX Web

下载官方提供的版本tar版本包点击下载 提取码：cpsk
Git DataX-Web

开始部署

上传解压

  1. tar -zxvf datax-web-2.1.2.tar.gz

一键安装

进入解压后的目录，找到bin目录下面的install.sh文件，如果选择交互式的安装，则直接执行

  1. ./bin/install.sh

按照提示输入数据库地址，端口号，用户名，密码以及数据库名称，大部分情况下即可快速完成初始化。 如果服务上并没有安装mysql命令，则可以取用目录下/bin/db/datax-web.sql脚本去手动执行，完成后修改相关配置文件

配置数据库

  1. vim ./datax-admin/conf/bootstrap.properties
  1. #Database
  2. DB_HOST=192.168.3.40
  3. DB_PORT=3306
  5. DB_USERNAME=root
  6. DB_PASSWORD=123456
  7. DB_DATABASE=datax_web

配置邮件服务

在项目目录配置邮箱： /modules/datax-admin/bin/env.properties 配置邮件服务(可跳过)

  1. MAIL_USERNAME=""
  2. MAIL_PASSWORD=""

设置PYTHON_PATH

在项目目录下/datax/datax-execute/bin/env.properties 指定PYTHON_PATH的路径

  1. vim ./datax/{module_name}/bin/env.properties
  1. ### 执行datax的python脚本地址
  2. PYTHON_PATH=/usr/mpsp/datax/bin/datax.py
  4. ### 保持和datax-admin服务的端口一致；默认是9527，如果没改datax-admin的端口，可以忽略
  5. DATAX_ADMIN_PORT=

启动服务

  1. D:/DataX/datax-web/bin/start-all.sh
  1. ./bin/stop-all.sh

运行

部署完成后，在浏览器中输入 http://ip:port/index.html 就可以访问对应的主界面（ip为datax-admin部署所在服务器ip,port为为datax-admin 指定的运行端口）
输入用户名 admin 密码 123456 就可以直接访问系统