同步需求:mysql中的数据同步到atomdata(一个数据,和你认为的oracle一样)
Github主页地址:https://github.com/alibaba/DataX
一、dataX概览
1.1 DataX
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
1.2 Features
DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
1.3 System Requirements
- Linux
- JDK(1.8以上,推荐1.8)
- Python(推荐Python2.6.X)
- Apache Maven 3.x (Compile DataX)
(1)jdk安装方法:
(2)python安装方法:
优先执行python -v, 如当前机器有python2.7版本,则跳过下面步骤
a、离线安装, 先将Python-2.7.15.zip📎Python-2.7.15.zip上传到工作机器
unzip Python-2.7.15.zip
cd Python-2.7.15
./configure --enable-optimizations
make altinstall
#修改系统变量
sudo vi /etc/profile
#文件末尾增加一行内容
PATH=$PATH:/usr/src/Python-2.7.15
#保存退出
#验证是否安装成功,执行
python2 -v
(3)maven安装
见如下的二步骤中内容
二、安装dataX与应用
按照此文章的内容,进行安装,详见链接:https://developer.aliyun.com/article/216355
三、配置的json文件
(1)在服务器上创建并进入datax目录
cd /datax/job
(2)新建同步job文件
sudo vi job/mysq2atomdata-op.job
执行测试
即可看到执行结果
作者:Syw