开源etl工具 java etl数据开发

目录

1、创建JOB

（1）右击 Job Designs

（2）点击创建作业

2、设计JOB

（1）查找 tDBConnection 组件

（2）创建2个tDBConnection组件（点击第一步找到的组件，然后在作业的空白处左击即可）

（3）设置数据库连接类型

（4）2个数据库连通

（5）设计数据库输入、输出组件

（6）同第3步，设置俩个组件的数据库连接类型（设置完成后如下图：）

（7）连接剩余线

（8）设置tMap组件

3、配置上下文（数据库连接信息）

（1）创建上下文

（2）填写数据库相关信息

4、完善JOB

（1）tDBConnection组件应用上下文

（2）tDBInput组件应用上下文

（3）tDBOutput组件应用上下文

（4）配置tMap组件

5、开始本地运行测试

6、如果本地测试成功，即可打包到服务器执行

---

---

关于Talend的背景介绍这里就不说明了，详细资料可以查看官网https://www.talend.com/

以下主要说明如何快速使用Talend完成数据的抽取、转换、加载工作

1、创建JOB

（1）右击 Job Designs

（2）点击创建作业

 

 

2、设计JOB

（1）查找 tDBConnection 组件

---

（2）创建2个tDBConnection组件（点击第一步找到的组件，然后在作业的空白处左击即可）

（3）设置数据库连接类型

（4）2个数据库连通

（5）设计数据库输入、输出组件

 

（6）同第3步，设置俩个组件的数据库连接类型（设置完成后如下图：）

（7）连接剩余线

---

（8）设置tMap组件

---

 

3、配置上下文（数据库连接信息）

（1）创建上下文

（2）填写数据库相关信息

添加完成之后如下：

 

4、完善JOB

（1）tDBConnection组件应用上下文

---

（2）tDBInput组件应用上下文

第5步验证一下是否可以连通，如果可以获取到表结构，则说明连接成功

---

导出源表的表结构到本地

（3）tDBOutput组件应用上下文

---

• 获取目标表的表结构（方法：临时新建一个tDBIput组件，如下图，获取完表结构后删除掉该组件）

---

• 导出目标表表结构到本地

---

• 删掉该临时组件

（4）配置tMap组件

---

• 自动映射俩张表的字段（通常源表与目标表字段名都是完全匹配一致的，这里自动映射很方便，如果不匹配，就需要人为一条一条匹配源表与目标表的字段）

提示：人为匹配方法：点击左边源表字段，拖住到右侧字段列表中与之匹配的字段即可

 

5、开始本地运行测试

6、如果本地测试成功，即可打包到服务器执行

（1）打包

（2）windows执行方法

• 解压缩打包文件，然后找到bat文件执行

（3）linux后台永久执行方法

• 将压缩包上传到linux服务器，然后解压
• 同（2）一样，找到2级目录下的sh文件
• 命令行启动   nohup sh InfiniteLoop_ngdp_data_run.sh &     

(nohup详细解释可以度娘了解，结合&符号主要是为了满足后台永久挂载不掉线，但是需要注意，退出的时候必须用exit命令，不能直接关闭linux窗口)

• 命令行退出linux系统  exit
• 再次登录linux服务器，查看是否后台启动服务： ps -ef | grep java

 

---

本次更新就到这里了，如果在参考过程中有疑惑的地方欢迎指出，我会尽快检查并完善博文，感谢大家的支持。