[root@db02 job]# cat oracletomysql.json { "job": { "content": [ { "reader": { "name": "oraclereader", "p...
原创
2022-08-05 11:53:16
127阅读
一、Reader插件和Writer插件“reader”: {
“name”: “mysqlreader”, #从mysql数据库获取数据（也支持sqlserverreader,oraclereader）
“name”: “txtfilereader”, #从本地获取数据
“name”: “hdfsreader”, #从hdfs文件、hive表获取数据
“name”: “streamread
转载
2024-08-15 09:31:25
178阅读
接着上篇文章说的事情。所有bug解决完了，终于可以开始导数了，导数也很顺利，但是发现了一件不太舒服的事，速度怎么这么慢!!!之前的速度一般为2w-3w/s，1000w的数据需要300s-500s,差不多5-10分钟，是可以接受的但是现在不到7000/s，不能接受，还是需要优化。之前写过一篇很简单的优化oraclereader。提高channel的数量，多个任务去读取，但是看了hdfsreader的
转载
2024-06-07 21:52:27
44阅读
