问题1:DataX报错解决办法 - 在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数

问题原因:
正如中文字面上所说,DataX的配置有问题,单个channel的bps值不能为空,也不能为非正数。

解决办法:

修改文件datax/conf/core.json,如果找不到文件,直接find / -name conr.json查找下文件位置

"core": {
        "dataXServer": {
            "address": "http://localhost:7001/api",
            "timeout": 10000,
            "reportDataxLog": false,
            "reportPerfLog": false
        },
        "transport": {
            "channel": {
                "class": "com.alibaba.datax.core.transport.channel.memory.MemoryChannel",
                "speed": {
                    "byte": 2000000,  #修改后把注释删掉
                    "record": -1
                },
                "flowControlInterval": 20,
                "capacity": 512,
                "byteCapacity": 67108864
            },
            "exchanger": {
                "class": "com.alibaba.datax.core.plugin.BufferedRecordExchanger",
                "bufferSize": 32
            }
        },
}

修改core -> transport -> channel -> speed -> “byte”: 2000000,将单个channel的大小改为2MB即可。

问题2:由于源端数据存在较多业务脏数据导致,请仔细检查DataX汇报的脏数据日志信息, 或者您可以适当调大脏数据阈值 .]. - 脏数据条数检查不通过,限制是[0]条,但实际上捕获了[1]条.

解决方法:

datax的这个脏数据阈值在job的json中errorlimit中设置,可自定义修改个数

问题记录:Datax+Datax-web2.1.2的一系列问题_ci