概述
MySql数据库的编码支持UFT8字符集。utf-8编码可能是2个字节、3个字节、4个字节的字符，MYSQL的utf-8编码，只支持3个字节的字符。汉字中很多生僻字都是4个字节的字符，日常生活中人的姓名就会有很多高位的生僻字。
如果直接使用datax同步数据到utf-8编码的数据库中，遇到高位字节的字符时，程序会抛异常。即便数据库中的表的字符集是设置为uft8mb4字符集。在datax异常日志中：
java.sql.BatchUpdateException:Incorrect string value:'xF0xA1x80x84' for column 'XXXX' at row 66.
如果在创建数据库实例的时候，就把实例创建成uft8mb4字符集，就不会出现这个问题。之前这个问题，datax是没有解决的，我都是通过重新创建数据库实例来实现。现在datax有方法可以解决这个问题，方法就是在jdbc配置中增加?com.mysql.jdbc.faultInjection.serverCharsetIndex=45。例如：
jdbc:mysql://ip:3306/testabc?com.mysql.jdbc.faultInjection.serverCharsetIndex=45
测试
建表语句
CREATE TABLE a (
name varchar(222) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
;
测试json
{
"job": {
"setting": {
"speed": {
"channel": 1
}
},
"content": [
{
"reader": {
"name": "streamreader",
"parameter": {
"sliceRecordCount": "2",
"column": [
{
"value": "??",
"type": "string"
}
],
"charset": "UTF-8",
"fieldDelimiter": "t"
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"username": "",
"password": "",
"column": [
"*"
],
"connection": [
{
"table": [
"a"
],
"jdbcUrl": "jdbc:mysql://ip:3306/testabc?com.mysql.jdbc.faultInjection.serverCharsetIndex=45"
}
]
}
}
}
]
}
}
感谢 一斆 老师，解决了这个问题。从2014年发现这个问题，到知道解决方法，我至少等了5年。
参考：
一、
1、查看MySQL数据库服务器和数据库MySQL字符集。
mysql> show variables like '%char%';
Variable_name
Value
......
character_set_client
utf8
...... -- 客户端字符集
character_set_connection
utf8
......
character_set_database
utf8
...... -- 数据库字符集
character_set_filesystem
binary
......
character_set_results
utf8
......
character_set_server
utf8
...... -- 服务器字符集
character_set_system
utf8
......
character_sets_dir
D:MySQL Server 5.0sharecharsets
......
2、查看MySQL数据表(table)的MySQL字符集。
mysql> show table status from sqlstudy_db like '%countries%';
Name
Engine
Version
Row_format
Rows
Collation
......
countries
InnoDB
10
Compact
11
utf8_general_ci
......
3、查看MySQL数据列(column)的MySQL字符集。
mysql> show full columns from countries;
Field
Type
Collation
.......
countries_id
int(11)
NULL
.......
countries_name
varchar(64)
utf8_general_ci
.......
countries_iso_code_2
char(2)
utf8_general_ci
.......
countries_iso_code_3
char(3)
utf8_general_ci
.......
address_format_id
int(11)
NULL
.......
二、uft8mb4字符集什么是utf8mb4
MySQL在5.5.3版本之后增加了这个utf8mb4的编码，mb4就是most bytes 4的意思，专门用来兼容四字节的unicode。
utf8与utf8mb4的联系
utf8mb4是utf8的超集(也就是说utf8mb4包含utf8)，理论上原来使用utf8，然后将字符集修改为utf8mb4，也会不会对已有的utf8编码读取产生任何问题。当然，为了节省空间，一般情况下使用utf8也就够了。
为什么要用utf8mb4
低版本的MySQL支持的utf8编码，最大字符长度为 3 字节，如果遇到 4 字节的字符就会出现错误了。三个字节的 UTF-8 最大能编码的 Unicode 字符是 0xFFFF，也就是 Unicode 中的基本多文平面(BMP)。也就是说，任何不在基本多文平面的 Unicode字符，都无法使用MySQL原有的 utf8 字符集存储。
这些不在BMP中的字符包括哪些呢？最常见的就是Emoji 表情(Emoji 是一种特殊的 Unicode 编码，常见于 ios 和 android 手机上)，和一些不常用的汉字，以及任何新增的 Unicode 字符等等。
链接：https://www.jianshu.com/p/f9073c8c85b9
