明明维护了一个1k的最小堆，可是输出到MySQL里却只有九百多行数据。

查log,发现这么一段内容： 

stderr logs
com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'reqs' at row 1
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3595)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3529)
	at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1990)
	at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2151)
	at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2625)
	at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:2119)
	at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2415)
	at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2333)
	at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2318)
	at com.successfactors.perflog.hadoop.mapreduce.core.ParseRecordToDB$RecordReducer.insertData(Unknown Source)
	at com.successfactors.perflog.hadoop.mapreduce.core.ParseRecordToDB$RecordReducer.cleanup(Unknown Source)
	at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:178)
	at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649)
	at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:417)
	at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:415)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
	at org.apache.hadoop.mapred.Child.main(Child.java:249)


看来是column的最大长度不够，查看DDL：

  

CREATE TABLE `record` (
  `eid` varchar(100) NOT NULL,
  `module` varchar(32) NOT NULL,
  `stime` int(11) NOT NULL,
  `edate` varchar(32) NOT NULL,
  `fname` varchar(100) NOT NULL,
  `event` varchar(500) NOT NULL,
  `reqs` varchar(10000) NOT NULL,
  PRIMARY KEY (`eid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE `record` (
  `eid` varchar(100) NOT NULL,
  `module` varchar(32) NOT NULL,
  `stime` int(11) NOT NULL,
  `edate` varchar(32) NOT NULL,
  `fname` varchar(100) NOT NULL,
  `event` varchar(500) NOT NULL,
  `reqs` varchar(10000) NOT NULL,
  PRIMARY KEY (`eid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

我都一万了还不够，试下65535吧！

 发现varchar直接变成mediumtext了，这可不对。那就试试22222吧

又报错了...

最后我设置为20000长度了，倒是通过了，通过一个复杂的减法可以计算更为临界的值。

去网上查查，发现MySQL里column的最大长度貌似跟很多东西有关，跑去问公司的DBA，貌似oracle是另一套机制。

附一篇别人的文章，讲最大值的： 

这不是一个固定的数字。本文简要说明一下限制规则。

strlen 计算字符串长度，一个中文当2字符

mb_strlen根据它的字符编码模式，统计字符quot

count计算数组中的元素数目或对象中的属性个数

 <?php
header('Content-Type:text/html;charset=UTF-8');
$string1="谢春业";//定义中文字符变量
$string2="xcy";//定义英文字符变量
//直接输出看看他们的长度
echo strlen($string1);
echo "</br>";
echo strlen($string2);
echo "</br>";
//用 php 多字节扩展函数 mb_strlen试试看
echo mb_strlen($string1,'utf8');
echo "</br>";
echo mb_strlen($string2,'utf8');
echo "</br>";
  ?>
 
输出结果是：
9
3
3
3
1、限制规则

字段的限制在字段定义的时候有以下规则： 

a)    存储限制

       varchar 字段是将实际内容单独存储在聚簇索引之外，内容开头用1到2个字节表示实际长度（长度超过255时需要2个字节），因此最大长度不能超过65535。 

b)    编码长度限制

     字符类型若为gbk，每个字符最多占2个字节，最大长度不能超过32766;

　　字符类型若为utf8，每个字符最多占3个字节，最大长度不能超过21845。

　　对于英文比较多的论坛 ，使用GBK则每个字符占用2个字节，而使用UTF－8英文却只占一个字节。

　　若定义的时候超过上述限制，则varchar字段会被强行转为text类型，并产生warning。 

c)    行长度限制

　　导致实际应用中varchar长度限制的是一个行定义的长度。 MySQL要求一个行的定义长度不能超过65535。若定义的表长度超过这个值，则提示

　　ERROR 1118 (42000): Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. You have to 　　　change some columns to TEXT or BLOBs。 

2、计算例子

　　举两个例说明一下实际长度的计算。 

a)    若一个表只有一个varchar类型，如定义为

create table t4(c varchar(N)) charset=gbk;

则此处N的最大值为(65535-1-2)/2= 32766。

减1的原因是实际行存储从第二个字节开始’;

减2的原因是varchar头部的2个字节表示长度;

除2的原因是字符编码是gbk。

 

b)   若一个表定义为

create table t4(c int, c2 char(30), c3 varchar(N)) charset=utf8;

则此处N的最大值为 (65535-1-2-4-30*3)/3=21812

减1和减2与上例相同;

减4的原因是int类型的c占4个字节;

减30*3的原因是char(30)占用90个字节，编码是utf8。 

    如果被varchar超过上述的b规则，被强转成text类型，则每个字段占用定义长度为11字节，当然这已经不是“varchar”了。
这不是一个固定的数字。本文简要说明一下限制规则。

strlen 计算字符串长度，一个中文当2字符

mb_strlen根据它的字符编码模式，统计字符quot

count计算数组中的元素数目或对象中的属性个数

 <?php
header('Content-Type:text/html;charset=UTF-8');
$string1="谢春业";//定义中文字符变量
$string2="xcy";//定义英文字符变量
//直接输出看看他们的长度
echo strlen($string1);
echo "</br>";
echo strlen($string2);
echo "</br>";
//用 php 多字节扩展函数 mb_strlen试试看
echo mb_strlen($string1,'utf8');
echo "</br>";
echo mb_strlen($string2,'utf8');
echo "</br>";
  ?>
 
输出结果是：
9
3
3
3
1、限制规则

字段的限制在字段定义的时候有以下规则： 

a)    存储限制

       varchar 字段是将实际内容单独存储在聚簇索引之外，内容开头用1到2个字节表示实际长度（长度超过255时需要2个字节），因此最大长度不能超过65535。 

b)    编码长度限制

     字符类型若为gbk，每个字符最多占2个字节，最大长度不能超过32766;

　　字符类型若为utf8，每个字符最多占3个字节，最大长度不能超过21845。

　　对于英文比较多的论坛 ，使用GBK则每个字符占用2个字节，而使用UTF－8英文却只占一个字节。

　　若定义的时候超过上述限制，则varchar字段会被强行转为text类型，并产生warning。 

c)    行长度限制

　　导致实际应用中varchar长度限制的是一个行定义的长度。 MySQL要求一个行的定义长度不能超过65535。若定义的表长度超过这个值，则提示

　　ERROR 1118 (42000): Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. You have to 　　　change some columns to TEXT or BLOBs。 

2、计算例子

　　举两个例说明一下实际长度的计算。 

a)    若一个表只有一个varchar类型，如定义为

create table t4(c varchar(N)) charset=gbk;

则此处N的最大值为(65535-1-2)/2= 32766。

减1的原因是实际行存储从第二个字节开始’;

减2的原因是varchar头部的2个字节表示长度;

除2的原因是字符编码是gbk。

 

b)   若一个表定义为

create table t4(c int, c2 char(30), c3 varchar(N)) charset=utf8;

则此处N的最大值为 (65535-1-2-4-30*3)/3=21812

减1和减2与上例相同;

减4的原因是int类型的c占4个字节;

减30*3的原因是char(30)占用90个字节，编码是utf8。 

    如果被varchar超过上述的b规则，被强转成text类型，则每个字段占用定义长度为11字节，当然这已经不是“varchar”了。

 

  这里还有一个不错的表格：

http://blog.sina.com.cn/s/blog_4f925fc30102edg8.html

一、数字类型

类型

范围

说明


Char(N) [ binary]

N=1~255 个字元
binary ：分辨大小写

固定长度

std_name cahr(32) not null

VarChar(N) [binary]

N=1~255 个字元
binary ：分辨大小写

可变长度

std_address varchar(256)

TinyBlob

最大长度255个字元(2^8-1)

Blob (Binary large objects)储存二进位资料，且有分大小写

memo text not null

TinyText

最大长度255个字元(2^8-1)

Blob

最大长度65535个字元(2^16-1)

 Text

最大长度65535个字元(2^16-1)

MediumBlob

最大长度 16777215 个字元(2^24-1)

MediumText

最大长度 16777215 个字元(2^24-1

LongBlob

最大长度4294967295个字元 (2^32-1)

LongText

最大长度4294967295个字元 (2^32-1)

Enum

集合最大数目为65535

列举(Enumeration)，Enum单选、Set复选

sex enum(1,0)
habby set(‘玩电玩’,'睡觉’,'看电影’,'听音乐’)

Set

集合最大数目为64

辨別Null与Not Null ：Null为允许储存空值(Null)

二、数值



类型

范围

说明

例如

TinyInt[M] [UNSIGNED]

-128~127
UNSIGNED ： 0~255


num tinyint unsigned

SmallInt[M] [UNSIGNED]

-32768~32767
UNSIGNED ：0~ 65535



MediumInt[M] [UNSIGNED]

-8388608~8388607
UNSIGNED ：0~16777215



Int[M] [UNSIGNED]

-2^31~2^31-1
UNSIGNED ： 0~2^32



BigInt[M] [UNSIGNED]

-2^63~2^63-1
UNSIGNED ： 0~2^64



Float [(M,D)]

-3.4E+38~3.4E+38( 约 )

注： M 为长度， D 为小数,Float 4 bytes,Double 8 bytes


Double [(M,D)]

-1.79E+308~1.79E+308( 约 )

Decimal [(M,D)]




辨別ZeroFill：当宣告关键字ZeroFill为自动填满0，如 000021

三、日期时间

类型

范围

说明

Date

日期(yyyy-mm-dd)


Time

时间(hh:mm:ss)


DateTime

日期与时间組合(yyyy-mm-dd hh:mm:ss)


TimeStamp

yyyymmddhhmmss


Year

年份yyyy