UDF函数实现一行输入对应一个输出。
在Hive中提供了时间格式到时间戳的转换,但是对于特殊的时间格式需要做一个预处理。比如"31/Aug/2015:00:04:37 +0800" 这种形式,需要将它解析成可以识别的时间格式,而且要去掉首尾的双引号
package com.rabbit.hadoop.hive.udf;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Locale;import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;public class UdfDateFormat extends UDF {
// "31/Aug/2015:00:04:37 +0800"
private SimpleDateFormat inputdate = new SimpleDateFormat("dd/MMM/yyyy:HH:mm:ss",Locale.ENGLISH);
private SimpleDateFormat outputdate = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
String formattedString = null; public Text evaluate(Text input) {
if (input == null) {
return null;
}
String str = input.toString();
if(StringUtils.isBlank(str)) {
return null;
}
str = str.replaceAll("\"", "");
try {//解析输入时间格式
Date parseDate = inputdate.parse(str);//格式化成字符串
formattedString = outputdate.format(parseDate);
} catch (ParseException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
return new Text(formattedString);
}
// public static void main(String[] args) {
// System.out.println(new UdfDateFormat().evaluate(new Text("\"31/Aug/2015:00:04:37 +0800\"")));
// }
}
可以将这个程序打成jar包,上传到服务器,定义成Hive的临时function或者永久function。