菜菜光的博客_hive

hive0.13 mapjoin hashtable找不到的bug

线上job报错：Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.io.FileNotFoundException: /home/vipshop/hard_disk/1/yarn/local/usercache/hdfs/appc

bug

mapjoin hashtable

原创 2015-02-07 11:58:38 2545 阅读 1收藏

hive2solr问题小结

搞了一段时间，hive2solr的job终于可以稳定的跑了，实现使用hive向solr插数据，主要是实现RecordWriter接口，重写write方法和close方法。下面对遇到的问题一一列出：1.数据覆盖问题，使用原子更新参考：http://caiguangguang.blog.51cto.com/1652935/15991372.重复构建solrserver和solrtable

内存泄漏

数据覆盖

hive2solr

原创推荐 2015-02-07 11:36:46 10000+阅读 1点赞 2评论

hive on tez踩坑记2-hive0.14 on tez

在测试hive0.14.0 on tez时遇到的问题比较多：1.在使用cdh5.2.0+hive0.14.0+tez-0.5.0测试时，首先遇到下面的问题java.lang.NoSuchMethodError: org.apache.tez.dag.api.client.Progress.getFailedTaskAttemptCount()I &nb

hive0.14

tez

原创推荐 2015-01-14 22:43:38 10000+阅读

hive on tez踩坑记1-hive0.13 on tez

最近集群准备升级到cdh5.2.0，并使用tez，在测试集群cdh5.2.0已经稳定运行了很长时间，因此开始折腾hive on tez了，期间遇到不少问题，这里记录下。hive on tez的部署比较简单，可以参考wiki.主要注意几个地方1.编译的时候mvn clean package -Dtar -DskipTests=true

hive0.13

tez

原创 2015-01-14 22:05:34 10000+阅读

hive0.11 hiveserver custom认证bug

最近在测试hive0.11 hiveserver时遇到的一个关于认证的bug，具体表现：在配置中指定了custom的认证方式时，通过beeline连接hiveserver2,发现连接hang住。hive配置：<property> <name>hive.server2.authentication</name>a <value>CUSTOM

bug

custom

hiveserver 0.11

原创 2015-01-11 21:14:23 4069 阅读

hive0.13.1 orc兼容性问题fix

线上使用cdh4.6.0和hive0.13.1,在hive0.11之后开始支持orcfile,hive0.13.1使用的是pb2.5.0,cdh4.6.0是用的2.4.0a，线上测试orcfile，建表正常，但是插入数据时报错报错：java.lang.VerifyError: class org.apache.hadoop.hive.ql.io.orc.OrcProto$Row

protobuf

orcfile

hive0.13

原创 2015-01-04 22:23:32 3202 阅读

实现hive proxy5-数据目录权限问题解决

hdfs

hive

原创推荐 2014-12-18 23:07:45 9569 阅读 1收藏

hive Context类和DriverContext类

在hive的源码中经常可以看到Context类和DriverContext类，咋一看感觉这两个意思差不多，其实其作用区别还是蛮大的：org.apache.hadoop.hive.ql.Context类存储job的上下文信息，一个job创建一个Context对象，job运行完后，调用clear方法进行清除1）初始化/创建/删除中间目录中间的目录包括local job的和非local job的prot

Context类

DriverContext类

原创 2014-12-18 22:59:57 2029 阅读

实现hive proxy3-日志目录权限问题解决

使用proxy之后，目录名为proxy之后的用户名目录，但是生成的文件属主是当前登陆用户，导致不能正常写入，日志目录的创建在org.apache.hadoop.hive.ql.history.HiveHistoryImpl类中，更改后的构造方法（增加了proxy之后的代码）：public HiveHistoryImpl(SessionState ss)

hive 日志文件权限

原创 2014-12-14 22:24:01 1156 阅读

实现hive proxy4-scratch目录权限问题解决

hive在hdfs中的job中间文件是根据当前登陆用户产生的，其默认值为/tmp/hive-${user.name}，这就导致实现proxy的功能时会遇到临时文件的权限问题，比如在实现了proxy功能后，以超级用户hdfs proxy到普通用户user时，在hdfs中的临时文件在/tmp/hive-user目录中，而目录的属主是hdfs,这时再以普通用户user运行job

hive scratch 目录权限

原创 2014-12-14 22:13:22 3076 阅读

实现hive proxy2-hive操作hadoop时使用用户的地方

hive权限有两层，hive本身的验证和hadoop的验证。自定义hive的proxy功能时，hive层面的相关验证更改在http://caiguangguang.blog.51cto.com/1652935/1587251 中已经提过，这里说下hive和hadoop以及本地文件系统相关的几个出现用户的地方：1.job的log文件session初始化时会初始化日志文件，主要在Sess

hive proxy 用户

原创推荐 2014-12-14 21:42:23 10000+阅读

hive show current roles问题

今天hive user maillist上有人问show current roles命令问题：I am trying to run ‘Show current roles’ on Apache hive 0.13.1 but getting fol

hive show current ro

原创 2014-12-07 13:04:25 10000+阅读

hive hook限制grant权限

hive中有个比较严重的bug，默认情况下任何用户都可以运行grant命令来做授权操作在Driver.compile方法中，可以增加对AST的hook(hive可以有很多hook，后面分析hive hook的类型和使用阶段)，用来做一些forbidden的操作：compile相关的内容如下： BaseSemanticAnalyzer sem =

hive hook

原创 2014-12-07 12:07:15 10000+阅读

实现hive proxy1-hive认证实现

扩展HadoopDefaultAuthenticator类的setConf方法，实现可以代理用户运行的功能，主要需求如下：1.不传入参数时，按本用户执行2.传入参数时，按传入参数执行3.对设置为hdfs用户进行限制主要更改HiveConf类和HadoopDefaultAuthenticator类HiveConf增加：HIVE_USE_CUSTOM_PROXY("use.custom.proxy",

hive

扩展认证方法

原创 2014-12-07 11:51:09 3601 阅读

hive

认证类

原创 2014-12-07 11:42:58 6893 阅读

hive cli启动判断hadoop version的问题

测试环境的hive cli启动时报错：Unable to determine Hadoop version information.hive是一个shell:使用sh -x跟踪运行过程，可以看到其通过hadoop version获取hdfs的版本相关的代码如下：# Make sure we're using&

hive

cli

hadoop version

原创 2014-11-19 22:32:22 10000+阅读 1点赞 1评论

hive执行流程(3)-Driver类分析1Driver类整体流程

Driver类是对org.apache.hadoop.hive.ql.processors.CommandProcessor.java接口的实现，重写了run方法，定义了常见sql的执行方式.public class Driver implements CommandProcessor具体的方法调用顺序：run--->runInterna

hive

driver类

原创推荐 2014-11-04 23:59:35 10000+阅读

hive执行流程(2)-CommandProcessor相关类

在上一篇的CliDriver 类中介绍了CliDriver 类会引用到CommandProcessor相关类，主要是根据命令来判断具体实现类,比如通过本地的hive cli启动时，运行hive的命令（非list/source/shell命令等）时在processCmd方法中有如下实现: try { &nb

hive

CommandProcessor

原创 2014-10-22 22:55:00 2139 阅读

hive

shims类

原创推荐 2014-10-15 23:45:35 10000+阅读

hive启动debug问题

最近在debug hive的一个bug,之前都是使用打印日志来跟踪源码，这种方式效率比较低（每次更改了源码都要重新编译并替换线上的jar包）,java的应用可以支持remote debug的，hive也不例外，主要是通过hive --debug来实现.在运行hive --debug时遇到如下问题：ERROR: Cannot load this

hive

debug

原创推荐 2014-10-15 00:04:36 10000+阅读

hive可以drop所有表的bug fix

之前遇到的一个drop table的小问题，默认任何人都可以有使用drop db.table的权限这是一个bug,bugid:https://issues.apache.org/jira/browse/HIVE-2817解决方法：可以通过设置set hive.exec.drop.ignorenonexistent=false（Do not report&

hive drop table bug

原创 2014-09-27 22:55:35 2216 阅读

hive0.13数据库锁问题fix

之前同事处理的一个case，记录下hive升级到0.13之后，在创建表时，发现报锁竞争的问题，信息如下：conflicting lock present for vipdw mode EXCLUSIVEhive中有锁是没有问题，但是这里的锁却是数据库层面的锁！而且是排他锁！这个锁的粒度就太大了，这个锁会导致所有的关于这个库的hive操作都

hive0.13

数据库锁

原创 2014-09-17 22:40:07 10000+阅读

hive超级用户drop partition无权限问题bug

今天有个etl开发在drop partition的时候遇到了问题，因为是使用了自己的账号，而hdfs中对应partition的文件属主是hdfs的，在删除时会因为权限问题报错，切换用户为hdfs，做drop partition的错误，还是报错，看来没这么简单。查看表的hdfs属性，目录的属主不是hdfs且目录对 hdfs没有写权限:[hdfs@nfzm ~]$&n

超级用户

drop

hive

partition

原创推荐 2014-08-22 21:11:10 3522 阅读

hive执行流程(1)-hive入口CliDriver类分析

在运行hive cli命令时，调用hadoop jar hive-cli-0.13.1.jar org.apache.hadoop.hive.cli.CliDriver xxxx 命令,而org.apache.hadoop.util.RunJar方法其实是封装了反射调用，最终是调用org.apache.hadoop.hive.cli.CliDriver类的main方法.CliDriver类是hiv

分析

hive

CliDriver

原创 2014-08-19 23:16:35 3945 阅读

hiverc文件的加载源码实现

使用过hive的都知道，可以通过指定 -i参数或者配置.hiverc来设置hive启动时初始执行的一些命令，比如可以把udf的定义写到.hiverc文件中。加载.hiverc的过程是在CliDriver类中定义的。具体的方法调用顺序：main--->run--->executeDriver----->processInitFiles---->processFi

hiverc加载

原创 2014-08-19 22:50:05 2384 阅读

hive中打印日志的几种方式实现

在debug hive的问题时，我们经常需要在源码里面增加必要的日志信息，来跟踪变量的变化或者是方法执行的情况，性能等。。hive里面有下面几个日志的实现方式。1种是常用的通过org.apache.commons.logging.Log和org.apache.commons.logging.LogFactory类实现的。比如要打印类的info信息时，只需要下面这样就可以。static f

hive 日志记录源码分析

原创推荐 2014-08-18 22:38:20 9154 阅读 1点赞

hive变量传递的源码实现

用过hive的人都知道，可以通过在cli向hive传递参数，变量等，这里其实是通过下面两个类实现的。org.apache.hadoop.hive.ql.processors.SetProcessor类 org.apache.hadoop.hive.ql.parse.VariableSubstitution类其中SetProcessor类定义了对set 命令的处理，Vari

hive

源码

变量

原创 2014-08-18 22:14:42 3231 阅读

hive0.13 cli启动缓慢问题

hive由0.11升级至0.13之后，cli的启动时间由5s增加为10s，影响了部分etl job的运行时间，经过debug，发现时间主要消耗在下面3个地方：1. hadoop jar的时候要把相关的jar包上传到hdfs中（这里大概消耗5s，hive0.11一样，这个地方不太好优化）2. 在每次hive cli启动的时候，初始化HiveMetaStore时，在init时，会调用下面

hive0.13 启动慢

原创 2014-08-18 21:55:06 2260 阅读

关于hive RegexSerDe的源码分析

最近有个业务建表使用了 RegexSerDe，之前虽然也它来解析nginx日志，但是没有做深入的了解。这次看了下其实现方式。建表语句：CREATE external TABLE ods_cart_log ( time_local STRING, request_json STRING, trace_id_num

hive

RegexSerDe

原创推荐 2014-07-30 22:03:39 4637 阅读 1点赞 1评论

hive0.13 rows loaded为空问题源码分析及fix

升级hive0.13之后发现job运行完成后Rows loaded的信息没有了。rows loaded的信息在hive0.11中由HiveHistory类的printRowCount输出。HiveHistory类的主要用途是记录job运行的信息，包括task的counter等。默认的目录在/tmp/$user中。 hive0.11在SessionState 的start方法中会

hive0.13

rows

loaded

原创推荐 2014-07-24 00:17:40 2160 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

菜光光的博客

hive0.13 mapjoin hashtable找不到的bug

hive2solr问题小结

hive on tez踩坑记2-hive0.14 on tez

hive on tez踩坑记1-hive0.13 on tez

hive0.11 hiveserver custom认证bug

hive0.13.1 orc兼容性问题fix

实现hive proxy5-数据目录权限问题解决

hive Context类和DriverContext类

实现hive proxy3-日志目录权限问题解决

实现hive proxy4-scratch目录权限问题解决

实现hive proxy2-hive操作hadoop时使用用户的地方

hive show current roles问题

hive hook限制grant权限

实现hive proxy1-hive认证实现

hive认证相关类分析

hive cli启动判断hadoop version的问题

hive执行流程(3)-Driver类分析1Driver类整体流程

hive执行流程(2)-CommandProcessor相关类

hive的shims相关类分析

hive启动debug问题

hive可以drop所有表的bug fix

hive0.13数据库锁问题fix

hive超级用户drop partition无权限问题bug

hive执行流程(1)-hive入口CliDriver类分析

hiverc文件的加载源码实现

hive中打印日志的几种方式实现

hive变量传递的源码实现

hive0.13 cli启动缓慢问题

关于hive RegexSerDe的源码分析

hive0.13 rows loaded为空问题源码分析及fix