Logo

  • 李振良OK

    发布于:2015-06-26 13:52:59

    2

    基于Hadoop数据仓库Hive1.2部署及使用
    以下基于上篇Hadoop2.6集群部署:http://lizhenliang.blog.51cto.com/7876557/1661354接下来安装Hadoop数据仓库Hive,上节了解HBase简单使用,听起来HBase与Hive有些类似,概念也有点模糊,那我们先了解下他们之间有...
    阅读 7572 评论 0 收藏 0
  • 菜菜光

    发布于:2015-02-07 11:36:46

    1

    hive2solr问题小结
      搞了一段时间,hive2solr的job终于可以稳定的跑了,实现使用hive向solr插数据,主要是实现RecordWriter接口,重写write方法和close方法。下面对遇到的问题一一列出:1.数据覆盖问题,使用原子更新参考:http:...
    阅读 5644 评论 2 收藏 0
  • 菜菜光

    发布于:2015-01-14 22:43:38

    0

    hive on tez踩坑记2-hive0.14 on tez
    在测试hive0.14.0 on tez时遇到的问题比较多:1.在使用cdh5.2.0+hive0.14.0+tez-0.5.0测试时,首先遇到下面的问题java.lang.NoSuchMethodError: org.apache.tez.dag.api.client.Progress.getFailedTaskAttemptC...
    阅读 10000+ 评论 0 收藏 0
  • hsbxxl

    发布于:2014-12-19 12:36:50

    2

    RAC Archive log写入错误的节点
      由于多个客户几次问到,RAC环境中,node2的归档日志,写入到node1的archive路径中。 这个问题导致一些客户在使用OGG的情况下,有时无法正确读取日志的问题。   那是什么原因导致的这个问题呢?  
    阅读 4369 评论 0 收藏 0
  • 菜菜光

    发布于:2014-12-18 23:07:45

    0

    实现hive proxy5-数据目录权限问题解决
    hive创建目录时相关的几个hdfs中的类:org.apache.hadoop.hdfs.DistributedFileSystem,FileSystem 的具体实现类 org.apache.hadoop.hdfs.DFSClient,client操作hdfs文件系统的类 org.apache.hadoop.fs.permissi...
    阅读 4690 评论 0 收藏 1
  • 菜菜光

    发布于:2014-12-14 21:42:23

    0

    实现hive proxy2-hive操作hadoop时使用用户的地方
      hive权限有两层,hive本身的验证和hadoop的验证。自定义hive的proxy功能时,hive层面的相关验证更改在http://caiguangguang.blog.51cto.com/1652935/1587251 中已经提过,这里说下hive和hadoop以及本地文件系...
    阅读 5173 评论 0 收藏 0
  • 菜菜光

    发布于:2014-11-04 23:59:35

    0

    hive执行流程(3)-Driver类分析1Driver类整体流程
      Driver类是对org.apache.hadoop.hive.ql.processors.CommandProcessor.java接口的实现,重写了run方法,定义了常见sql的执行方式.public class Driver implements CommandProcessor具体...
    阅读 5383 评论 0 收藏 0
  • xiaoli110

    发布于:2014-10-27 08:29:27

    3

    KVM镜像管理利器-guestfish使用详解
    虚拟化,KVM,guestfish
    阅读 10000+ 评论 3 收藏 1
  • 菜菜光

    发布于:2014-10-15 23:45:35

    0

    hive的shims相关类分析
      在hive的源码中经常可以看到shims相关的类,shims相关类是用来兼容不同的hadoop和hive版本的,以HadoopShims为例org.apache.hadoop.hive.shims.HadoopShims是一个接口,具体的实现类为org.apache.hadoop.hive...
    阅读 6825 评论 0 收藏 0
  • 菜菜光

    发布于:2014-10-15 00:04:36

    0

    hive启动debug问题
      最近在debug hive的一个bug,之前都是使用打印日志来跟踪源码,这种方式效率比较低(每次更改了源码都要重新编译并替换线上的jar包),java的应用可以支持remote debug的,hive也不例外,主要是通过hive --debu...
    阅读 5012 评论 0 收藏 0
写文章