Logo

  • afeiye

    发布于:3 天前

    0

    Hive架构、倾斜优化、sql及常见问题
    Hive架构hive架构如图所示,client跟driver交互,通过parser、planner、optimizer,最后转为mapreduce运行,具体步骤如下driver输入一条sql,会由parser转为抽象语法树AST,这个是没有任务元数据信息的语法树;语法分析器再把AST转为一个一个的QueryBlock,一个QueryBlock包含输入、输出、计算逻辑,也就是说一个子程序就是Quer
    阅读 59 评论 0 收藏 0
  • wx5cc589a9554f2

    发布于:6 天前

    0

    大数据开发之路:hive篇,你看了吗?
    大数据开发之路漫漫其修远兮,吾将上下而求索。很多入门大数据的小伙伴,可能第一个接触到的,就是一只可爱的“小象”,也就是我们的大数据领域的数据仓库工具hive。
    阅读 165 评论 0 收藏 0
  • htookm

    发布于:7 天前

    0

    从入门到放弃之大数据Hive
    开门见山,今天说说Hive!!!什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序 1)Hive处理的数据存储在HDFS 2)Hive分析数据底层的实现是MapReduce 3)执行程序运行在YARN上为什么使用Hiv
    阅读 140 评论 0 收藏 0
  • 原生zzy

    发布于:8 天前

    0

    Hive On Spark
      自从公司使用大数据产品之后,就很少碰开源的东西了,集群出问题也是跟研发沟通,前些天有朋友问我,怎么能把hive底层的引擎换成spark,我想了想,是不是将hive的数据库共享给spark然后用spark-shell不就好了,后来查了查资料,原来不是这样的,这里面的操作还挺多了。哎,真的是,用了别人产品,开发是方便了,原理懂的就少了,小编一直还沉浸在用一条SQL底层就能转换的
    阅读 76 评论 0 收藏 0
  • htookm

    发布于:9 天前

    0

    大数据开发之路:hive篇
    引语大数据开发之路漫漫其修远兮,吾将上下而求索。很多入门大数据的小伙伴,可能第一个接触到的,就是一只可爱的“小象”,也就是我们的大数据领域的数据仓库工具hive。这只小象给我们提供了方便类SQL查询语言HQL来操纵数据,使得我们一开始不用编写复杂的代码,就可以轻松的探索数据。Hive对于熟悉传统数据库的同学来说,算是很友好的一个入门工具。对大数据以及人工智能概念都是模糊不清的,该按照什么线路去学习
    阅读 127 评论 0 收藏 0
  • duanpeng198738

    发布于:15 天前

    0

    Hive2.1.1安装
    1安装JDK请参照jdk的安装步骤。2安装Hadoop请参照hadoop安装步骤。3下载Hive下载地址:http://mirrors.tuna.tsinghua.edu.cn/apache/hive/在该地址下载稳定版本的hive,我下载的版本是:apache-hive-2.1.1-bin.tar.gz将下载的hive安装包上传到服务器上的~/Downloads目录下。4安装Hive4.1解压h
    阅读 116 评论 0 收藏 0
  • bigdata_lzw

    发布于:25 天前

    0

    hive编译源码支持自定义UDF函数
    在工作中,我们需要用到自定义UDF函数:    1.可以创建持久函数    2.也可以将其编译在源码中下载源码包wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0-src.tar.gz tar xf hive-1.1.0-cdh5.7.0-src.tar.gz cd hive-1.1.0-cdh5.7.0/进入UDF代码的
    阅读 170 评论 0 收藏 0
  • bigdata_lzw

    发布于:26 天前

    0

    hive的metadata中的表用途说明
    在本例中将Hive的metadata存储在mysql中;透彻理解每个表的用途,以及每个表之间是通过什么进行关联,对于用hive用着很大的帮助;Hive的版本不同,表的个数也有可能不同;Hive 1.1是36张表,1.2是35张表;要重点理解的表:    VERSION    DBS    CDS    TBLS    COLUMNS_V2    PARTITIONS    PARTITION_KE
    阅读 352 评论 0 收藏 0
  • bigdata_lzw

    发布于:26 天前

    0

    hive使用UDF函数
    如何以正确的姿势使用hive的udf函数
    阅读 382 评论 0 收藏 0
  • bigdata_lzw

    发布于:26 天前

    0

    hive sql语句转换成mapreduce作业流程
    理解hive是如何将sql转换为mapreduce的作业流程
    阅读 262 评论 0 收藏 0
写文章