文章目录一、Apache Hive概述1.1、什么是Hive1.2、使用Hive原因1.3、Hive和Hadoop关系二、Hive功能思想2.1、映射信息记录2.2、SQL语法解析、编译三、Hive架构、组件3.1、Hive架构图3.2Hive组件四、Hive常用操作4.1、数据类型4.1.1、基本数据类型4.1.2、集合数据类型4.2、数据库4.3、数据表4.3.1、创建表语法4.3.2、ex
1、Hive概念：hive是数据仓库，由解释器、优化器和编译器组成；运行时，元数据存储在关系型数据库中。2、Hive的架构：（1）用户接口主要有三个：CLi、Client和WUI。其中最常用的是CLi，CLi启动时候，会启动一个Hive副本。Client是hive的客户端，用户连接至Hive Server。在启动Client模式的时候，需要指出Hive Server所在的节点，并且在该节点启动Hi
一 Hive简介1.1. Hive的简介1.1.1 什么是hivehive是一个构建在Hadoop上的数据仓库工具(框架)，可以将结构化的数据文件映射成一张数据表，并可以使用类sql的方式来对这样的数据文件进行读，写以及管理（包括元数据）。这套HIVE SQL 简称HQL。hive的执行引擎可以是MR、spark、tez。如果执行引擎是MapReduce的话，hive会将Hql翻译成MR进行数据的
目录一、Hive 执行过程概述1、概述2、Hive 操作符列表3、Hive 编译器的工作职责4、优化器类型二、join1、对于 join 操作2、实现过程3、具体实现过程三、Group By1、对于 group by操作2、实现过程四、Distinct1、对于 distinct的操作2、实现过程3、详细过程解释 正文回到顶部一、Hive 执行过程概述1、概述（1） Hive 将 HQL
包含两个案例1、hive多列操作----行转列2、hive单列操作----使用split切分json数据一、udtf的介绍UDTF(User-Defined Table-Generating Functions) 用来解决 输入一行输出多行(On-to-many maping) 的需求二、udtf的使用1、使用规则必须继承org.apache.hadoop.hive.ql.udf.generic.
目录hive的架构hive数据模型Metastore（元数据）motivation（动机）metadata objects（元数据对象）Metastore架构metastore接口Hive查询语言CompilerOptimizerHive API hive的架构 如图所示，hive主要包括如下模块：UI &nbs
目录一.kettle与Hive整合数据准备从hive中读取数据把数据保存到hive数据库执行Hive的HiveSQL语句 一.kettle与Hive整合1、从虚拟机下载Hadoop的jar包/export/servers/hadoop-3.1.3/share/hadoop/common/hadoop-common-3.1.3.jar2、把jar包放置在\data-integration\lib目
数据仓库1.数据仓库面向主题 2.数据仓库是集成的 3.数据仓库主要为分析挖掘，只查询，不增改OLTP：银行转账，同时完成 OLAP：历史数据，商品推荐系统数据仓库中的数据模型： 1.星型模型 2.雪花模型：由星型模型发展而来。（个人理解，叶节点更多了，等于主题更多了，而星型模型只有一个主题）HIVEHive是建立在hadop hdfs上的数据仓库基础架构 Hive可以用来进行数据提取、转化、加载
一、启动类功能说明命令启动hiveserver2服务bin/hiveserver2启动beelinebin/beeline连接hiveserver2beeline> !connect jdbc:hive2://hadoop102:10000metastroe服务bin/hive --service metastorehive 启动元数据服务（metastore和hiveserver2）和优雅
序言sql 在 hive的使用具体还分为了2种解决方案：hive on spark 和 sparksql，这里主要使用的是sparksql。因为两者都是使用spark替换mapreduce作为计算引擎.实际区别是Hive On Spark 是Hive封装了Spark. SparkSql是Spark封装了Hive.搜索引擎分别是自己的设计逻辑cuiyaonan2000@163.com简介Hive O
目录一、hive入门1.1什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析
原创
2022-12-28 15:16:46
282阅读
一.前述Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位
原创
2022-12-30 16:53:36
151阅读
这篇文章主要介绍 Hive 的一些内置函数，其目的在于了解和知道大概有哪些内置函数，以及我们能够做哪些操作。
不需要强记，只需要有一个大致的印象就行，需要时再去查找。
原创
2021-07-12 15:15:05
503阅读
Hive hook是hive的钩子函数，可以嵌入HQL执行的过程中运行，比如下面的这几种情况 参考 https://www.slideshare.net/julingks/apache-hive-hooksminwookim130813 有了Hook，可以实现例如非法SQL拦截，SQL收集和审计等功
转载
2020-03-21 22:00:00
752阅读
2评论
Hive sql与我们普通使用的sql基本差异不大，但在大数据领域往往存在很多未知的需求，所以往往都有一个支持自定义功能函数编写的口子，让用户实现其特定的需求。（这往往并非hive独有，几乎都是标配） 而要写udf往往也是比较简单，看几个例子，依葫芦画瓢总能搞几个。 今天我们就来简单写一个“自然周差异计算”week_diff函数吧。 1. pom依赖 依赖是环境必备。实际上，h
hive 体系架构启动 hive 命令行进入hive安装目录，输入bin/hive的执行程序，或者输入 hive –service clihive脚本的执行方式大致有三种hive可以直接敲hive命令进入interactive模式，直接使用hive交互式模式 也可以hive -e 执行简单命令或者hive -f 执行一个sql脚本文件hive -e “SQL”执行; eg : hive
一、Hive基本使用——数据类型1、基本数据类型tinyint, smallint, int, bigint, boolean, float, double, string, binary, timestamp, decimal, char, varchar, date2、集合类型array: array类型是由一系列相同数据类型的元素组成，这些元素可以通过下标来访问，例array[i]map: ...
原创
2018-06-02 14:14:24
899阅读
一、Hive基本使用——数据类型1、基本数据类型tinyint, smallint, int, bigint, boolean, float, double, string, binary, timestamp, deci
原创
2022-04-22 15:51:22
1197阅读
一、Hive优化目标在有限的资源下，提高执行效率二、Hive执行HQL——> Job——> Map/Reduce三、执行计划查看执行计划explain [extended] hql四、Hive表优化1、分区静态分区动态分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstric...
原创
2022-04-22 15:53:21
750阅读
1.没有接触，不知道这个事物是什么，所以不会产生任何问题。2.接触了，但是不知道他是什么，反正我每天都在用。3.有一定的
转载
2022-09-12 01:05:59
69阅读
