本文翻译于:https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions   需要提醒的是,当前Hive版本是 0.14.0。之所以要添加这篇文章,是为后续的文章做铺垫。摘要:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库,并提供简单的SQL查询功能,可以将SQL语句
转载 2023-12-05 13:23:03
118阅读
目录0. 相关文章链接1. 创建 Hive 外表2. 查询 Hive 外表2.1. 设置参数2.2. COW 查询2.2.1. 实时视图2.2.2. 增量视图2.3. MOR 查询2.3.1. 实时视图2.3.2. 读优化视图2.3.3. 增量视图0. 相关文章链接 Hudi文章汇总 
转载 2023-11-09 00:46:19
270阅读
什么是HiveHive是建立在Hadoop上的,用来构建数据仓库的工具,里面有的概念,可以使用SQL语句实现存储、查询和分析存储在 HDFS上的数据,这些SQL语句在Hive中称为HQL,语法和SQL语句基本一样。 由于数据是杂乱无章的,所以Hive需要一份关于这些数据的元数据来管理和操作这些数据。这份元数据包括:元数据( 行的分隔符(在映射成的时候知道在哪里分行显示) 字段分隔符(在映射成
转载 2023-09-06 09:22:34
115阅读
目录 概述架构1:用户接口 client2:元数据(Metastore)3:hadoop4:DriverHive的优点和使用场景Hive的常用命令1:show databases;2:create database rachel_db_hive;3:drop database db_hive;4:use rachel_db_hive;5:创建 6:show tables7:s
转载 2023-07-14 12:22:02
137阅读
对表的修改操作有:修改名、添加字段、修改字段。 1)修改名 --将名从 orders 改为 order alter table orders rename to order; 2) 添加字段 --在orders添加一个字段provinceid int类型 alter table orders add columns (provinceid int
转载 2023-07-14 17:44:00
186阅读
在使用Hive的元数据配置权限之前必须现在hive-site.xml中配置两个参数,配置参数如下:<property> <name>hive.security.authorization.enabled</name> <value>true</value> </property> <property> &l
转载 2023-05-24 14:48:38
951阅读
hive的分类:内部:管理/managed_table,的创建、的数据的删除都是由hive自己决定的,像mysql中的,内部在进行删除的时候, 元数据和原始数据都会被删除。 外部:external_table,和内部对立,hive中的不肯同时是内部又是外部的,该结构上同内部一样, 但是数据hive自己不能决定,外部在进行删除的时候,只能删除元数据而原始数据还是存在与
目录视图视图概述视图操作建高阶语句高级查询select关联查询joinHive的集合操作 视图有学过SQL的小伙伴相信对视图这一概念并不陌生。事实上,Hive中的视图和SQL中视图的概念作用等基本一致,下面也见到介绍一下这一概念。视图概述通过隐藏子查询、连接和函数来简化查询的逻辑结构;它是一个虚拟,从真实中选取数据;只保存定义,不保存数据;如果删除或更改基础,则查询视图会失败;视图是只读
转载 2023-09-08 14:57:23
138阅读
# 实现Hive with ## 摘要 本文将指导一位刚入行的开发者如何使用Hive创建和使用“with”。首先,我们将介绍整个流程,并用表格形式展示每个步骤。然后,我们将逐步告诉他们每个步骤需要做什么,并提供相应的代码示例。 ## 目录 1. 简介 2. 流程图 3. 步骤详解 - 步骤1:创建源 - 步骤2:创建“with” - 步骤3:使用“with
原创 2023-11-01 07:42:13
55阅读
Hive分类5.1 管理(内部)内部与数据库中的Table在概念上是类似的,每一个内部Table在Hive中都有一个相应目录存储数据,所有的Table数据(不包括External Table)都保存在这个目录中。删除时,元数据与数据都会被删除。5.2 外部在创建的时候可以指定external关键字创建外部,外部对应的文件存储在location指定的目录下,向该目录添加新文件的同时
转载 2023-09-20 04:56:53
53阅读
1、管理管理也称为内部,这种或多或少的控制数据的生命周期,Hive在默认情况下会将这些存储在配置项为hive.metastore.warehouse.dir所定义的目录中。管理存在一些不足,不方便与其他工作共享数据,例如当有一份数据由pig或其他工具所创建并且主要由这一工具所使用,此时,如果我们需要hive对这份数据执行一些查询,可是并没有给予Hive对数据的所有权,我们可以再创建一个
转载 2023-07-12 21:25:36
88阅读
一:简介分区就是根据指定字段的值进行分类、分组,字段值相同的分为一类然后存储在一个单独的HDFS文件中,多个类就存储在多个文件中。原本存储在一个文件中的数据现在存储在多个文件中,查询数据时只需要知道数据在哪个类别中然后直接去对应类对应的文件中去查询就好,这样只需扫描这一个类别的文件而不需要扫描所有文件,这样提高了查询效率。分区就是对文件进行水平分割,对数据分门别类的分开存储。分区有两种:静态
官方注释内部即托管 默认情况下,Hive创建托管,其中文件,元数据和统计信息由内部Hive进程管理DESCRIBE FORMATTED TABLE_NAME 命令来标识托管或外部 此命令可以描述的很多属性功能比较ARCHIVE / UNARCHIVE / TRUNCATE / MERGE / CONCATENATE仅适用于托管 DROP删除托管的数据,而只删除外部的元数据 ACI
转载 2023-07-12 11:09:29
149阅读
ALTER TABLE仅仅会修改的元数据,但是不会对表数据本身作任何修改有全量表如下:create external table test.class_info( class string, student array<string>, user_info map<string, int>, position struct<province:string,
转载 2023-05-26 15:12:01
206阅读
Hive五种结构特性1,内部:当删除内部时,HDFS上的数据以及元数据都会被删除 2,外部:但删除外部时,HDFS上的源数据不会被删除但元数据会被删除 3,临时:在当前会话期间存在,会话结束时自动消失。 4,分区:将一批数据按照一定的字段或关键字分为多个目录进行存储 5,分桶:将一批数据按照指定好的字段和桶的数量,对指定字段的数据取模运算,分成不同的桶进行存储,方便随机取样以及jo
转载 2023-08-31 19:26:53
124阅读
Hive概述 & 安装方式详解 Hive操作Hive分类 Hive Sql 操作 Hive 自定义函数 Hive On HBase四、分类4.1 管理(内部)内部与数据库中的Table在概念上是类似的,每一个内部Table在Hive中都有一个相应目录存储数据,所有的Table数据(不包括External Table)都保存在这个目录中。删除时,元数据与数据都会被删除。4.2
转载 2024-02-04 21:55:52
44阅读
HiveHive是基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库,并提供简单的sql查询功能,可以将sql语句转换成MapReduce任务进行运行。HQL数据定义语言DDLDDL是SQL语言集中对数据库内部的对象结构进行创建、删除和修改等操作语言,数据库对象包括database、table等。DDL的核心语法有CREATE、DROP和ALTER所组成。DDL不涉及内部数
转载 2023-07-14 12:23:33
30阅读
的高级操作:倾斜&事务Hive倾斜(Skewed Tables)什么是倾斜?对于一列或多列中出现倾斜值的,可以创建倾斜(Skewed Tables)来提升性能。比如,中的key字段所包含的数据中,有50%为字符串”1“,那么这种就属于明显的倾斜现象;于是在对key字段进行处理时,倾斜数据会消耗较多的时间。此时可以创建Skewed Tables,对倾斜数据在元数据中进行标注,
转载 2023-07-14 23:59:59
311阅读
一、基本操作hive #进入使用HiveQL操作 show databases; #展示所有数据库 show databases like '*x*; #展示包含x字段的数据库,不同于sql模糊查询 % _ 不适用 create database dbname; #创建数据库 use dbname;
转载 2023-07-12 15:27:46
166阅读
1.Hive操作1-内部和外部1.1内部1、内部是私有,一旦给加载数据之后,内部认为这份数据就是他独占的,一旦删除,数据文件会跟着全部删除,如果在应用中,数据是部门内部的,或者个人的,则可以设置为内部,不会对其他人造成影响。 2、外部创建语法: create  table use myhive; -- 1、创建内部-使用默认分隔符:'\001' create
转载 2023-07-12 11:18:41
529阅读
  • 1
  • 2
  • 3
  • 4
  • 5