一、Hive的基本概念 (安装的是Apache hive 1.2.1)     1、hive简介                  Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库, 并提供类 SQL 查询功能, h
1. 内部 create table zz (name string , age string) location '/input/table_data'; 注:hive默认创建的是内部 此时,会在hdfs上新建一个zz的数据存放地 load data inpath '/input/data' into table zz; 会将hdfs上的/input/data目录
转载 2023-07-15 00:29:41
139阅读
Hive的创建(内部)及外部、分区详细介绍 那么Hive中管理(内部外部的区别是什么,及分区使用场景? ⑴ 三者区别: ①Hive创建内部时(默认创建内部),会将数据移动到数据仓库指向的路径; ②创建外部(需要加关键字external),仅记录数据所在的路径,不对数据的位置做任何改变; ③Hive删除时,内部的元数据和数据会被一起删除,而外部只删除元数据,不删除数
最近刷到面试题:Mysql 中 exists in 的区别,先说下答案。 下面将主查询的称为外表;子查询的称为。exists 与 in 的区别如下:子查询使用 exists,会先进行主查询,将查询到的每行数据循环带入子查询校验是否存在,过滤出整体的返回数据;子查询使用 in,会先进行子查询获取结果集,然后主查询匹配子查询的结果集,返回数据外表表相对大小情况不一样时,查询效率
转载 2023-10-14 22:19:33
201阅读
外连连接(inner join on)  连接就是多表查询中where子句对笛卡尔积的筛选,我们前面学习的都是连接。 语法:select 字段 from 1 inner join 2 on 连接条件 and 其他条件; 例如:显示SMITH的名字部门名称 外连接左外连接:联合查询中,左侧的完全显示,就是左外连接。 语法:select 字段 from 名1 left jo
转载 2023-12-17 13:25:38
214阅读
hive分为内部外部。外部在删除的时候并不会删除到hdfs中的文件,比较安全,所以对于重要的需要进行分析的日志建议使用外部进行操作,这样不会出现误操作影响到日志的存储。内部在阐述的时候会删除掉hdfs中的文件,所以一般用于创建临时,这样临时在删除后,也会删除掉hdfs中的数据。今天这里主要是对内部转化为外部进行相关的实验。试验一:建立内部,导入数据。将内部修改为外部
# MySQL 中的外表 在数据库管理中,是存储数据的基本结构。在 MySQL 中,我们通常会将数据分为(或主表)外表(或关联)。理解外表的概念,以及如何通过 SQL 语句进行操作,将有助于我们更好地进行数据库设计与管理。 ## 外表的概念 ****是指数据库中为了存储主要数据而创建的。例如,假设我们有一个用户信息 `users`,它包含了所有用户的信息,
原创 8月前
99阅读
进击のpython*****数据库——MySQL内置方法目录数据库——MySQL内置方法视图增加修改删除触发器创建使用删除存储过程无参有参事务代码实现视图视图是一个虚拟(非真实存在),其本质是【根据SQL语句获取动态的数据集,并为其命名】用户使用时只需使用【名称】即可获取结果集,可以将该结果集当做表来使使用视图我们可以把查询过程中的临时摘出来,用视图去实现这样以后再想操作该临时的数据时就无需
ASCII(str)  返回字符串str的第一个字符的ASCII值(str是空串时返回0) mysql> select ASCII('2');   -> 50 mysql> select ASCII(2);   -> 50 mysql> select ASCII('dete');   -> 100ORD(str)  如果字符串str句首是单字节返回与ASCI
转载 2024-08-14 18:20:34
19阅读
在使用数据库查询语句时,单的查询有时候不能满足项目的业务需求,在项目开发过程中,有很多需求都是要涉及到多表的连接查询,总结一下mysql中的多表关联查询一,连接查询是指所有查询出的结果都是能够在连接的中有对应记录的。以t_employee(员工)t_dept(部门)为例:t_employee中的记录如下:dept代表该员工所在的部门t_dept中记录如下:可以发现,其中人力资源部里
# Hive外表关联其他Hive的使用技巧 ## 引言 在大数据处理领域,Apache Hive作为一种数据仓库基础设施,能够帮助用户方便地进行数据查询与分析。Hive 的几种常见类型中,外表(External Table)因为其数据不受Hive控制而变得尤为重要。理解如何关联外表与其他Hive,不仅可以提高查询效率,还能在处理海量数据时节省存储空间。本文将详细探讨Hive外表的定义,并
原创 2024-08-13 06:58:37
81阅读
# 如何实现“hive 外表删除结构” ## 一、整体流程 下面是实现“hive 外表删除结构”的整体流程: | 步骤 | 操作 | | --- | --- | | 1 | 连接到Hive数据库 | | 2 | 删除外部文件 | | 3 | 删除外部 | ## 二、步骤详解 ### 1. 连接到Hive数据库 首先,我们需要连接到Hive数据库,并进入到相应的数据库中。 ``
原创 2024-05-30 03:22:39
78阅读
# MySQL 中使用 IN 进行外表的哈希连接 在数据库开发中,哈希连接是一种高效的连接方式,尤其适用于不大且可以装入内存的。本文将指导你如何在 MySQL 中实现通过 IN 操作进行的外表的哈希连接。我们将通过具体的步骤、必要的代码示例以及详细说明来实现这一目标。 ## 整体流程 下面是实现哈希连接的整体流程: | 步骤 | 描述
原创 11月前
60阅读
什么是HIVE由Facebook实现并开源的,基于Hadoop的数据仓库工具,适用于离线的批量数据计算;底层数据存储在HDFS上,Hive可以将结构化的数据映射为一张数据库;提供HQL(Hive SQL)查询功能**Hive的本质:**将SQL语句转换为MapReduce任务运行,进而使用户方便的利用HQL处理计算存储于HDFS上的结构化数据。HIVE特点优点:可扩展性,横向扩展延展性:支持自
转载 2023-07-12 20:35:37
102阅读
Hive简介Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上。Hive并不是一个完整的数据库, Hadoop以及HDFS的设计本身约束和局限性地限制了Hive所能胜任的工作。其中最大的限制就是Hive不支持记录级别的更新、插入或者删除操作。同时hive用户可以通过查询生成新或者将查询结果导人到文件中。因为Hadoop是一个面向批处理的系统,而MapRed
转载 2023-10-30 18:45:15
91阅读
Hive 7、Hive外表、分区   1、HiveHive,就是正常创建的,在  中已经提到; 2、Hive外表创建Hive外表,需要使用关键字 External: CREATE EXTERNAL TABLE [IF NOT EXISTS] [db_name.]table_name [(col_n
转载 2023-09-17 09:55:00
168阅读
1、 外表的区别外表之间是通过关键字EXTERNAL来区分。删除时::在删除时,既删除的元数据,也删除的数据外表:删除时,仅仅删除外表的元数据。CREATE [EXTERNAL] page_url STRING, referrer_url STRING, ip STRING COMMENT 'IP Address of the User',
转载 2023-07-12 11:09:20
414阅读
:删删数据   (hdfs上的文件数据) 外表:删不删数据(hdfs上的文件数据) 创建时没加external,默认是所有的 Table 数据(不包括 External Table)都保存在warehouse这个目录中。删除时,元数据与数据都会被删除创建过程和数据加载过程(这两个过程可以在同一个语句中完成),在加载数据的过程中,实际数据会被移动到
转载 2023-10-23 09:07:39
108阅读
1.1 hive的简介Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库,并提供类SQL查询功能。其本质是将SQL转换为MapReduce/Spark的任务进行运算,底层由HDFS来提供数据的存储,说白了hive可以理解为一个将SQL转换为MapReduce/Spark的任务的工具,甚至更进一步可以说hive就是一个MapReduce/Spark Sql的客户端
转载 2023-07-12 20:34:47
101阅读
 内部create table test (name string , age string) location ‘/input/table_data’; 注:hive默认创建的是内部 此时,会在hdfs上新建一个test的数据存放地 load data inpath ‘/input/data’ into table test ; 会将hdfs上的/input/data目录
  • 1
  • 2
  • 3
  • 4
  • 5