1 Hive简介Hive是一个数据仓库基础工具，在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。它提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。但是不要把Hive当作以下东西：一个关系数据库一个设计用于联机事务处理（OLTP）实时查询和行级更新的语言它只是一个数据仓库，存放的都是文件。Hive有具以下特
转载
2024-06-11 13:14:29
52阅读
Hive 基础及安装 Hive 操作（一） hive 操作（二）——使用 mysql 作为 hive 的metastore hive 操作（三）——hive 的数据模型 hive 操作（四） 大的分类可分为：（1）受控表（MANAGED_TABLE）内部表分区表桶表（2）外部表（external table）和受控表不同，对外部表删除，仅删除引用，而不删除真实存储的数据；内部表（1）表定
转载
2023-10-03 13:48:23
95阅读
用chmod 755命令解决./运行shell脚本问题 show partitions weibo_origin; alter table weibo_origin drop partition(day_seq=‘20120103’); 删除分区,展示分区,创建分区,create表数据构成 元数据:metadata,描述数据的数,表结构. 实体数据:entity dataHive内表和外表的区别和
转载
2023-09-07 05:56:19
57阅读
什么是HIVE由Facebook实现并开源的，基于Hadoop的数据仓库工具，适用于离线的批量数据计算；底层数据存储在HDFS上，Hive可以将结构化的数据映射为一张数据库表；提供HQL（Hive SQL）查询功能**Hive的本质：**将SQL语句转换为MapReduce任务运行，进而使用户方便的利用HQL处理和计算存储于HDFS上的结构化数据。HIVE特点优点：可扩展性，横向扩展延展性：支持自
转载
2023-07-12 20:35:37
102阅读
# Hive 外表刷新数据
Hive 是一个基于 Hadoop 的数据仓库工具，它提供了 SQL 风格的查询语言，用于查询和管理存储在 Hadoop 文件系统中的大数据。在 Hive 中，除了内部表之外，还可以创建外部表，外部表的数据存储在 Hadoop 文件系统中，不由 Hive 管理。
有时候，我们希望在不删除原有数据的情况下，刷新外部表的数据。这可以通过使用 `REFRESH` 语句实现
原创
2024-07-17 09:34:41
117阅读
# Hive外表数据删除实现流程
本文将详细介绍如何使用Hive进行外表数据删除操作。首先，我们需要了解整个流程，并用表格展示每个步骤。然后，我们将一步步进行讲解，并提供相应的代码和注释。
## 流程步骤
下表展示了Hive外表数据删除的流程步骤：
| 步骤序号 | 步骤描述 | 代码示例和注释
原创
2023-08-23 08:57:31
469阅读
内表：删表删数据 （hdfs上的文件数据） 外表：删表不删数据（hdfs上的文件数据）内表 创建表时没加external，默认是内表所有的 Table 数据（不包括 External Table）都保存在warehouse这个目录中。删除表时，元数据与数据都会被删除创建过程和数据加载过程（这两个过程可以在同一个语句中完成），在加载数据的过程中，实际数据会被移动到
转载
2023-10-23 09:07:39
108阅读
1.1 hive的简介Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。其本质是将SQL转换为MapReduce/Spark的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce/Spark的任务的工具，甚至更进一步可以说hive就是一个MapReduce/Spark Sql的客户端
转载
2023-07-12 20:34:47
101阅读
1、 内表和外表的区别内表和外表之间是通过关键字EXTERNAL来区分。删除表时：内表：在删除时，既删除内表的元数据，也删除内表的数据外表：删除时，仅仅删除外表的元数据。CREATE [EXTERNAL]
page_url STRING, referrer_url STRING,
ip STRING COMMENT 'IP Address of the User',
转载
2023-07-12 11:09:20
414阅读
Hive 7、Hive 的内表、外表、分区
1、Hive的内表Hive 的内表，就是正常创建的表，在 中已经提到； 2、Hive的外表创建Hive 的外表，需要使用关键字 External： CREATE EXTERNAL TABLE [IF NOT EXISTS] [db_name.]table_name
[(col_n
转载
2023-09-17 09:55:00
168阅读
Hive简介Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上。Hive并不是一个完整的数据库, Hadoop以及HDFS的设计本身约束和局限性地限制了Hive所能胜任的工作。其中最大的限制就是Hive不支持记录级别的更新、插入或者删除操作。同时hive用户可以通过查询生成新表或者将查询结果导人到文件中。因为Hadoop是一个面向批处理的系统，而MapRed
转载
2023-10-30 18:45:15
91阅读
# Hive外表简介与使用
Hive是一个用于大数据处理的SQL查询工具，基于Hadoop开发。Hive提供了一个方便的方式来处理存储在Hadoop分布式文件系统（HDFS）上的大规模数据。因此，“外表”成为了Hive中一个重要的概念。本文将介绍Hive外表的定义、用途、创建方式及其使用示例，并展示相应的代码。
## 什么是Hive外表？
Hive外表（External Table）是一种在
原创
2024-09-19 07:51:43
95阅读
一、Hive的基本概念 （安装的是Apache hive 1.2.1） 1、hive简介 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供类 SQL 查询功能， h
转载
2023-09-08 18:25:32
159阅读
欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos《hive学习笔记》系列导航基本数据类型复杂数据类型内部表和外部表分区表分桶HiveQL基础内置函数Sqoop基础UDF用户自定义聚合函数(UDAF)UDTF本篇概览本文是《hive学习笔记》系列的第三篇，要学习的是各种类型的表及其特点，主要内容如下：建库内
转载
2024-05-28 22:57:31
58阅读
# 删除Hive外部表数据操作指南
Apache Hive是一个基于Hadoop的数据仓库工具，可以将结构化数据存储在Hadoop分布式文件系统中，并提供类似于SQL的查询语言。在Hive中，我们可以创建外部表来映射已有的数据文件，但有时候我们需要删除这些外部表中的数据。本文将介绍如何在Hive中删除外部表数据的操作步骤，并提供相应的代码示例。
## 什么是Hive外部表
在Hive中，外部
原创
2024-05-26 04:51:38
64阅读
# Hive外表加载数据失败的解决方案
在大数据领域，Hive 是一个非常重要的数据仓库工具，它允许用户使用类似 SQL 的语言来查询存储在 Hadoop 分布式文件系统中的大数据。然而，在实际使用过程中，用户可能会遇到 Hive 外表加载数据失败的问题。本文将从问题原因、解决方案以及代码示例三个方面进行详细阐述。
## 问题原因
Hive 外表加载数据失败的原因有很多，主要包括以下几点：
原创
2024-07-20 07:23:29
70阅读
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则：1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段select ... from Ajoin Bon A.key = B.
转载
2024-08-06 18:14:58
44阅读
Doris总结-Join1.Broadcast Join
2.Shuffle Join
3.Colocation Join
4.Bucket Shuffle Join
5.Runtime Filter
顺序：Colocate Join -> Bucket Shuffle Join ->Broadcast Join -> Shuffle Join 目录Doris总结-Jo
转载
2023-11-16 14:31:06
144阅读
# Doris外表Hive：一个高效的数据处理框架
在现代的数据处理场景中，能够快速、准确地对海量数据进行分析和处理的工具尤为重要。Doris和Hive是两款广泛使用的大数据处理工具。本文将对Doris的外表Hive进行分析，探讨它们的特性与应用场景，并提供一些示例代码，帮助读者更好地理解它们的工作原理。
## 一、Doris与Hive的概述
### 1.1 Doris简介
Doris是一
# Hive 建外表教程
## 概述
在使用 Hive 进行数据分析时，我们经常需要在 Hive 中创建外部表。外部表可以与外部数据源进行连接，并且可以在 Hive 中使用 SQL 进行查询和数据分析。本文将针对如何在 Hive 中创建外部表进行详细说明，并提供了相关的代码示例和步骤说明。
## 流程图
```mermaid
flowchart TD
subgraph 创建外部表流程
原创
2023-10-06 06:43:37
759阅读
