1. 视图概念：简单说，视图是按照你的sql语句生成的一个虚拟的东西，本身并不占数据库的空间譬如有过这个表create table table_1(id int,name varchar(100））然后有这么一个视图create view view_1 as select id from table_1当你表里的数据增加或者删除的时候，你视图里的内容也随之变化总之你不能对视图进行update或者i
转载
2024-04-16 15:45:53
42阅读
Hive五种表结构特性1，内部表：当删除内部表时，HDFS上的数据以及元数据都会被删除 2，外部表：但删除外部表时，HDFS上的源数据不会被删除但元数据会被删除 3，临时表：在当前会话期间存在，会话结束时自动消失。 4，分区表：将一批数据按照一定的字段或关键字分为多个目录进行存储 5，分桶表：将一批数据按照指定好的字段和桶的数量，对指定字段的数据取模运算，分成不同的桶进行存储，方便随机取样以及jo
转载
2023-08-31 19:26:53
124阅读
Hive一、什么是Hive？二、Hive可以做什么？三、Hive的表种类四、Hive创建表的三种方式五、Hive插入数据的方式六、Hive视图七、Hive索引八、Hive环境搭建和部署 一、什么是Hive？Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。Hive的优点：其优点是学
转载
2023-08-18 22:50:04
104阅读
本博文的主要内容有： .hive的常用语法 .内部表 .外部表 .内部表，被drop掉，会发生什么？ .外部表，被drop掉，会发生什么？ .内部表和外部表的，保存的路径在哪？ .用于创建一些临时表存储中间结果 .用于向临时表中追加中间结果数据 .分区表(分为，分区内部表和分区外部表) .hive的结构和原理 .hive的原理和架构设计 hi
转载
2024-05-26 20:33:04
73阅读
HIVE Temporary Table 例如 ：create temporary table tmp as select * from test.test001 ;注意：创建的临时表仅仅在当前会话是可见的，数据将会被存储在用户的暂存目录中，并在会话结束时被删除。如果创建临时表的名字与当前数据库下的一个非临时表相同，则在这个会话中使用这个表名字时将会使用的临时表
转载
2023-06-05 10:20:27
467阅读
## Hive Count表
在Hive中，Count表是一种特殊的表格，用于存储数据的计数结果。Count表是一种非常有用的数据结构，可以帮助我们快速了解数据的分布情况，并进行进一步的数据分析和决策。
### Count表的创建
在Hive中，我们可以通过CREATE TABLE语句来创建Count表。下面是一个创建Count表的示例代码：
```sql
CREATE TABLE cou
原创
2024-02-11 07:15:39
33阅读
## 如何实现“hive临时表 with”
### 1. 流程图
```mermaid
flowchart TD
A(开始)
B(创建临时表)
C(插入数据)
D(查询数据)
E(结束)
A --> B
B --> C
C --> D
D --> E
```
### 2. 步骤展示
| 步骤 | 操作
原创
2024-04-13 04:46:38
72阅读
方式一create temporary table 临时表表名 as
select * from 表名;hive中的临时表只对当前session有效，session退出后，表会自动删除。注: 若创建的临时表表名已经存在，那么当前session应用该表名时使用的是你创建的临时表，只有删除或者修改临时表才能使用原先存在的表。临时表不支持分区字段和创建索引注意要点：1、如果创建的临时表表名已存在，那么
转载
2023-02-21 23:45:34
363阅读
一、前述 1、SparkSQL介绍 Hive是Shark的前身，Shark是SparkSQL的前身,SparkSQL产生的根本原因是其完全脱离了Hive的限制。SparkSQL支持查询原生的RDD。 RDD是Spark平台的核心概念
com
临时表在sql开发中有巨大的作用。临时表有2种
个论
WITH AS
syntax
转载
2023-07-12 10:05:51
392阅读
目录自定义函数编程步骤案例需求1.创建工程2.导入依赖3.创建类4.打jar包5.上传hive所在服务器6.将jar添加到hive的classpath7.创建临时函数与开发好的java class关联8.测试自定义函数临时函数和永久函数创建临时函数创建永久函数二.UDTF案例1.创建类2.打包上传3.创建临时函数4.测试自定义函数Hive 自带了一些函数，比如：max/min等，但是数量有限，自己
转载
2023-07-12 23:15:30
111阅读
执行count(1)或count(*)统计行数时，默认会从Hive的元数据库中查询 rowsNum 对应值作为结果返回。但是如果是使用加载数据文件load data的方式填充表数据，则hive元数据不会收集此统计信息,那么count时就会为0。 也就是说通过insert的方式写入数据的表会更新hive元数据的rowsNum信息；通过load、pu
转载
2023-06-12 21:14:03
151阅读
hive内部表与外部表hive的内部表与外部表之间的区别区别创建表过程删除表过程内部表会将数据移动到数据仓库指向的路径元数据和实际数据一起删除外部表仅记录数据所在的路径，不会对数据的位置坐任何改变只删除元数据，不删除实际数据，相对比较安全。传统数据库和hive之间的区别传统数据库对表的验证是schema on write（写时模式），而hive在load时是不检查数据是否是符合schema的，hi
转载
2023-08-18 23:36:16
108阅读
# 实现hive临时表变成非临时表
## 1. 整体流程
表格展示步骤如下：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 创建临时表 |
| 2 | 将临时表数据插入非临时表 |
| 3 | 删除临时表 |
## 2. 具体步骤及代码
### 步骤1：创建临时表
```sql
-- 创建临时表
CREATE TEMPORARY TABLE temp_table
原创
2024-03-03 04:07:28
169阅读
新世界来的像梦一样，让我暖洋洋Hive支持的存储方式hive支持的存储方式有很多，在平常的练习中，用的最多的还是textfile.在本篇博客中，不会过度的去讲解每个存储格式的特点以及存储格式的讲解。会通过案例来讲解各个不用存储方式和压缩的情况下，对我们查询数据以及存储空间的影响。因为orc存储格式或者parquet格式不能直接load ，所以我们一般都是先创建一个存储格式为text的临时表，通过
转载
2023-08-12 15:37:42
202阅读
外部表&内部表hive建一个内部表，如果不加location，就会放到默认路径/user/hivecreate table test(id int,name string) row format delimited fields terminated by ',';hdfs上数据导入表testload data inpath '/test.txt' into table test;然后观察
转载
2023-08-18 23:29:45
83阅读
一、下载源码首先进入网站：http://archive.cloudera.com/cdh5/cdh/5/然后搜索 hive-1.1.0-cdh5.15.1-src 二、自定义函数2.1 添加随机数前缀函数解压之后，可以用idea打开工程，然后在目录hive-1.1.0-cdh5.15.1/ql/src/java/org/apache/hadoop/hive/ql/udf下新建一个类UD
转载
2023-09-21 19:41:11
136阅读
文档大纲： 五、实时数仓建设核心1. 实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下： 早期实时计算
如上图所示，拿到数据源后，会经过数据清洗，扩维，通过Flink进行业务逻辑处理，最后直接进行业务输出。
转载
2024-08-21 22:57:43
37阅读
set tez.queue.name=ecbireport;
SET hive.exec.dynamic.partition =true;
SET hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.max.dynamic.partitions=100000;
SET hive.exec.max.dynamic.partitions.
转载
2023-05-25 11:36:37
152阅读
一、临时数据方案1、with as 1.1 使用demowith t1 as (
select
imei
,src_pkg
,src_type
,app_version_name
from bi_quickgame.dw_qgcrpk_boot_di
where day = '${etl_date}'
group by
imei, src_pkg, src_type, app_versi
转载
2023-07-07 13:06:38
578阅读
