数据处理过程中，我们通常需要对各个维度进行交叉分析，如果只有GROUP BY子句，那我们可以写出按各个维度或层次进行GROUP BY的查询语句，然后再通过UNION子句把结果集拼凑起来，但是这样的查询语句显得冗长、笨拙。 为了解决HQL冗长的问题，下面我们介绍一下HIVE提供的一些语法：group by 后使用
转载
2024-01-10 17:15:56
63阅读
Group By Group By 谁不会啊？这不是最简单的吗？越是简单的东西，我们越会忽略掉他，因为我们不愿意再去深入了解它。1 小时 SQL 极速入门（一）1 小时 SQL 极速入门（二）1 小时 SQL 极速入门（三）——Oracle 分析函数SQL 高级查询——（层次化查询，递归） 今天就带 ...
转载
2021-07-15 16:29:00
165阅读
2评论
查询语句语法：[WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive0.13.0)SELECT [ALL | DISTINCT] select_expr, select_expr, ...FROM table_reference[W...
原创
2022-05-16 09:29:14
2540阅读
Hive架构： Hive基础 Hive基础 1 概念 1 概念 1.1 简介 1.1 简介 1.1.1 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。--OLAP 1.1.1
原创
2021-07-26 17:34:37
1774阅读
1、Hive安装地址 1．Hive官网地址 http://hive.apache.org/ 2．文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3．github地址 https://github.com/apache/hive2、Hive安装...
原创
2022-05-16 09:30:21
299阅读
文章目录一、环境准备二、Hive 查询1、普通查询2、别名查询3、限定查询4、多表ype) 5 个字段，字符类型为..
原创
2022-08-12 10:39:51
572阅读
# 升级 Hive
Hive 是一个基于 Hadoop 的数据仓库工具，它提供了类似于 SQL 的查询语言 HiveQL，允许用户使用类似于 SQL 的语法来分析和处理大规模的数据。
随着技术的发展，Hive 也在不断演进，推出了新版本以提供更好的性能和功能。在本文中，我们将讨论如何升级 Hive，以及一些常用的升级技巧和注意事项。
## 1. 升级前的准备工作
在升级 Hive 之前，我
原创
2023-08-19 05:16:32
317阅读
公用表表达式（CTE）是从WITH子句中指定的简单查询派生的临时结果集（会把查询的表数据放到内存中，供其他查询随时使用），该子句紧跟在SELECT或INSERT关键字之前。CTE仅在单个语句的执行范围内定义。可以在Hive SELECT，INSERT，CREATE TABLE AS SELECT 或 CREATE VIEW AS SELECT 语句中使用一个或多个CTE 。
转载
2023-05-27 15:07:25
274阅读
# Hive同步Hive：数据仓库之旅
在大数据时代，Hive作为一个在Hadoop生态系统中的数据仓库工具，帮助我们对海量数据进行分析与管理。随着数据应用的不断扩展，数据同步成为了一个重要的课题。本文将介绍Hive同步Hive的过程，并提供代码示例。
## 什么是Hive同步Hive？
Hive同步Hive是指将一个Hive表中的数据同步到另一个Hive表中。这个过程可能会涉及到多个数据源
注：技术交流可以加我VX：k-loop，昵称：默读者。1，创建用户表 create table tmp_user(
uid string comment'用户ID',
name string comment'用户名'
)comment'用户表'
; 插入测试数据 insert into tmp_user(uid,name) values('A','理
转载
2024-03-11 06:22:54
63阅读
Hive uses log4j for logging. By default logs are not emitted to the console by the CLI. The default logging level is WARN for Hive releases prior to 0
原创
2021-08-07 18:34:07
4940阅读
Hive架构1）用户接口：命令行工具；启动方式：hive 或者 hive --service cli通过Thrift对外提供服务，默认端口是10000；启动方式：hive --service hiveserver WEBUI(浏览器访问hive)：通过浏览器访问hive，默认端口是9999；启动方式：hive --service hwi 2）元数据存储（Metastore）
转载
2023-09-02 16:12:37
242阅读
hive的调优优化的主要考虑方面:环境方面：服务器的配置、容器的配置、环境搭建具体软件配置参数：代码级别的优化优的主要原则: 20/80原则非常重要,简单的说80%的程序时间执行时间花费在20%的代码上,所以重点就先要 找到这关键的20%代码做重点优化.1.explain 和 explain extendedexplain ： 只有对hql语句的解释。explain extended：对hql语句
转载
2023-11-03 10:34:46
141阅读
一、启动类功能说明命令启动hiveserver2服务bin/hiveserver2启动beelinebin/beeline连接hiveserver2beeline> !connect jdbc:hive2://hadoop102:10000metastroe服务bin/hive --service metastorehive 启动元数据服务（metastore和hiveserver2）和优雅
转载
2023-07-12 11:02:11
235阅读
启用lzo压缩对于小规模集群还是很有用的，压缩比率大概能达到原始日志大小的1/3。同时解压缩速度也比较快，Hadoop原生是支持gzip和bzip2压缩的，这两种压缩虽然压缩比率比lzo更大，但是在做map reduce解压缩的时候，慢的不能忍，所以通常不会用gzip或者bzip2。相同数据量，gzip的mr速度大概是lzo的1.5-2倍，而bzip2是lzo的3-4倍。不过lzo不比gzip和b
转载
2023-07-30 15:30:48
7阅读
什么是Hive？Hive是建立在Hadoop上的，用来构建数据仓库的工具，里面有表的概念，可以使用SQL语句实现存储、查询和分析存储在 HDFS上的数据，这些SQL语句在Hive中称为HQL，语法和SQL语句基本一样。 由于数据是杂乱无章的，所以Hive需要一份关于这些数据的元数据来管理和操作这些数据。这份元数据包括：元数据（
行的分隔符（在映射成表的时候知道在哪里分行显示）
字段分隔符（在映射成
转载
2023-09-06 09:22:34
115阅读
文件：warehouse指的是仓库。hive官方文档：https://hive.apache.org/hadoop入门：https://www.jianshu.com/p/0d4a365ef350hive的介绍：一、Hive的介绍 1. Hive是一个数据仓库软件 Hive可以使用SQL来促进对已经存在在分布式设备中的数据
转载
2023-07-13 16:39:06
100阅读
Hive 优化核心思想：把Hive SQL 当做Mapreduce程序去优化以下SQL不会转为Mapreduce来执行select仅查询本表字段where仅对本表字段做条件过滤explain 查看执行计划-- 正常显示执行计划
explain select count(*) from person;
-- 详细显示执行计划
explain extended select count(*
转载
2023-08-04 20:35:38
124阅读
写一些样版代码，便于查询使用一.创建表1．建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT co
转载
2023-11-07 13:49:55
65阅读
数据仓库1.数据仓库面向主题 2.数据仓库是集成的 3.数据仓库主要为分析挖掘，只查询，不增改OLTP：银行转账，同时完成 OLAP：历史数据，商品推荐系统数据仓库中的数据模型： 1.星型模型 2.雪花模型：由星型模型发展而来。（个人理解，叶节点更多了，等于主题更多了，而星型模型只有一个主题）HIVEHive是建立在hadop hdfs上的数据仓库基础架构 Hive可以用来进行数据提取、转化、加载
转载
2023-07-12 13:25:10
46阅读
