笔记是基于《Hive编程指南》这本书和在实习过程和面试过程中碰到的问题或者经常使用的语法要点。 P.S. 对应的微信推文连接在下面，现在连看格式对不对都不想看了哈哈哈哈哈，如果觉得有帮助的话，可以关注一下哦~ HIVE SQL语法笔记mp.weixin.qq.com 综述介绍 HIVE是在Hado ...
转载
2021-10-13 11:34:00
277阅读
2评论
几种压缩方式的优缺点及应用场景1. Gzip优点： 压缩率比较高，压缩/解压速度也比较快，hadoop本身支持。缺点： 不支持分片。应用场景：当每个文件压缩之后在1个block块大小内， 可以考虑用gzip压缩格式。2. Bzip2优点： 支持分片，具有很高的压缩率，比gzip压缩率都高，Hadoop本身支持。缺点： 压缩/解压速度慢，不支持Hadoop native库。应用场景： 可
转载
2023-09-01 15:33:26
115阅读
解压hive压缩包后， 进入到conf目录cp hive-default.xml.template hive-default.xmlcp hive-env.xml.template hive-env.xmlcp hive-default.xml.template hive-site.xmlMetastore不分开模式hive_site.xml：<?xml version="1.0" enco
原创
2022-01-11 16:36:03
62阅读
调整字段顺序： ALTER TABLE vehicle_gps_log CHANGE create_time create_time string AFTER client_time ; OK Time taken: 0.339 seconds
原创
2022-01-04 17:12:17
81阅读
一、SparkSQL 概述
1.1 SparkSQL是什么
Spark SQL是Spark用于结构化数据处理的Spark模块。1.2 Hive and SparkSQL 我们之前学习过hive，hive是一个基于had
转载
2023-08-26 20:48:09
142阅读
Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给
原创
精选
2023-03-20 12:24:35
1441阅读
算法算数表达式求解（不用递归）1．HIVE和HBASE区别1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Ha
转载
2023-12-10 21:39:40
39阅读
SQLContext的使用创建一个Scala项目，创建一个主类SQLContextApppackage com.yy.spark
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext
/**
* SQLContext的使用
* Spark 1.x使用
*/
obj
转载
2023-08-23 19:58:15
52阅读
前言Hive是构建在Hadoop上的数据仓库软件框架，支持使用SQL来读，写和管理大规模数据集合。Hive入门非常简单，功能非常强大，所以非常流行。通常来说，Hive只支持数据查询和加载，但后面的版本也支持了插入，更新和删除以及流式api。Ｈive具有目前Hadoop上最丰富最全的SQL语法，也拥有最慢最稳定的执行。是目前Hadoop上几乎标准的ETL和数据仓库工具。Hive这个特点与其它AdHo
转载
2023-07-12 21:30:23
71阅读
介绍： Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用S
转载
2023-06-19 18:35:21
184阅读
最近在建设数据仓库，处理数据的过程中，经常反复使用hive的HQL语句，尽管HQL和SQL语言有很多相同之处，但也并不是说HQL就能通用SQL的语法。在使用过程中要尤为注意。事情经过是这样的，我在把业务系统数据同步到数仓(数据存储在Hive)中时，在数据汇总层(DWS)，对数据进行汇总处理时，发现有数据丢失的问题，经过排查，发现是在使用 <> 引发的坑。Hive 中 != 或 <
转载
2023-07-12 21:02:53
310阅读
Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。hive可以创建带分区的内表，
> create table sustPart (id int,name string) //创建表名为sust1
> parti
转载
2023-06-21 10:41:51
123阅读
目录建表准备建表生成数据导入数据到hive需求1.查询课程编号为“01”的课程比“02”的课程成绩高的所有学生的学号（重点）：2、查询"01"课程比"02"课程成绩低的学生的信息及课程分数（重点）:3、查询平均成绩大于等于60分的同学的学生编号和学生姓名和平均成绩（重点）:4、查询平均成绩小于60分的同学的学生编号和学生姓名和平均成绩:5、查询所有同学的学生编号、学生姓名、选课总数、所有课程的总
转载
2023-07-18 12:33:34
358阅读
简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。Spark特点Spark可以部署在YARN上Spark原生支持对HDFS文件系统的访问使用Sc
转载
2023-08-21 19:56:21
197阅读
推荐:经典sql题及答案(二)经典sql题及答案(三)题目部分第1题 我们有如下的用户访问数据 userId visitDate visitCount
u01 2017/1/21 5
u02 2017/1/23 6
u03 2017/1/22 8
u04 2017/1/20 3
u01 2017/1/23 6
u01 2017/2/21 8
U02 2017/1/23 6
U01
转载
2023-07-12 21:05:59
119阅读
大数据面试之hive重点(二) Hive SQL转化为MR的过程？ 可回答：1）Hive SQL的解析过程；2）Hive SQL的底层实现 问过的一些公司：阿里，头条，小米，滴滴，美团x2，网易，快手58，好未来 参考答案： 我们先来看下MapReduce框架实现SQL基本操作的原理 ： 1、Join的实现原理1 select u.name, o.orderid from order o join
转载
2023-07-13 16:57:31
110阅读
一、常用聚合函数count():计数 count(distinct 字段) 去重统计sum():求合avg():平均max():最大值min():最小值 二、hivesql执行顺序from --> where --> group by --> having --> select--> order by--> limit&n
转载
2023-05-24 23:03:30
336阅读
一、LAG函数介绍LAG函数是一个常用的窗口函数，作用是取当前行之后的数据，即把该列数据向上错位。使用方法如下：LAG(col ,n ,Default)col是字段名称，指明要操作的列，必须指定该参数；n表示取当前行的后n行的col列数据，可以不指定默认为1；Default 表示前n行没有数据时的默认值，可以不指定默认为NULL.二、案例表及测试数据准备首先创建该案例的表结构、插入测试数
转载
2023-08-31 09:37:48
620阅读
集合统计函数1. 个数统计函数: count语法: count(*), count(expr), count(DISTINCT expr[, expr_.])返回值: int说明: count(*)统计检索出的行的个数，包括NULL值的行；count(expr)返回指定字段的非空值的个数；count(DISTINCTexpr[, expr_.])返回指定字段的不同的非空值的个数举例：hi
转载
2023-07-12 21:25:32
306阅读
1. DDL 操作 DDL •建表 •删除表 •修改表结构 •创建／删除视图 •创建数据库 •显示命令 建表：
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], .
转载
2023-09-07 22:34:51
47阅读
