1、正确建表，导入数据（三张表，三份数据），并验证是否正确 （1）分析需求 需要创建一个数据库movie，在movie数据库中创建3张表，t_user，t_movie，t_rating t_user:userid bigint,sex string,age int,occupation string,zipcode string t_movie:movieid bigint,moviename s
转载
2023-07-20 19:58:44
1396阅读
点赞
1评论
1：order by， sort by， distribute by， cluster by1.1 order byhive 中的 order by 语句会对查询结果做一次全局排序，即，所有的 mapper 产生的结果都会交给一个 reducer 去处理，无论数据量大小， job 任务只会启动一个 reducer，如果数据量巨大，则会耗费大量的时间。 提示： 如果在严格模式下， order by
转载
2023-12-20 06:21:14
112阅读
内容目录Hive实战小项目1、数据准备2、业务分析①统计视频观看数Top10②统计视频类别热度Top10③统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数④统计视频观看数Top50所关联视频的所属类别排序⑤统计类别视频观看数Top10⑥统计每个类别视频观看数Top10⑦统计上传视频最多的用户Top10以及他们上传的视频观看次数在前20的视频 Hive实战小项目需求分析：统
转载
2024-02-01 21:08:22
0阅读
一、背景与目标1.1、背景1.、行业内竞争 民航的竞争除了三大航空公司之间的竞争之外，还将加入新崛起的各类小型航空公司、民营航空公司，甚至国外航空巨头。航空产品生产过剩，产品同质化特征愈加明显，于是航空公司从价格、服务间的竞争逐渐转向对客户的竞争。2.、行业外竞争 随着高铁、动车等铁路运输的兴建，航空公司受到巨大冲击。客户营销战略倡导者Jay & Adam Curry从国外数百家公司进行了
转载
2023-08-04 10:57:40
119阅读
Lag和Lead分析函数可以在同一次查询中取出同一字段的后N行的数据(Lag)和前N行的数据(Lead)作为独立的列。这种操作可以代替表的自联接，并且LAG和LEAD有更高的效率，其中over()表示当前查询的结果集对象，括号里面的语句则表示对这个结果集进行处理。1 LEAD与LAG相反，LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值参数1为列名，参数2为往下第n行（可选，默认为1），参数3为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）## 场景用户
原创
2021-07-12 14:25:25
1464阅读
Lag和Lead分析函数可以在同一次查询中取出同一字段的后N行的数据(Lag)和前N行的数据(Lead)作为独立的列。这种操作可以代替表的自联接，并且LAG和LEAD有更高的效率，其中over()表示当前查询的结果集对象，括号里面的语句则表示对这个结果集进行处理。1 LEAD与LAG相反，LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值参数1为列名，参数2为往下第n行（可选，默认为1），参数3为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）## 场景用户
原创
2021-07-12 14:25:26
739阅读
事务：之前了解到的是，转账(一个帐户上都加、一个帐户上进行减)行级事务(要保存一条insert\update不会出现只插入一部分的情况)实时：查询速度快，响应速度快。在企业里面，一个请求发送出去，如果不是太复杂的话，在做需求的时候，整个响应过程一般不会超过3SOLTP：一般指的是数据库OLAP:重点在于分析上，用于查询或者分析使用。没有实时要求一般是按天、周、月、年来进行数据统计。OLTP是要求实
转载
2023-08-10 12:55:50
79阅读
HBase和Hive的应用场景： Hive 适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。Hive 不应该用来进行实时的查询（Hive 的设计目的，也不是支持实时的查询）。因为它需要很长时间才可以返回结果；HBase 则非常适合用来进行大数据的实时查询，例如 Facebook 用 HBase 进行消息和实时的分析。对于 Hive 和 HBase 的部署来说，也有一些区别
转载
2023-10-23 21:17:47
69阅读
一. 数据仓库架构设计数据仓库的主要工作就是ETL，即是英文 Extract-Transform-Load 的缩写，用来描述数据从来源端经过装载(load)、抽取(extract)、转换(transform)至目的端的过程。数据仓库架构设计，即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。1. 数据架构架构原则：先水平分层，再垂直分主题域。数据架构分三层源数据落地区
原创
2021-10-24 17:59:00
987阅读
一.Hive应用场景 本文主要讲述使用 Hive 的实践，业务不是关键，简要介绍业务场景，本次的任务是对搜索日志数据进行统计分析。 集团搜索刚上线不久，日志量并不大 。这些日志分布在 5 台前端机，按小时保存，并以小时为周期定时将上一小时产生的数据同步到日志分析机，统计数据要求按小时更新。这些统计项，包括关键词搜索量 pv ，类别访问量，每秒访问量 tps 等等。 基于 Hive ，我们将这些数据
转载
2024-02-02 14:31:03
108阅读
表元数据Hive自己维护了一套元数据，用户通过HQL查询时候，Hive首先需要结合元数据，将HQL翻译成MapReduce去执行。本文介绍一下Hive元数据中重要的一些表结构及用途，以Hive0.13为例。文章最后面，会以一个示例来全面了解一下，Hive的元数据是怎么生成和存储的。13.1 存储Hive版本的元数据表（VERSION）该表比较简单，但很重要。VER_IDSCHEMA_VERSION
转载
2023-07-14 11:42:12
64阅读
通过对HIVE表进行打标签，构建基础元数据表1、存储2、应用场景3、数据质量4、重要等级5、调度任务6、计算资源7、被使用情况1、存储HIVE表是否分区、量级（可定阈值 设定等级）优化集群存储资源时、快速找到大表。方便监控表的量级变化情况2、应用场景从应用层入手（画像、广告、财务等），通过血缘链路，给涉及到的HIVE表，打上应用场景的标签清楚知道 表是能应用在什么场景下3、数据质量参考Apache
转载
2023-07-12 12:53:03
40阅读
hive 原数据表分析及操作
进入mysql
转载
2023-05-31 07:29:38
73阅读
spark.sql.hive.convertMetastoreParquet
原创
2022-09-27 10:22:50
587阅读
1.hive模糊搜索表
show tables like '*name*';
2.查看表结构信息
desc formatted table_name;
desc table_name;
3.查看分区信息
show partitions table_name;
4.根据分区查询数据
select table_cou
转载
2023-07-18 11:39:10
351阅读
1.了解啥是hive 问题 : 啥是hive?Hive是一个基于Hadoop的开源 数据仓库工具，用于 存储 和 处理 海量结构化数据。 Hive 使用 HDFS 作为数据存储介质 使用MapReduce 作为数据计算引擎 Hive 是 Facebook 2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的 HQL（hiveSQL）语句作为数据访问接口。问题 : hive能做什么呢? 利
转载
2023-07-12 13:04:16
41阅读
Hive是什么 1）Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库；2）一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制；3）Hive 定义了简单的类SQL 查询语言，称为HQL，它允许熟悉SQL 的用户查询数据；4）允许用Java开发自定义的函数UDF来处理内置无法完成的复杂的分析工作；5）Hive没有专门的数据格式（分隔
转载
2024-03-10 22:58:29
56阅读
假如你写过很多程序，你可能偶尔会碰到要确定字符或字符窜串否包含在一段文字中，在这篇文章中，我将讨论使用CHARINDEX和PATINDEX函数来 搜索文字列和字符串。我将告诉你这两个函数是如何运转的，解释他们的区别。同时提供一些例子，通过这些例子，你可以可以考虑使用这两个函数来解决很多不同 的字符搜索的问题。 &nb
转载
2023-07-12 22:12:26
176阅读
hive作为一个数据仓库建立在hadoop的基础上，提供了一套类似mysql的语法，用于做报表统计、数据分析等。在hive2.x之前，hive是不支持联机事务处理的，也就是说使用hive操作sql，会有很大的时间延迟。而hive3.x版本则有了改进，hive引擎支持tez和spark,在查询速度上有了显著的提升。接下来我们来安装搭建hive3.1.1:##准备环境虚拟机4台（hadoop1,had
转载
2023-09-20 04:41:03
45阅读
数据仓库Hive的使用一、试验目的要求二、试验环境三、试验内容任务一 启动hadoop集群任务二 启动Hive，查看当前的数据库列表任务三 Hive的数据模型---分区表任务四 Hive的数据模型---桶表任务五 Hive的数据模型---视图四、体会心得 一、试验目的要求【实验目的】掌握数据仓库Hive的使用。掌握数据仓库工具Hive的使用。 【实验要求】掌握数据仓库Hive的使用。能够正常操作
转载
2023-08-18 23:11:26
152阅读
