一、课前准备●安装并配置好Hadoop, 保证Hadoop集群是正常启动的。●在Hive的安装目录下启动，执行bin/hive。二、Hive简介1.Hive是什么?●基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据●Hive把HDFS中结构化的数据映射成表。●Hive通过把HiveSQL进行解析和转换, 最终生成-系列基于hadoop的map/reduce任务, 通过执行这些任务完
转载
2023-07-13 16:34:54
78阅读
文章目录一、前言二、项目需求三、数据结构Customer表Transaction表Store表Review表四、项目实战通过UDF自定义 MD5加密函数对表内容进行检查，为数据清洗做准备开启动态分区，通过窗口函数对数据进行清洗数据分析Customer分析Transaction分析Store分析Review分析 一、前言Hive 学习过程中的一个练习项目，如果不妥的地方或者更好的建议，欢迎指出！
转载
2023-11-27 15:38:52
105阅读
文章目录Hive简介1.Hive安装1.解压安装配置环境变量2.配置文件3.使用初始化元数据启动元数据服务启动2.hive的简单使用3.hive数据加载方式1.直接拷贝到hdfs中的表的对应目录2.使用命令导入数据3.装载方式4.insert into方式装载4.Hive表属性修改 Hive简介Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分
转载
2023-10-23 22:05:49
70阅读
文章目录1. 数据集说明2. 数据处理2.1 数据导入2.2 数据清洗3.数据分析可视化3.1 用户流量及购物情况3.2 用户行为转换率3.3 用户行为习惯3.4 基于 RFM 模型找出有价值的用户3.5 商品维度的分析4、数据下载 1. 数据集说明这是一份来自淘宝的用户行为数据，时间区间为 2017-11-25 到 2017-12-03，总计 100,150,807 条记录，大小为 3.5 G
转载
2023-08-08 11:21:57
187阅读
题目要求： 具体操作： ①hive路径下建表：sale create table sale (day_id String, sale_nbr String, buy_nbr String, cnt String, round String) ROW format delimited fields t
原创
2022-09-13 12:58:56
309阅读
点赞
利用Hive进行数据分析2016年07月06日 21:30:20 wh_springer 阅读数：16516近十年来，随着Hadoop生态系统的不断完善，Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据，利用基于Hadoop的数据仓库解决方案Hive早已是Hadoop的热点应用之一。达观数据团队长期致力于研究和积累Hadoop系统
转载
2024-08-21 22:32:52
80阅读
文章目录将数据从Hive导入到MySQL实验报告实验要求Hive操作实验步骤（1）在hive中创建临时表inner_user_log ，字段包括上面11个字段，使用逗号进行分隔符（2）在hive中将user_log表中数据插入到临时表中（3）查询hive中user_log中倒数二十行的数据（4）在mysql中创建dbtaobao11的数据库作为存放库（5）查看mysql数据库的编码格式除了fil
转载
2023-07-13 15:27:49
184阅读
APP用户活跃度下降，如何分析？首先，我会先判断的数据的准确性，看一下是否是系统数据异常或是提取的规则有误。 假如经过确认，数据确实表名用户活跃度下降，那我还要确定这个异常数据的相关因素，是周期性的变化（如周末、寒暑假、淡旺季、节日）还是确实活跃度在下降。 第三步，对日活进行维度拆解，比如说按照新老用户、登录平台、渠道、区域等维度进行拆分，计算每个维度日活变化的情况，计算影响系数。 如果发现部分维
转载
2023-09-26 16:03:59
114阅读
目录前言需求概述数据清洗数据分析一、前期准备二、项目1. 数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2. 明细层建表为什么要构建时间维度表？如何构建时间维度表？5.3 轻聚层建表6. 指标数据分析7.1 计算每月总收入7.2 计算每个季度的总收入7.3 按年计算总收入7.4 按工作日计算总收入7.5 按时间段计算总收入7.
转载
2024-08-14 22:14:35
117阅读
本文最早发表在时间为:2021-12-08 本案例数据链接（数据是本人业余时间模拟数据，需要的自行下载）：数据点我下载数据来源为工作中接触到的某公司后台数据，在完成工作相关分析后，本人对该部分数据虚拟重建用以复盘整理学习是为了不落后， 整理则是为了不忘记。通过本文您将学习到：hive 相关知识shell 命令电商销售数据主要探索方向开窗函数使用本项目主要复盘下面拆解图中，消费主力人群特征和
转载
2023-11-02 08:54:15
78阅读
大数据之Hive DML 数据操作 完整使用一、数据导入1、向表中装载数据（Load）1）语法2）实操案例二、通过查询语句向表中插入数据（Insert）1）创建一张表2）基本插入数据3）基本模式插入（根据单张表查询结果）4）多表（多分区）插入模式（根据多张表查询结果）三、创建表时通过 Location 指定加载数据路径1）上传数据到 hdfs 上2）创建表，并指定在 hdfs 上的位置3）查询数
转载
2023-07-13 16:24:44
86阅读
数据倾斜，通俗地说就是某台机器（Instance）被分发到了明显大于其他机器的数据量，导致这台机器的处理量巨大，成为整个查询语句运行的“时间瓶颈”。在 HQL 运行后可通过查看日志，观察每个 task 的运行时间或 I/O Bytes（ODPS 的伏羲任务平台也会有Long tails 直接标记出哪些 task 是长尾任务，长尾意味着运行时间长发生数据倾斜了）。对应上面的任务类型，数据倾斜也分 3
转载
2023-09-08 18:41:25
138阅读
Hive总结一、本质 Hive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行查询、统计和分析。二、四大特点**• Hive本身不存储数据，它完全依赖HDFS和MapReduce，具有可扩展的存储能力和计算能力• Hive的内容是读多写少，不支持对数据的改写和删除• Hive中没有定义专门的数据格式，由用户指定• Hive是一个SQ
转载
2023-07-20 19:28:15
80阅读
数据处理以及Hive数据分析一、pandas进行数据预处理【1】待处理的一部分数据【2】原始数据文件的格式说明【3】数据预处理要求【4】 处理完成的数据字段说明【5】 实验方法使用pandas进行数据预处理【6】解析题意【7】代码展示（1）读取文件（2） 删除指定字段：（3）为索引加名为id：（4）修改时间字段：（5）添加省份字段：（6）导出文件二、Hive数据分析注意：1、文章里的表名、路径、
转载
2023-12-26 14:50:37
74阅读
数据定义、数据插入、数据查询实验跳过目录一.ELT原始数据处理1.新建项目2.添加项目依赖3.文件内容 1）数据抽取、拆分工具类函数 2）继承Mapper3）运行Runner 4.打包编辑 5.上传至hdfs1）启动环境 2）上传数据文件与jar包3）数据上传至集群4）运行jar包 二.准备工作1.准备hive环境2.创建表1）guliv
转载
2023-12-04 20:52:49
104阅读
数据分析处理 1、统计每天各个机场的销售数量和销售金额。 要求的输出字段 day_id,sale_nbr,,cnt,round 日期编号，卖出方代码，数量，金额 （1）、创建jichang表存放信息： create table jichang(day_id string,sale_nbr strin ...
转载
2021-10-08 15:52:00
248阅读
2评论
# 数据分析案例：HIVE
在数据分析领域，HIVE 是一个强大的数据仓库软件，它提供了类似 SQL 的查询语言（HiveQL），使得用户能够轻松地进行数据分析。本文将通过一个具体的案例，展示如何使用 HIVE 进行数据分析，同时提供一些代码示例，帮助读者更好地理解 HIVE 的应用。
## 什么是 HIVE？
HIVE 是建立在 Hadoop 之上的一个数据仓库工具，旨在处理大数据的结构化
原创
2024-10-14 05:00:48
71阅读
# Hive元数据分析详解
Apache Hive 是一个用于大规模数据仓库的工具，能够在Hadoop之上提供数据处理的便利性。Hive 通过SQL类似的查询语言（HiveQL）来抽象和简化复杂的数据操作。在Hive的后台，元数据管理是至关重要的一部分。本文将深入探讨 Hive 元数据的分析，并提供一些代码示例。
## 什么是Hive的元数据？
Hive元数据是指关于 Hive 表的结构和数
原创
2024-09-21 06:44:52
37阅读
# Hive数据分析方案
## 一、引言
大数据时代，数据分析变得越来越重要。Apache Hive是一种数据仓库基础设施，能在Hadoop上进行与SQL类似的查询。本文将介绍如何使用Hive进行数据分析，并实现一个具体数据分析的案例，以解决某公司的销售数据分析问题。
## 二、项目背景
某公司希望分析其历史销售数据，以了解不同产品的销售趋势、顾客行为及其对销量的影响。通过这些分析，管理层
# Hive数据分析导出实现流程
本文将详细介绍如何使用Hive进行数据分析导出。作为一名经验丰富的开发者，我将向你介绍整个流程，并提供每个步骤所需的代码示例和相关注释。
## 流程概述
在进行Hive数据分析导出之前，我们需要先了解整个流程。下表展示了实现这个过程的步骤和相关操作。
| 步骤 | 操作 |
| ---- |
原创
2023-10-21 06:50:22
3阅读
