安装hadoop 和 hive我就不多说了，网上太多文章 自己看去首先，在机器上打开hiveservice hive --service hiveserver -p 50000 & 打开50000端口，然后java就可以使用java连了，需要的jar包我发个图片 就这多jar包，必须的不多说，直接上代码 package asia.wildfire.hive.s
转载
2023-06-14 23:56:44
46阅读
目录1 事实表、维度表1.1 什么是事实表呢？1.2 什么是维度表呢？2 数据库三范式2.1 首先看第一范式(1NF):2.2 第二范式(2NF)2.3 第三范式(3NF)3 维度建模模型3.1 星型模型和雪花模型3.1.1 星型模型3.1.2 雪花模型4 数据仓库分层设计1 事实表、维度表首先我们来看两个名词：事实表和维度表1.1 什么是事实表呢？事实表是指保存了大量业务数据的表，或者说保存了一
转载
2024-04-11 20:45:57
174阅读
文章目录一、前言二、项目需求三、数据结构Customer表Transaction表Store表Review表四、项目实战通过UDF自定义 MD5加密函数对表内容进行检查，为数据清洗做准备开启动态分区，通过窗口函数对数据进行清洗数据分析Customer分析Transaction分析Store分析Review分析 一、前言Hive 学习过程中的一个练习项目，如果不妥的地方或者更好的建议，欢迎指出！
转载
2023-11-27 15:38:52
105阅读
一、课前准备●安装并配置好Hadoop, 保证Hadoop集群是正常启动的。●在Hive的安装目录下启动，执行bin/hive。二、Hive简介1.Hive是什么?●基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据●Hive把HDFS中结构化的数据映射成表。●Hive通过把HiveSQL进行解析和转换, 最终生成-系列基于hadoop的map/reduce任务, 通过执行这些任务完
转载
2023-07-13 16:34:54
78阅读
文章目录Hive简介1.Hive安装1.解压安装配置环境变量2.配置文件3.使用初始化元数据启动元数据服务启动2.hive的简单使用3.hive数据加载方式1.直接拷贝到hdfs中的表的对应目录2.使用命令导入数据3.装载方式4.insert into方式装载4.Hive表属性修改 Hive简介Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分
转载
2023-10-23 22:05:49
70阅读
文章目录1. 数据集说明2. 数据处理2.1 数据导入2.2 数据清洗3.数据分析可视化3.1 用户流量及购物情况3.2 用户行为转换率3.3 用户行为习惯3.4 基于 RFM 模型找出有价值的用户3.5 商品维度的分析4、数据下载 1. 数据集说明这是一份来自淘宝的用户行为数据，时间区间为 2017-11-25 到 2017-12-03，总计 100,150,807 条记录，大小为 3.5 G
转载
2023-08-08 11:21:57
187阅读
题目要求： 具体操作： ①hive路径下建表：sale create table sale (day_id String, sale_nbr String, buy_nbr String, cnt String, round String) ROW format delimited fields t
原创
2022-09-13 12:58:56
309阅读
点赞
利用Hive进行数据分析2016年07月06日 21:30:20 wh_springer 阅读数：16516近十年来，随着Hadoop生态系统的不断完善，Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据，利用基于Hadoop的数据仓库解决方案Hive早已是Hadoop的热点应用之一。达观数据团队长期致力于研究和积累Hadoop系统
转载
2024-08-21 22:32:52
80阅读
文章目录将数据从Hive导入到MySQL实验报告实验要求Hive操作实验步骤（1）在hive中创建临时表inner_user_log ，字段包括上面11个字段，使用逗号进行分隔符（2）在hive中将user_log表中数据插入到临时表中（3）查询hive中user_log中倒数二十行的数据（4）在mysql中创建dbtaobao11的数据库作为存放库（5）查看mysql数据库的编码格式除了fil
转载
2023-07-13 15:27:49
184阅读
大家好，我是Peter~写过很多关于Pandas的文章，本文开展了一个简单的综合使用，主要分为：如何自行模拟数据多种数据处理方式数据统计与可视化用户RFM模型用户复购周期构建数据本案例中用的数据是小编自行模拟的，主要包含两个数据：订单数据和水果信息数据，并且会将两份数据合并import pandas as pd
import numpy as np
import random
from datet
转载
2024-01-05 23:06:30
80阅读
APP用户活跃度下降，如何分析？首先，我会先判断的数据的准确性，看一下是否是系统数据异常或是提取的规则有误。 假如经过确认，数据确实表名用户活跃度下降，那我还要确定这个异常数据的相关因素，是周期性的变化（如周末、寒暑假、淡旺季、节日）还是确实活跃度在下降。 第三步，对日活进行维度拆解，比如说按照新老用户、登录平台、渠道、区域等维度进行拆分，计算每个维度日活变化的情况，计算影响系数。 如果发现部分维
转载
2023-09-26 16:03:59
114阅读
目录前言需求概述数据清洗数据分析一、前期准备二、项目1. 数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2. 明细层建表为什么要构建时间维度表？如何构建时间维度表？5.3 轻聚层建表6. 指标数据分析7.1 计算每月总收入7.2 计算每个季度的总收入7.3 按年计算总收入7.4 按工作日计算总收入7.5 按时间段计算总收入7.
转载
2024-08-14 22:14:35
117阅读
本文最早发表在时间为:2021-12-08 本案例数据链接（数据是本人业余时间模拟数据，需要的自行下载）：数据点我下载数据来源为工作中接触到的某公司后台数据，在完成工作相关分析后，本人对该部分数据虚拟重建用以复盘整理学习是为了不落后， 整理则是为了不忘记。通过本文您将学习到：hive 相关知识shell 命令电商销售数据主要探索方向开窗函数使用本项目主要复盘下面拆解图中，消费主力人群特征和
转载
2023-11-02 08:54:15
78阅读
数据倾斜，通俗地说就是某台机器（Instance）被分发到了明显大于其他机器的数据量，导致这台机器的处理量巨大，成为整个查询语句运行的“时间瓶颈”。在 HQL 运行后可通过查看日志，观察每个 task 的运行时间或 I/O Bytes（ODPS 的伏羲任务平台也会有Long tails 直接标记出哪些 task 是长尾任务，长尾意味着运行时间长发生数据倾斜了）。对应上面的任务类型，数据倾斜也分 3
转载
2023-09-08 18:41:25
138阅读
Hive总结一、本质 Hive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行查询、统计和分析。二、四大特点**• Hive本身不存储数据，它完全依赖HDFS和MapReduce，具有可扩展的存储能力和计算能力• Hive的内容是读多写少，不支持对数据的改写和删除• Hive中没有定义专门的数据格式，由用户指定• Hive是一个SQ
转载
2023-07-20 19:28:15
80阅读
大数据之Hive DML 数据操作 完整使用一、数据导入1、向表中装载数据（Load）1）语法2）实操案例二、通过查询语句向表中插入数据（Insert）1）创建一张表2）基本插入数据3）基本模式插入（根据单张表查询结果）4）多表（多分区）插入模式（根据多张表查询结果）三、创建表时通过 Location 指定加载数据路径1）上传数据到 hdfs 上2）创建表，并指定在 hdfs 上的位置3）查询数
转载
2023-07-13 16:24:44
86阅读
数据定义、数据插入、数据查询实验跳过目录一.ELT原始数据处理1.新建项目2.添加项目依赖3.文件内容 1）数据抽取、拆分工具类函数 2）继承Mapper3）运行Runner 4.打包编辑 5.上传至hdfs1）启动环境 2）上传数据文件与jar包3）数据上传至集群4）运行jar包 二.准备工作1.准备hive环境2.创建表1）guliv
转载
2023-12-04 20:52:49
104阅读
数据处理以及Hive数据分析一、pandas进行数据预处理【1】待处理的一部分数据【2】原始数据文件的格式说明【3】数据预处理要求【4】 处理完成的数据字段说明【5】 实验方法使用pandas进行数据预处理【6】解析题意【7】代码展示（1）读取文件（2） 删除指定字段：（3）为索引加名为id：（4）修改时间字段：（5）添加省份字段：（6）导出文件二、Hive数据分析注意：1、文章里的表名、路径、
转载
2023-12-26 14:50:37
74阅读
# Hive数据分析导出实现流程
本文将详细介绍如何使用Hive进行数据分析导出。作为一名经验丰富的开发者，我将向你介绍整个流程，并提供每个步骤所需的代码示例和相关注释。
## 流程概述
在进行Hive数据分析导出之前，我们需要先了解整个流程。下表展示了实现这个过程的步骤和相关操作。
| 步骤 | 操作 |
| ---- |
原创
2023-10-21 06:50:22
3阅读
# 使用 Jupyter Notebook 进行 Hive 数据分析的完整指南
在大数据的时代，Apache Hive 是处理和分析 Hadoop 上数据的重要工具，而 Jupyter Notebook 则是一个强大的交互式计算环境，使数据分析变得更加方便。本文将指导你如何在 Jupyter Notebook 中实现对 Hive 数据的分析。
## 流程概述
为了顺利完成本任务，我们可以将整
原创
2024-10-01 10:35:13
210阅读
