一、课前准备●安装并配置好Hadoop, 保证Hadoop集群是正常启动的。●在Hive的安装目录下启动，执行bin/hive。二、Hive简介1.Hive是什么?●基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据●Hive把HDFS中结构化的数据映射成表。●Hive通过把HiveSQL进行解析和转换, 最终生成-系列基于hadoop的map/reduce任务, 通过执行这些任务完
转载
2023-07-13 16:34:54
78阅读
大数据：Hadoop基础常识hive，hbase，MapReduce，Spark Hadoop是根据Google三大论文为基础研发的，Google 三大论文分别是: MapReduce、 GFS和BigTable。 Hadoop的核心是两个部分： 一、分布式存储（HDFS，Hadoop Distributed File System）。 二、分布式计算（MapReduce）。 MapReduce
转载
2023-07-12 11:13:21
48阅读
文章目录一、前言二、项目需求三、数据结构Customer表Transaction表Store表Review表四、项目实战通过UDF自定义 MD5加密函数对表内容进行检查，为数据清洗做准备开启动态分区，通过窗口函数对数据进行清洗数据分析Customer分析Transaction分析Store分析Review分析 一、前言Hive 学习过程中的一个练习项目，如果不妥的地方或者更好的建议，欢迎指出！
转载
2023-11-27 15:38:52
105阅读
大数据技术与原理--分布式数据库Hbase一：Hbase简介BigTable起初是为了解决google的大规模网页搜索的问题，现在BigTable已经用于google公司的搜索，地图，财经，打印。Hbase
转载
2023-08-18 21:41:29
219阅读
Hive整合HBase原理
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive与HBase整合的实现是利用两者本身对外的AP
转载
2023-10-22 17:21:53
72阅读
文章目录Hive简介1.Hive安装1.解压安装配置环境变量2.配置文件3.使用初始化元数据启动元数据服务启动2.hive的简单使用3.hive数据加载方式1.直接拷贝到hdfs中的表的对应目录2.使用命令导入数据3.装载方式4.insert into方式装载4.Hive表属性修改 Hive简介Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分
转载
2023-10-23 22:05:49
70阅读
文章目录1. 数据集说明2. 数据处理2.1 数据导入2.2 数据清洗3.数据分析可视化3.1 用户流量及购物情况3.2 用户行为转换率3.3 用户行为习惯3.4 基于 RFM 模型找出有价值的用户3.5 商品维度的分析4、数据下载 1. 数据集说明这是一份来自淘宝的用户行为数据，时间区间为 2017-11-25 到 2017-12-03，总计 100,150,807 条记录，大小为 3.5 G
转载
2023-08-08 11:21:57
187阅读
我们把hive的安装包上传的节点3来 解压 现在我们还是老规矩通过notopad++来连接我们的虚拟机来配置文件，把下面这两个文件重命名一下 修改这个文件 对hive-env.sh我们修改这里 下面我们在HDFS下创建目录，这个可以在任何一个节点下创建都可以，我这里就在节点2下创建了 给这个目录赋予
原创
2022-06-17 22:57:21
142阅读
通过对HIVE表进行打标签，构建基础元数据表1、存储2、应用场景3、数据质量4、重要等级5、调度任务6、计算资源7、被使用情况1、存储HIVE表是否分区、量级（可定阈值 设定等级）优化集群存储资源时、快速找到大表。方便监控表的量级变化情况2、应用场景从应用层入手（画像、广告、财务等），通过血缘链路，给涉及到的HIVE表，打上应用场景的标签清楚知道 表是能应用在什么场景下3、数据质量参考Apache
转载
2023-07-12 12:53:03
40阅读
题目要求： 具体操作： ①hive路径下建表：sale create table sale (day_id String, sale_nbr String, buy_nbr String, cnt String, round String) ROW format delimited fields t
原创
2022-09-13 12:58:56
309阅读
点赞
文章目录将数据从Hive导入到MySQL实验报告实验要求Hive操作实验步骤（1）在hive中创建临时表inner_user_log ，字段包括上面11个字段，使用逗号进行分隔符（2）在hive中将user_log表中数据插入到临时表中（3）查询hive中user_log中倒数二十行的数据（4）在mysql中创建dbtaobao11的数据库作为存放库（5）查看mysql数据库的编码格式除了fil
转载
2023-07-13 15:27:49
184阅读
利用Hive进行数据分析2016年07月06日 21:30:20 wh_springer 阅读数：16516近十年来，随着Hadoop生态系统的不断完善，Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据，利用基于Hadoop的数据仓库解决方案Hive早已是Hadoop的热点应用之一。达观数据团队长期致力于研究和积累Hadoop系统
转载
2024-08-21 22:32:52
80阅读
# HBase数据分析实现流程
## 流程图
```mermaid
flowchart TD
A(创建HBase表) --> B(导入数据到HBase)
B --> C(执行HBase查询)
C --> D(分析数据)
D --> E(生成报告)
```
## 1. 创建HBase表
首先，我们需要在HBase中创建一个表来存储我们要分析的数据。以下是创建表
原创
2023-08-27 10:34:42
50阅读
(一) hbase 基础 1. 什么是 hbase一个分布式的、面向列的开源数据库，该技术来源于 fay chang 所写的 google 论文”Bigtable:一个结构化数据的分布式存储系统”HBase 在 Hadoop 之上提供了类似于 Bigtable 的能力，HBase 是 Apache的 Hadoop 项目的子项目HBase 不同于一般的关系数据库，它是一个适合于非结构化数存
转载
2023-07-06 17:11:27
66阅读
APP用户活跃度下降，如何分析？首先，我会先判断的数据的准确性，看一下是否是系统数据异常或是提取的规则有误。 假如经过确认，数据确实表名用户活跃度下降，那我还要确定这个异常数据的相关因素，是周期性的变化（如周末、寒暑假、淡旺季、节日）还是确实活跃度在下降。 第三步，对日活进行维度拆解，比如说按照新老用户、登录平台、渠道、区域等维度进行拆分，计算每个维度日活变化的情况，计算影响系数。 如果发现部分维
转载
2023-09-26 16:03:59
114阅读
HBase组件在物理上，HBase是由三种类型的servers组成的主从型架构。Region servers服务于数据的读取和写入。客户端在访问数据时，直接与HBase Region servers 进行通信。区域分配、DDL（创建、删除表）操作由HBase主进程处理。Zookeeper是HDFS的一部分，它维护着一个活的集群状态。Hadoop DataNode存储的是 Region server
转载
2023-08-18 22:09:24
89阅读
目录前言需求概述数据清洗数据分析一、前期准备二、项目1. 数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2. 明细层建表为什么要构建时间维度表？如何构建时间维度表？5.3 轻聚层建表6. 指标数据分析7.1 计算每月总收入7.2 计算每个季度的总收入7.3 按年计算总收入7.4 按工作日计算总收入7.5 按时间段计算总收入7.
转载
2024-08-14 22:14:35
117阅读
本文最早发表在时间为:2021-12-08 本案例数据链接（数据是本人业余时间模拟数据，需要的自行下载）：数据点我下载数据来源为工作中接触到的某公司后台数据，在完成工作相关分析后，本人对该部分数据虚拟重建用以复盘整理学习是为了不落后， 整理则是为了不忘记。通过本文您将学习到：hive 相关知识shell 命令电商销售数据主要探索方向开窗函数使用本项目主要复盘下面拆解图中，消费主力人群特征和
转载
2023-11-02 08:54:15
78阅读
大数据之Hive DML 数据操作 完整使用一、数据导入1、向表中装载数据（Load）1）语法2）实操案例二、通过查询语句向表中插入数据（Insert）1）创建一张表2）基本插入数据3）基本模式插入（根据单张表查询结果）4）多表（多分区）插入模式（根据多张表查询结果）三、创建表时通过 Location 指定加载数据路径1）上传数据到 hdfs 上2）创建表，并指定在 hdfs 上的位置3）查询数
转载
2023-07-13 16:24:44
86阅读
数据倾斜，通俗地说就是某台机器（Instance）被分发到了明显大于其他机器的数据量，导致这台机器的处理量巨大，成为整个查询语句运行的“时间瓶颈”。在 HQL 运行后可通过查看日志，观察每个 task 的运行时间或 I/O Bytes（ODPS 的伏羲任务平台也会有Long tails 直接标记出哪些 task 是长尾任务，长尾意味着运行时间长发生数据倾斜了）。对应上面的任务类型，数据倾斜也分 3
转载
2023-09-08 18:41:25
138阅读
