周末抽空搭建了一个10个节点的hadoop集群（CDH5.4.1）。
安装注意事项：做好各节点ssh等价，ntp时钟同步， 角色分配zookiper 最好独立磁盘个数为基数1,3,5 ， 做好高可用active, hue最好添加hdfs fttpfs角色，以免主备切换时hue不可用。
用途： 因为有商用的集群要升级，所以准备一个备用的集群，备
转载
2024-08-14 17:46:48
52阅读
# Hive Cube 优化
在数据仓库中，Cube 是一种常见的数据模型，用于快速聚合和查询大规模数据。在 Hive 中，使用 Cube 可以大大提高查询性能，尤其是对于复杂的多维数据分析。
## 什么是 Hive Cube？
Hive Cube 是一种多维数据模型，用于预先计算和存储聚合数据。它通常包含多个维度和指标，以便用户可以更快地分析和查询数据。
## 如何创建 Hive Cub
原创
2024-06-02 05:18:40
93阅读
在做Shuffle阶段的优化过程中，遇到了数据倾斜的问题，造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。Hive的执行是分阶段的，map处理数据量的差异取决于上一个stage的reduce输出，所以如何将数据均匀的
转载
2023-12-11 18:15:06
93阅读
集群最优配置的最好方式是通过实验测试，然后衡量结果。普通配置--元数据连接超时
set hive.metastore.client.socket.timeout=500;
--指定MR任务运行队列
set mapreduce.job.queuename=bigdata;
--指定作业名称,如果脚本中有多个sql语句，那么你设定jobname后，所有的sql生成的job都会有同一个名字
set ma
转载
2023-08-30 18:18:44
131阅读
1、数据说明学生信息表（student_txt）定义如下：-- 创建数据库
create database tuning;
use tuning;
-- 创建表
create table if not exists tuning.student_txt(
s_no string comment '学号',
s_name string comment '姓名',
s_bir
转载
2024-06-10 12:31:06
262阅读
作为一个大数据工程师, 细粒度的数据分析是避免不了的事情; 通常情况下,使用2-4个维度进行数据分析能对付绝大多数数据分析的需求; 但是在面对特殊需求的时候, 对数据进行10个维度的分组分析,通常用的union all, jion等低维查询再组合的方法明显不能用了, 这个时候就是with cube的show time;例:对表temp.temp_test_v1中10个字段进行组合维度查询统计cre
转载
2024-07-10 19:14:14
117阅读
前言下面通过对kylin构建cube流程的分析来介绍cube优化思路。 创建hive中间表kylin会在cube构建的第一步先构建一张hive的中间表，该表关联了所有的事实表和维度表，也就是一张宽表。优化点：1. hive表分区优化，在构建宽表的时候，kylin需要遍历hive表，事实表和维度表如果是分区表，那么会减少遍历时间
2. hive相关配置调整，join相关配置，mapredu
转载
2024-08-29 18:39:59
93阅读
1.应用背景:实际生产中，各种指标的报表统计，往往都会涉及到多维分析,比如，统计日活数，日会话次数，日回头访客数，日新，日用户平均访问时长，访问深度……都需要从不同维度,各种角度去分析,如果上述维度分析需求，都逐个开发计算sql（逐个去group by聚合），工作繁冗！那么，如何解决这个问题呢？2.实现过程:2.1 关键要点: 创建一个统一的目标维度分析聚合结果表，这个表应该包含所有的维
转载
2023-08-06 07:22:34
178阅读
分析查询数据筹备7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,\N,20
7499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,30
7521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,30
7566,JONES,MANAGER,7839,198
转载
2024-07-22 17:32:10
37阅读
目录1 函数概述2 函数分类2.1 内置函数分类2.1.1 String Functions 字符串函数2.1.2 Date Functions 日期函数2.1.4 Collection Functions 集合函数2.1.5 Conditional Functions 条件函数2.1.6 Type Conversion Functions 类型转换函数2.1.7 Data Masking Fun
转载
2024-02-20 08:58:12
129阅读
一、查看Cuboid数量 二、判断Cube优化的依据 一、查看Cuboid数量 $KYLIN_HOME/bin/kylin.sh org.apache.kylin.engine.mr.common.CubeStatsReader CUBE_NAME CUBE_NAME 想要查看Cube的名字 如下显 ...
转载
2021-08-17 17:27:00
239阅读
2评论
背景数据需求，要求计算各个维度下的用户数，并将数据落在目标表中，结果需要支持任意维度的筛选。维度包括：平台(platform)，是否新用户(is_new)，年龄(age)，人生阶段(life_stage)，城市类型(city_class)，省份名称(province_name)，使用年限(use_age)，当前APP版本(app_version_final)，启动播放(start_play)。 启
转载
2023-07-12 20:30:58
203阅读
# Hive Cube 用法详解
## 引言
在大数据时代，Apache Hive 是一个广泛使用的数据仓库工具，它可以让开发者以类 SQL 的方式进行数据查询和分析。Hive在数据分析中使用的一个重要概念是Cube。Cube可以帮助我们实现多维数据的快速查询，特别适合用于OLAP（在线分析处理）场景。本文将深入探讨Hive Cube的用法，并提供代码示例，以帮助读者更好地理解和使用Hive
## Cube函数在Hive中的使用
### 简介
在数据分析和数据仓库中，我们经常需要对数据进行聚合和汇总操作。Hive是一个基于Hadoop的数据仓库工具，它提供了一种SQL-like语言，方便我们进行数据查询和分析。Hive中的Cube函数是一种非常强大的函数，它可以用来对数据进行多维度的聚合操作。
Cube函数可以将一条查询语句转换成多条不同维度的查询语句，然后将结果合并起来。这种方
原创
2023-11-22 08:40:34
166阅读
## 使用Hive Cube Join 进行多维数据分析
在数据分析领域，多维数据分析是一种常见的技术，它可以帮助分析人员从不同维度对数据进行分析和挖掘，以发现隐藏在数据背后的规律和趋势。在Hive中，Cube Join 是一种强大的工具，可以帮助我们实现多维数据分析。
### 什么是Hive Cube Join
Hive Cube Join 是Hive中的一种高级数据处理方式，它可以对多个
原创
2024-02-28 05:38:47
30阅读
ROLLUP 运算符生成的结果集类似于 CUBE 运算符生成的结果集。下面是 CUBE 和 ROLLUP 之间的具体区别：CUBE 生成的结果集显示了所选列中值的所有组合的聚合。 ROLLUP 生成的结果集显示了所选列中值的某一层次结构的聚合。 ROLLUP 优点：（１）ROLLUP 返回单个结果集，而 COMPUTE BY 返回多个结果集，而多个结果集会增加应用程序代码的复杂性。 （２）ROLL
转载
2023-07-12 09:38:07
229阅读
Hive架构Hive部署VMware虚拟机部署一、在node1节点安装mysql数据库二、配置Hadoop三、下载 解压Hive四、提供mysql Driver驱动五、配置Hive六、初始化元数据库七、启动Hive(Hadoop用户)chown -R hadoop:hadoop apache-hive-3.1.3-bin hive阿里云部署一、创建云数据库库二、配置Hive 数据库连接地址粘贴到配
hive数据类型基本数据类型常用的 ：INT BIGINT DOUBLE STRING集合数据类型STRUCT: struct(street:string,city:string)
MAP: map(string,int)
ARRAY: array(string)**注意：**我们在导入数据是一行一行导入，因此我们需要额外的字段来匹配文件中的字符字段解释：row format delimited
转载
2023-12-21 22:01:49
18阅读
hive beeline 命令 hive cube
转载
2023-05-27 12:28:39
88阅读
前言下面通过对kylin构建cube流程的分析来介绍cube优化思路。 创建hive中间表kylin会在cube构建的第一步先构建一张hive的中间表，该表关联了所有的事实表和维度表，也就是一张宽表。优化点：1. hive表分区优化，在构建宽表的时候，kylin需要遍历hive表，事实表和维度表如果是分区表，那么会减少遍历时间2. hive相关配置调整，join相关配置，mapreduc
转载
2023-07-20 20:48:53
55阅读
