Hive：基于Hadoop之上的一个离线数据仓库，使用hdfs作为底层存储，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。Hive主要分为以下几个部分： 1. 用户接口 用户接口主要有三个：CLI，Client 和 WebUI(HUE/Zeppelin)。其中最常用的是 CLI，Cli 启动的时候，会同时启动一个 Hiv
转载
2023-08-02 10:41:19
118阅读
一、Hive介绍 Hive是基于Hadoop的一个数据仓库，Hive能够将SQL语句转化为MapReduce任务进行运行。 Hive架构图分为以下四部分。 1、用户接口 Hive有三个用户接口：命令行接口（CLI）:以命令行的形式输入SQL语句进行数据数据操作Web界面：通过Web方式进行访问。 Hive的远程服务方式：通过JDBC等方式进行访问。
转载
2023-07-12 21:20:57
325阅读
公司的数据仓库和离线数据分析是建立在Hadoop + Hive基础上的，现在的工作主要是数据分析，自然也就跟HQL查询经常打交道了。刚来公司几乎完全不懂数据库知识，神马结构化查询语言也只是听说而已，不过，这没关系，实际工作一来，学习起来还是很快~~ 年前有一个同事叫帮忙查某个产品的月度留存UV这个数据，当时业务不熟，还去参照了一下别人是怎么定义
转载
2024-02-28 22:30:13
24阅读
Hive远程连接设置用户名和密码背景上传jar包修改hive-site.xml修改core-site.xml重启集群 背景beeline或者jdbc远程连接hive需要用户名和密码，hive默认的用户名和密码都是空，为了安全起见也要改一下上传jar包用java开发工具打包一个jar工具类，用于解析用户名和密码hiveAuth.zip 把jar包上传到hive根目录的lib下面（没有lib目录就自
转载
2023-06-12 20:59:53
171阅读
目标:Hive添加用户，并授予不同的权限用户TRoot：拥有Gdb1、Gdb2超级权限，由root用户授权用户Auser：由TRoot授权，不能create database/drop database，拥有名为 Gdb1 的 database 所有权限用户Buser：由用户Auser授权，拥有 Gdb1 的读写权限用户Cuser：由用户Buser授权，只能够拥有Gdb1的读权限用户Duser：由
转载
2023-07-20 21:42:20
343阅读
文章目录创造数据登录日志去重一、思路一1.1、分组排序1.2、日期减去计数值得到结果, 用户连续登陆情况下，每次相减的结果都相同1.3、根据 user_id 和 dis 分组，得到用户的 开始、结束时间、连续登录天数1.4、连续登录超过两天用户二、思路二： 使用 LAG(向后)或者 LEAD(向前) 连续活跃登陆的用户指至少连续2天都活跃登录的用户解决类似场景的问题创造数据CREATE TABL
转载
2023-07-14 12:59:38
117阅读
Hive用户行为离线仓库1、基本说明 埋点数据基本格式 公共字段：基本所有安卓手机都包含的字段 业务字段：埋点上报的字段，有具体的业务类型 下面就是一个示例，表示业务字段的上传。 示例日志（服务器时间戳 | 日志）：1540934156385|{
"ap": "gmall",
"cm": {
"uid": "1234",
"vc": "2",
转载
2024-06-06 10:06:07
28阅读
为什么使用Hive？为什么使用Hive？那么，在哪里使用Hive呢？在载入了60亿行（经度、维度、时间、数据值、高度）数据集到MySQL后，系统崩溃了，并经历过数据丢失。这可能部分是因为我们最初的策略是将所有的数据都存储到单一的一张表中了。后来，我们调整了策略通过数据集和参数进行分表，这有所帮助但也因此引入了额外的消耗，而这并非是我们愿意接受的。相反，我们决定尝试使用Apache Hiv
转载
2023-11-16 00:02:10
32阅读
目录 这里写目录标题一、卸载linuxz自带的mysql二、安装mysql三、安装hive四、Hive元数据配置到MySql五、启动Hive六、hive交互命令七、hiveHive常见属性配置八、Hive常见数据类型 一、卸载linuxz自带的mysql 1.卸载linux 自带mysql i. 查询系统自带的mysql a. Centos6 -> mysql Centos6 ->ma
转载
2023-08-23 21:47:40
137阅读
Hive用户权限管理从remote部署hive和mysql元数据表字典看，已经明确hive是通过存储在元数据中的信息来管理用户权限。现在重点是Hive怎么管理用户权限。首先要回答的是用户是怎么来的，发现hive有创建角色的命令，但没有创建用户的命令，显然Hive的用户不是在mysql中创建的。在回答这个问题之前，先初步了解下Hive的权限管理机制。Hive用户组和用户即Linux用户组和用户，和h
转载
2023-07-14 11:33:27
299阅读
文章目录概述定义本质特点Hive与Hadoop关系Hive与关系型数据库区别优缺点其他说明架构组成部分数据模型(Hive数据组织形式）Metastore(元数据）Compiler(编译器）Optimizer(优化器)安装内嵌模式本地 MetaStore远程 MetaStorehiveserver2metastore 概述定义Hive 官网 https://hive.apache.org/Hive
转载
2023-08-24 15:29:49
178阅读
Hive 教程一、hive概述二、Hive工作原理三、在mysql中创建hive用的数据库和hive用户四、hive的三种模式1、使用内置的derby数据库做元数据的存储2、本地模式3、远程模式4、本地模式和远程模式的区别：五、启动hive六、常用操作七、hive的数据类型八、创建表1、语法2、说明5、序列化九、创建简单表十、创建表十二、视图十三、加载数据 load data [local] i
转载
2023-05-29 16:21:45
1127阅读
理解用户的各类行为，构建用户画像体系，帮助平台更加精准运营；在用户的各个维度上，利用数据挖掘、机器学习等技术分析建模，驱动营销、治理、评级等方向。用户画像标签一般用户画像标签分为统计类、规则类、机器学习挖掘类统计类：用户性别、年龄、近7天活跃时长、消费记录规则类：规则类与运营策略相关，标签形成会触发相应策略机器学习挖掘类：如用户价格敏感度、用户偏好、用户流失倾向性等一般用户标签涵盖：用户活跃度、用
转载
2023-08-01 15:11:05
167阅读
目录一、用户留存是什么二、为什么要考虑用户留存1、为什么要考虑用户留存？2、影响用户留存的可能因素3、用户留存的3个阶段三、怎么进行用户留存分析(挖掘Aha时刻)1、Aha时刻2、Aha时刻的作用3、挖掘Aha时刻一、用户留存是什么在互联网行业中，用户在某段时间内开始使用应用，经过一段时间后，仍然继续使用该应用的用户，被认作是留存用户。这部分用户占当时新增用户的比例，即用户留存率，会按
HiverServer2支持远程多客户端的并发和认证，支持通过JDBC、Beeline等连接操作。hive默认的Derby数据库，由于是内嵌的文件数据库，只支持一个用户的操作访问，支持多用户需用mysql保存元数据。现在关心的是HiveServer如何基于mysql元数据库管理用户权限，其安全控制体系与Linux及Hadoop的用户是否存在联系。1）remote方式部署HiveHive中metas
转载
2023-07-24 15:32:11
63阅读
Hive基本查询需求1：某次经营活动中，商家发起了"异性拼团购"，试着针对某个地区的用户进行推广，找出匹配用户。 参考实现：选出城市在北京，性别为女的10个用户名select user_name
from user_info
where city='beijing' and sex='female'
limit 10;注意：如果该表是一个分区表，则WHERE条件中必须对分区字段进行限制。需求2：某
转载
2023-07-28 11:46:21
135阅读
cloudera公司发行的CDH中
hive的有三种角色：gateway、hiveserver2、hive metastore三种角色
其中hive metastore主要用于客户端连接 默认端口
hive server2 主要用于jdbc连接（很多bi产品都靠jdbc连接，比如hue，帆软等软件）
gateway 是client的一个代理，主要用于更新hive的客户端配置
apache社区
转载
2023-07-14 23:30:43
71阅读
如何实现Hive Root用户
作为一名经验丰富的开发者，我将教会你如何实现Hive Root用户。首先，我们将通过以下步骤来实现它：
1. 创建一个新的Hive用户
2. 授予该用户具有root权限的角色
3. 配置Hive以使用root用户登录
下面是每个步骤的详细说明以及每个步骤需要执行的代码：
## 步骤1：创建一个新的Hive用户
首先，我们需要创建一个新的Hive用户。这可以
原创
2024-02-09 05:40:21
173阅读
# Hive 用户管理
## 导言
Hive是一种基于Hadoop的数据仓库工具，它提供了一个类似于SQL的查询语言来分析存储在Hadoop集群中的大规模数据。Hive允许用户通过编写HQL（Hive Query Language）查询数据，而无需编写复杂的MapReduce代码。在Hive中，用户管理是非常重要的一部分，它涉及到用户的创建、授权、权限管理等操作。本文将介绍Hive中的用户管理
原创
2023-11-26 07:22:04
68阅读
# Hive 查询用户的实现流程
为了教会刚入行的小白如何实现“Hive 查询用户”的功能，我们将按照以下步骤进行：
## 步骤一：创建用户表
第一步是创建一个用户表，用于存储用户的相关信息。在Hive中，我们可以使用HQL（Hive查询语言）来创建表。以下是创建用户表的代码：
```sql
CREATE TABLE users (
id INT,
name STRING,
a
原创
2023-07-23 04:14:39
103阅读
