Hive：基于Hadoop之上的一个离线数据仓库，使用hdfs作为底层存储，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。Hive主要分为以下几个部分： 1. 用户接口 用户接口主要有三个：CLI，Client 和 WebUI(HUE/Zeppelin)。其中最常用的是 CLI，Cli 启动的时候，会同时启动一个 Hiv
转载
2023-08-02 10:41:19
118阅读
公司的数据仓库和离线数据分析是建立在Hadoop + Hive基础上的，现在的工作主要是数据分析，自然也就跟HQL查询经常打交道了。刚来公司几乎完全不懂数据库知识，神马结构化查询语言也只是听说而已，不过，这没关系，实际工作一来，学习起来还是很快~~ 年前有一个同事叫帮忙查某个产品的月度留存UV这个数据，当时业务不熟，还去参照了一下别人是怎么定义
转载
2024-02-28 22:30:13
24阅读
一、Hive介绍 Hive是基于Hadoop的一个数据仓库，Hive能够将SQL语句转化为MapReduce任务进行运行。 Hive架构图分为以下四部分。 1、用户接口 Hive有三个用户接口：命令行接口（CLI）:以命令行的形式输入SQL语句进行数据数据操作Web界面：通过Web方式进行访问。 Hive的远程服务方式：通过JDBC等方式进行访问。
转载
2023-07-12 21:20:57
325阅读
文章目录创造数据登录日志去重一、思路一1.1、分组排序1.2、日期减去计数值得到结果, 用户连续登陆情况下，每次相减的结果都相同1.3、根据 user_id 和 dis 分组，得到用户的 开始、结束时间、连续登录天数1.4、连续登录超过两天用户二、思路二： 使用 LAG(向后)或者 LEAD(向前) 连续活跃登陆的用户指至少连续2天都活跃登录的用户解决类似场景的问题创造数据CREATE TABL
转载
2023-07-14 12:59:38
117阅读
目标:Hive添加用户，并授予不同的权限用户TRoot：拥有Gdb1、Gdb2超级权限，由root用户授权用户Auser：由TRoot授权，不能create database/drop database，拥有名为 Gdb1 的 database 所有权限用户Buser：由用户Auser授权，拥有 Gdb1 的读写权限用户Cuser：由用户Buser授权，只能够拥有Gdb1的读权限用户Duser：由
转载
2023-07-20 21:42:20
343阅读
目录 这里写目录标题一、卸载linuxz自带的mysql二、安装mysql三、安装hive四、Hive元数据配置到MySql五、启动Hive六、hive交互命令七、hiveHive常见属性配置八、Hive常见数据类型 一、卸载linuxz自带的mysql 1.卸载linux 自带mysql i. 查询系统自带的mysql a. Centos6 -> mysql Centos6 ->ma
转载
2023-08-23 21:47:40
137阅读
Hive用户行为离线仓库1、基本说明 埋点数据基本格式 公共字段：基本所有安卓手机都包含的字段 业务字段：埋点上报的字段，有具体的业务类型 下面就是一个示例，表示业务字段的上传。 示例日志（服务器时间戳 | 日志）：1540934156385|{
"ap": "gmall",
"cm": {
"uid": "1234",
"vc": "2",
转载
2024-06-06 10:06:07
28阅读
Hive用户权限管理从remote部署hive和mysql元数据表字典看，已经明确hive是通过存储在元数据中的信息来管理用户权限。现在重点是Hive怎么管理用户权限。首先要回答的是用户是怎么来的，发现hive有创建角色的命令，但没有创建用户的命令，显然Hive的用户不是在mysql中创建的。在回答这个问题之前，先初步了解下Hive的权限管理机制。Hive用户组和用户即Linux用户组和用户，和h
转载
2023-07-14 11:33:27
299阅读
文章目录概述定义本质特点Hive与Hadoop关系Hive与关系型数据库区别优缺点其他说明架构组成部分数据模型(Hive数据组织形式）Metastore(元数据）Compiler(编译器）Optimizer(优化器)安装内嵌模式本地 MetaStore远程 MetaStorehiveserver2metastore 概述定义Hive 官网 https://hive.apache.org/Hive
转载
2023-08-24 15:29:49
178阅读
为什么使用Hive？为什么使用Hive？那么，在哪里使用Hive呢？在载入了60亿行（经度、维度、时间、数据值、高度）数据集到MySQL后，系统崩溃了，并经历过数据丢失。这可能部分是因为我们最初的策略是将所有的数据都存储到单一的一张表中了。后来，我们调整了策略通过数据集和参数进行分表，这有所帮助但也因此引入了额外的消耗，而这并非是我们愿意接受的。相反，我们决定尝试使用Apache Hiv
转载
2023-11-16 00:02:10
32阅读
Hive远程连接设置用户名和密码背景上传jar包修改hive-site.xml修改core-site.xml重启集群 背景beeline或者jdbc远程连接hive需要用户名和密码，hive默认的用户名和密码都是空，为了安全起见也要改一下上传jar包用java开发工具打包一个jar工具类，用于解析用户名和密码hiveAuth.zip 把jar包上传到hive根目录的lib下面（没有lib目录就自
转载
2023-06-12 20:59:53
171阅读
目录一、用户留存是什么二、为什么要考虑用户留存1、为什么要考虑用户留存？2、影响用户留存的可能因素3、用户留存的3个阶段三、怎么进行用户留存分析(挖掘Aha时刻)1、Aha时刻2、Aha时刻的作用3、挖掘Aha时刻一、用户留存是什么在互联网行业中，用户在某段时间内开始使用应用，经过一段时间后，仍然继续使用该应用的用户，被认作是留存用户。这部分用户占当时新增用户的比例，即用户留存率，会按
HiverServer2支持远程多客户端的并发和认证，支持通过JDBC、Beeline等连接操作。hive默认的Derby数据库，由于是内嵌的文件数据库，只支持一个用户的操作访问，支持多用户需用mysql保存元数据。现在关心的是HiveServer如何基于mysql元数据库管理用户权限，其安全控制体系与Linux及Hadoop的用户是否存在联系。1）remote方式部署HiveHive中metas
转载
2023-07-24 15:32:11
63阅读
Hive基本查询需求1：某次经营活动中，商家发起了"异性拼团购"，试着针对某个地区的用户进行推广，找出匹配用户。 参考实现：选出城市在北京，性别为女的10个用户名select user_name
from user_info
where city='beijing' and sex='female'
limit 10;注意：如果该表是一个分区表，则WHERE条件中必须对分区字段进行限制。需求2：某
转载
2023-07-28 11:46:21
135阅读
理解用户的各类行为，构建用户画像体系，帮助平台更加精准运营；在用户的各个维度上，利用数据挖掘、机器学习等技术分析建模，驱动营销、治理、评级等方向。用户画像标签一般用户画像标签分为统计类、规则类、机器学习挖掘类统计类：用户性别、年龄、近7天活跃时长、消费记录规则类：规则类与运营策略相关，标签形成会触发相应策略机器学习挖掘类：如用户价格敏感度、用户偏好、用户流失倾向性等一般用户标签涵盖：用户活跃度、用
转载
2023-08-01 15:11:05
167阅读
Hive 教程一、hive概述二、Hive工作原理三、在mysql中创建hive用的数据库和hive用户四、hive的三种模式1、使用内置的derby数据库做元数据的存储2、本地模式3、远程模式4、本地模式和远程模式的区别：五、启动hive六、常用操作七、hive的数据类型八、创建表1、语法2、说明5、序列化九、创建简单表十、创建表十二、视图十三、加载数据 load data [local] i
转载
2023-05-29 16:21:45
1127阅读
cloudera公司发行的CDH中
hive的有三种角色：gateway、hiveserver2、hive metastore三种角色
其中hive metastore主要用于客户端连接 默认端口
hive server2 主要用于jdbc连接（很多bi产品都靠jdbc连接，比如hue，帆软等软件）
gateway 是client的一个代理，主要用于更新hive的客户端配置
apache社区
转载
2023-07-14 23:30:43
71阅读
# Hive初始用户
在使用Hive进行数据处理和分析时，首先需要创建一个Hive数据库，并为其设置初始用户。Hive初始用户是拥有数据库管理员权限的用户，可以管理Hive数据库的创建、删除、以及其他操作。
## 创建Hive数据库
我们可以通过以下代码示例来创建一个名为`test_database`的Hive数据库：
```sql
CREATE DATABASE test_database
原创
2024-02-23 05:37:31
33阅读
# 指定Hive用户实现方法
## 整体流程
首先，让我们来看一下实现“指定Hive用户”的整个流程。我们可以用以下表格展示步骤：
| 步骤 | 说明 |
| --- | --- |
| 1 | 创建一个新的Hive用户 |
| 2 | 给该用户分配相应的权限 |
| 3 | 使用指定的Hive用户登录Hive |
## 具体步骤及代码
### 步骤一：创建一个新的Hive用户
首先，
原创
2024-06-26 04:46:05
37阅读
# 查看Hive用户
Hive是一个基于Hadoop的数据仓库工具，通过使用类似于SQL的查询语言，可以方便地在Hadoop集群中进行数据的查询和分析。在Hive中，每个用户都有自己的用户账号和权限，可以使用这些账号和权限来管理和控制对Hive中数据的访问。本文将介绍如何查看Hive用户以及他们的权限。
## 检查Hive用户
在Hive中，可以通过查看Hive Metastore中的用户表
原创
2023-08-23 10:59:31
199阅读
