一、介绍分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。开窗函数指定了分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化！到底什么是数据窗口？后面举例会详细讲到！Window Function又称为窗口函数、分析函数。 窗口函数与聚合函数类似，但是每一行数据都生成一个结果。 聚合函数(比如sum、avg、max等)
转载
2023-07-14 12:49:28
235阅读
# 开启Hive表事务的使用方法
在Hive中，我们可以通过开启表事务来实现对表的并发操作和事务管理。开启表事务后，可以在表的操作过程中处理并发读写请求，确保数据的一致性和完整性。本文将介绍如何在Hive中开启表事务，并提供相关的代码示例。
## 1. 什么是Hive表事务
Hive表事务是指在Hive中对表进行并发操作和事务管理的功能。通过开启表事务，可以实现多个用户同时对同一张表进行读写
原创
2024-07-13 04:38:55
74阅读
# Hive只读账号的使用介绍
在Hive中，我们可以通过设置只读账号来限制用户的访问权限，以保护数据的安全性。只读账号可以查看数据库中的数据，但无法修改数据或执行DML操作。本文将介绍如何在Hive中创建只读账号，并演示如何使用只读账号来查询数据。
## 创建只读账号
在Hive中创建只读账号非常简单，我们只需要使用Hive的SQL语句来创建一个新用户，并设置其权限为只读即可。下面是一个示
原创
2024-03-21 05:14:22
392阅读
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。 Fayson的github： https://github.com/fayson/cdhproject 提示：代码块部分可以左右滑动查看噢1.文档编写目的Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Active Dir
转载
2024-03-14 21:09:23
62阅读
✎ 编 者 按 数据时代下，井喷的数据量为电信行业带来新的挑战。面对每日数百 TB 的新增数据，稳定可靠的调度系统必不可少。中国联通旗下的联通数字科技有限公司（以下简称“联通数科”），其数据智能事业部原来十分依赖商业调度系统。但随着公司业务规模扩大，和新场景需求的挑战下，事业部经过调研和多方考量，决定将调度系统替换为 Apache DolphinScheduler。从 202
为什么你明白某个函数但还是看不懂别人的公式？很简单，不外乎4个原因：一、公式各参数用法没懂全；二、公式中的运算式(含逻辑运算)没弄懂；三、公式中的数组你不懂；四、嵌套了其他你不懂的函数。第1、4个原因，可以看Excel的函数帮助信息解决第2个原因，可能很多人不认可，“你别忽悠我们哟，普及9年义务教育后，至少也是初中毕业，怎么可能弄不懂Excel运算式！”是否忽悠了人，请看看下面这个不含任
转载
2023-09-01 19:22:26
244阅读
# 如何实现“hive 逗号分隔字符砸开”
## 概述
在Hive中，如果需要对逗号分隔的字符进行拆分操作，可以使用内置函数`split`来实现。本文将介绍如何在Hive中实现逗号分隔字符砸开的操作，包括整个流程和具体的代码实现。
## 流程图
```mermaid
flowchart TD
Start(开始) --> Input(输入逗号分隔的字符)
Input --> Sp
原创
2024-04-07 05:47:23
69阅读
# Hive给某张表开权限
Hive是一个构建在Hadoop之上的数据仓库基础设施工具，它提供了一个SQL-like的查询语言，用于处理大规模的结构化数据。在Hive中，我们可以通过授权机制来管理对数据库、表以及其他对象的访问权限。本文将介绍如何为Hive中的某张表开放权限，并提供代码示例。
## Hive权限模型
在Hive中，权限分为两个级别：
1. 全局级别（Global level
原创
2023-10-07 09:15:10
307阅读
在大数据生态圈中，使用 Sqoop 连接启用 Kerberos 认证的 Hive 是个常见需求。这篇博文将深入探讨如何解决这一问题，包括环境准备、集成步骤、配置详解、实战应用、排错指南及生态扩展。
### 环境准备
在开始之前，我们需要确保具备正确的环境。以下是为了成功连接 Sqoop 和 Hive 所需的基本技术栈及其兼容性。
| 组件 | 版本 | 兼容性
拉链表的需求 复制：1.1 数据量比较大;1.2 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;1.3 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，比如，查看某一个用户在过去某一段时间内，更新过几次等等;1.4 变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左
# Hive远程登录打开教程
## 1. 整体流程
请按照以下步骤进行Hive远程登录打开：
| 步骤 | 功能 |
| :---: | :--- |
| 1 | 安装Hive |
| 2 | 配置Hive |
| 3 | 启动Hive Metastore |
| 4 | 配置Hive远程登录 |
| 5 | 启动HiveServer2 |
| 6 | 远程登录并打开Hive |
现在我们将
原创
2023-07-31 17:25:28
103阅读
sqoop 连接开kerberos认证的hive 命令
在大数据环境中，使用 Sqoop 连接开启 Kerberos 认证的 Hive 不仅可以保证数据信息的安全，同时也兼容大多数 Hadoop 生态系统工具。接下来的步骤将详细说明如何成功进行这一操作。
### 环境准备
首先，需要确保你的环境准备齐全，以下是前置依赖的安装清单。
```mermaid
gantt
title 环境
目录hive的beeline连接hive的beeline连接之前直接用hive命令直接进入hive客户端但是这种方式在生产中不适用；此时我们需要另外一种连接方式，就是远程连接；hive的远程连接方式：将hive的服务端开启在远程通过第三方的工具连接； beelinebeeline：就是hive的远程连接的客户端工具如果想要远程连接hive将hive的服务器端启动； hiveserver2 开启hi
转载
2023-05-30 16:34:31
369阅读
hive开非严格模式实现笛卡尔积是一个非常有趣的问题。在数据处理和分析的场景中，有时候我们需要对两个或多个表进行笛卡尔积操作。虽然Hive通常会严格限制这种操作来避免大数据处理中的性能问题，但通过开启非严格模式，我们依然可以实现笛卡尔积的功能。这篇博文将详细解析这个问题的背景、原理、架构、源码分析、应用场景及扩展讨论。
## 背景描述
在数据处理的日常工作中，我们时常需要将多个表连接在一起以获
大数据安全问题至关重要，基于Hive创建的数据仓库也很普遍，提起Hive权限控制，首先能想到的可能就是Apache Ranger，通过拦截Hive Thrift Sever请求的方式，进行SQL解析与权限认证。但对于Spark SQL来讲，更倾向于直接使用SQL访问Hive，而不是通过JDBC方式。因此对于Spark SQL访问Hive，就需要用户自己去解决安全问题。今天，笔者以解析Spark S
转载
2023-08-25 22:17:31
76阅读
一.先创建一个小表(test_01)进行测试(主节点IP:169.254.109.130/oracle服务器IP:169.254.109.100)1.测试连接oracle;sqoop list-tables --connect jdbc:oracle:thin:@169.254.109.100/ciicods --username odsuser --password odsuser2.创建HDF
转载
2023-11-12 12:26:36
233阅读
# Java 定开二开入门指南
针对刚入行的开发者，学习如何进行 Java 定开（二次开发）并不简单，但掌握一些必要的步骤和代码会让你事半功倍。本文将为你详细介绍整个流程，以便你更好地理解和实现定开二开。
## 流程图
首先，我们来看一下整个开发流程的概述。以下是完成定开二开的步骤：
| 步骤 | 描述 |
|-------|------
每日英文Nothing in this world no wounds people can really heal yourself，only yourself.这个世界上没有不带伤的人，真正能治愈自己的，只有自己。每日掏心话以清净心看世界，用欢喜心过生活。以一颗淡然的心对待周围的人和事，用平静书写人生，把最平淡的日子梳理成诗意的风景。 责编：乐乐程序员小乐(ID:study_tech)第 70
为 了
为了自己的梦想，
为了朋友的重托，
为了家人的幸福，
为了心灵的解脱，
我宣布
原创
2008-10-08 23:59:39
1006阅读
1评论
目录一、题外话二、 思路分析三、 开始写代码3.1 平方square()函数3.2 输入位数inputNum()函数3.3 numS干什么用？3.4 main()主函数四、 成品五、 有待改进……人生苦短，我用Python！一、题外话困扰现在程序员的两大难题：It doesn't work...Why?It works...Why?二、 思路分析首先，我先让用户输入精
转载
2024-06-24 16:48:08
192阅读
