一、准备创建虚表：echo "X" >> dual.tsv hadoop fs -put dual.tsv '/data//' create table dual(dummy string); load data local inpath '/data//dual.tsv' overwrite into table dual;二、应用字符串长度函数：length语法: length(s
转载
2023-07-20 21:41:10
52阅读
# 深入了解Atlas Hive Hook
Atlas Hive Hook是Apache Atlas提供的一个插件，用于与Hive集成，实现Hive元数据和Apache Atlas元数据的同步。通过Atlas Hive Hook，用户可以在Apache Atlas中查看Hive表、列等元数据信息，并能够跟踪数据的血缘关系。
## Atlas Hive Hook的作用
Atlas Hive H
原创
2024-03-31 03:51:50
126阅读
# 如何实现Hive Hook 监控
## 简介
在大数据领域中，Hive Hook 监控是非常重要的一环，可以帮助我们实时监控Hive操作的流程和状态。作为一名经验丰富的开发者，我将教会你如何实现Hive Hook 监控。
## 流程
下面是实现Hive Hook 监控的整体流程：
| 步骤 | 描述 |
| - | - |
| 1 | 开发Hive Hook 插件 |
| 2 | 打包插
原创
2024-07-14 09:00:49
36阅读
# Hive Hook采集的实现指南
在大数据开发中，Hive 是一种广泛使用的数据仓库工具，而 Hook 则为实现数据采集及其他监控功能提供了便利。本文将向你详细介绍如何实现 Hive Hook 的采集功能，从整体流程到具体代码，帮助你快速上手。
## 整体流程
为方便理解，以下是整个 Hive Hook 采集的工作流程：
| 步骤 | 描述
Hive hook是hive的钩子函数，可以嵌入HQL执行的过程中运行，比如下面的这几种情况 参考 https://www.slideshare.net/julingks/apache-hive-hooksminwookim130813 有了Hook，可以实现例如非法SQL拦截，SQL收集和审计等功
转载
2020-03-21 22:00:00
881阅读
2评论
HIVE介绍参考 1、Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 sql 查询功能，可以将 sql 语句转换为 MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专门的 MapReduce 应用，十分适合数据仓库的统计分析。 2、Hive 是建立在 Ha
转载
2023-09-01 14:49:08
48阅读
# Atlas整合Hive Hook
随着数据量的激增和大数据生态系统的迅猛发展，数据治理和数据管理的需求越来越受到重视。在这一背景下，Apache Atlas作为一个强大的数据治理与元数据管理工具，从而引起了广泛关注。通过整合Hive Hook，Atlas能够帮助用户有效地监控和管理大数据环境中的元数据。本文将详细介绍Atlas与Hive Hook的整合，及其相关的代码实现。
## 什么是A
# Hive 开启 Lineage Hook 的指南
在数据工程领域，数据的血缘（lineage）追踪非常重要，它可以帮助数据工程师理清数据的来源、过程和去向。Hive 提供了一个 Lineage Hook 功能，允许用户跟踪数据查询和变更的来源。本文将指导你如何在 Hive 中配置和启用 Lineage Hook，帮助你更好地掌握数据追踪。
## 整体流程
下面是进行 Hive Linea
原创
2024-09-05 04:34:01
122阅读
一. 业务场景及实现原理：源数据存储在Hbase中，需要将源数据中敏感部分（如身份证、电话号码等）进行脱敏再供用户使用。只需要脱敏少量数据供页面呈现便可（这个呈现主要是给用户看样例数据，便于用户确定是否需要订阅资料）。为了防止请求被非法模仿，因而编写了一个访问Ip 鉴权类，也就是设置了访问ip白名单，只有在白名单上的ip才可以访问接口。具体实现见如下链接：注：运用该方法脱敏后的数据将存在Hive中
转载
2023-09-04 16:00:47
16阅读
函数
1.hive函数分类
标准函数 自定义标准函数称之为 UDF 传递一行数据，返回一个结果
聚合函数 自定义聚合函数称之为 UDAF 传递多行数据，返回一个结果 group by sum count
表生成函数 自定义表生成函数称之为 UDTF 传递一行数据，返回多行数据 explode
2.函数帮助文档
SHOW FUNCTIONS;
转载
2023-07-12 09:52:35
36阅读
很多人可能会问 iOS的分类和扩展的区别，网上很多的讲解，但是一般都是分类讲的多，而这也是我们平常比较常用的知识；但是，对于扩展，总觉得理解的朦朦胧胧，不够透彻。这里就讲一下我自己的理解，但是这个理解也是集合了前辈的经验来的，只不过我用大白文再延伸一点。 对于类扩展，先看下面的概念： 能为某个类附加额外的属性，成员变量，方法声明
一般的类扩展写到.m文件中
一般的私有属性写
转载
2024-06-16 20:33:25
46阅读
hive中有个比较严重的bug，默认情况下任何用户都可以运行grant命令来做授权操作在Driver.compile方法中，可以增加对AST的hook(hive可以有很多hook，后面分析hive hook的类型和使用阶段)，用来做一些forbidden的操作：compile相关的内容如下： BaseSemanticAnalyzer sem = 
原创
2014-12-07 12:07:15
10000+阅读
# Hive Hook 日志在哪
在Hive中，Hive Hook是一个非常有用的功能，它可以用来监控和拦截Hive中的各种事件，同时还可以生成日志。本文将向刚入行的小白介绍如何实现Hive Hook日志，并提供了详细的步骤和代码示例。
## 实现步骤
下面是实现Hive Hook日志的流程，可以使用表格展示：
| 步骤 | 描述 |
|-----|------|
| 步骤1 | 配置Hi
原创
2024-01-30 06:31:52
113阅读
# Hive 分类别随机抽样
## 引言
在数据分析和机器学习的过程中，我们常常需要从一个大数据集中随机抽取样本，以便进行统计分析或者训练模型。在大数据环境下，`Hive` 作为一个基于 Hadoop 的数据仓库工具，提供了丰富的 SQL 查询功能，使得数据处理变得更加高效。本文将围绕“分类别随机抽样”这一主题，详细阐述在 Hive 中实现分类别随机抽样的过程，并给出相应的代码示例和流程图。
分桶的概述为什么要分桶数据分区可能导致有些分区数据过多，有些分区数据极少。分桶是将数据集分解为若干部分(数据文件)的另一种技术。分区和分桶其实都是对数据更细粒度的管理。当单个分区或者表中的数据越来越大，分区不能细粒度的划分数据时，我们就采用分桶技术将数据更细粒度的划分和管理[CLUSTERED BY (col_name, col_name, …)stored by (uid desc)分桶的原理与
转载
2023-07-14 16:04:30
50阅读
https://www.luogu.com.cn/problem/P1235 题目描述 我们正在研究妖怪家族的血缘关系。每个妖怪都有相同数量的基因，但是不同的妖怪的基因可能是不同的。我们希望知道任意给定的两个妖怪之间究竟有多少相同的基因。由于基因数量相当庞大，直接检测是行不通的。但是，我们知道妖怪家族的家谱，所以我们可以根据家谱来估算两个妖怪之间相同基因的数量。妖怪之间的基因继承关系相当简单：如果
转载
2024-01-10 20:41:49
93阅读
上次写了hive metastore的partition的生命周期，但是简略概括了下alter_partition的操作，这里补一下alter_partition,因为随着项目的深入，发现它涉及的地方较多，比如insert into 时如果路径存在情况下会调用alter_partition,调用insert overwrite语句时，也会调用该方法， 入口依旧是Hive.java这个类：
转载
2023-09-24 21:28:37
318阅读
# 如何使用Hive SQL打印出每种元素的类别
## 1. 整体流程
首先，我们需要明确整个流程，以下是这个任务的步骤表格：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 创建Hive表并导入数据 |
| 2 | 编写Hive SQL查询语句 |
| 3 | 执行SQL查询并打印出每种元素的类别 |
## 2. 详细步骤
### 步骤1：创建Hive表并导入数据
原创
2024-04-29 05:25:56
42阅读
可以看到识别inline hook的关键。 好了，我自己机器上实验下：先看下手册里介绍用法 https://downloads.volatilityfoundation.org/releases/2.4/CheatSheet_v2.4.pdf实际使用发现确实加上-R 和 -Q会快很
原创
2023-06-01 10:02:24
457阅读
# 理解 Hive 警告 “metastore_filter_hook will be ignored”
在使用 Apache Hive 3 的过程中，开发者可能会遇到以下警告：“metastore_filter_hook will be ignored”。这个警告通常是由于配置或代码中的某些设置未能正确应用而触发的。本文将详细解释如何解决这一警告，并介绍相应的步骤和代码示例。
## 警告出现
原创
2024-10-31 04:36:03
238阅读
