Atlas之HiveHook源码简介Hive中的Hook种类HiveQL生命周期Atlas-HiveHook原理 介绍Hive中的Hook种类及各种Hook在HiveQL生命周期中的体现，最后介绍Atlas中的HiveHook流程Hive中的Hook种类Hook （钩子）是一种处理过程中拦截事件、消息或函数调用的机制。Hive hooks是绑定到了Hive内部的工作机制，无需重新编译Hive。从
转载
2024-05-14 15:10:11
50阅读
1.导入jar包druid-1.0.9.jar导入数据库驱动jar包2.定义配置文件 properties形式 可以叫任意名称，可以放置在任意目录下。（意味着不能自动加载，需要手动导入）3.加载配置文件 properties4.获取数据库连接池对象：通过工厂类来获取5.获取连接：getConnection 配置文件jar包文档源码 基本使用package cn.itcust
转载
2024-06-04 10:09:00
115阅读
1、Druid简介德鲁伊Druid 是阿里巴巴开源平台上一个数据库连接池实现，结合了 C3P0、DBCP 等 DB 池的优点，同时加入了日志监控。Druid 可以很好的监控 DB 池连接和 SQL 的执行情况，天生就是针对监控而生的 DB 连接池。Druid已经在阿里巴巴部署了超过600个应用，经过一年多生产环境大规模部署的严苛考验。Spring Boot 2.0 以上默认使用 Hikari 数据
转载
2023-12-07 08:27:10
530阅读
技术元数据，如表的存储结构结构、文件的路径业务元数据，如血缘关系、业务的归属过程元数据，如表每天的行数、占用HDFS空间、更新时间 而基于这3类元数据"搭建"起来的元数据系统，通常又会实现如下核心功能：
血缘关系如表级别/字段级别的血缘关系，这些主要体现在我们日常的SQL和ETL任务里。大数据集群计算资源管理针对利用不同的计算引擎如Spark/Flink/Mapreduce，可以到Yar
转载
2024-03-11 09:17:20
105阅读
0、前言之前写了篇 基于jsPlumb.js的模仿sqlFlow数据血缘图的前端页面，是利用jsplumb.js模仿sqlflow的前端。 然后有些小伙伴想看后端代码，当时第一版代码写得太乱了，所以就没直接发。磨了1个月，虽然还有bug但是也算基本能跑了。 github代码地址：源代码丢失，待重新编写后开源1、项目整体概述、思路需求：完成类似sqlflow这样的，根据sql离线来生成粒度最小为字段
转载
2023-12-22 14:24:04
159阅读
在数据仓库建设中，元数据管理是非常重要的环节之一。根据Kimball的数据仓库理论，可以将元数据分为这三类
在数据仓库建设中，元数据管理是非常重要的环节之一。根据Kimball的数据仓库理论，可以将元数据分为这三类：技术元数据，如表的存储结构结构、文件的路径业务元数据，如血缘关系、业务的归属过程元数据，如表每天的行数、占用HDFS空间、更新时间而基于这3
转载
2023-08-07 11:36:17
141阅读
一、前言Data lineage includes the data origin, what happens to it and where it moves over time. Data lineage gives visibility while greatly simplifying the ability to trace errors back to the root cause i
转载
2023-10-09 10:23:15
388阅读
-----------------------------------------实时消费impala血缘数据写入neo4j-----------------------------------------------------前两篇介绍了如何采集impala和hive的血缘日志以及如何实时将该日志采集到kafka消息队列中，今天来介绍如何实时消费血缘日志并写入neo4j图数据库进行血缘的展现。
转载
2023-09-27 08:44:11
149阅读
元数据管理是数据治理的基石，hive hook是一种实现元数据采集的方式，本文将介绍hive hook的优缺点，以及hive的多种hook机制，最后使用一个案例分析hook的执行过程。Hive客户端支持Hive Cli、HiveServer2等，一个完整的HQL需要经过解析、编译、优化器处理、执行器执行共四个阶段。以Hive目前原生支持计算引擎MapReduce为例，具体处理流程如下：1、HQL解
转载
2023-11-13 13:10:16
284阅读
目录前言一、Druid简介二、Druid SQL ParserParserASTVisitor三、血缘功能实现1.建表语句1.直接Create+字段定义2. Create table... as select.. 2.插入1.标准语法2.高级语法(Multiple Inserts)3.高级语法(Dynamic Partition Inserts)点关注，防走丢，如有纰漏之处，请留言指教，
转载
2023-09-30 01:29:38
114阅读
作者：Hao Guangshi一、背景字段血缘是在表处理的过程中将字段的处理过程保留下来。为什么会需要字段血缘呢？有了字段间的血缘关系，便可以知道数据的来源去处，以及字段之间的转换关系，这样对数据的质量，治理有很大的帮助。 Spark SQL 相对于 Hive 来说通常情况下效率会比较高，对于运行时间、资源的使用上面等都会有较大的收益。平台计划将 Hive 任务迁移到 Spark SQL
转载
2023-11-21 14:56:12
208阅读
1. 研究背景随着企业信息化和业务的发展，数据资产日益庞大，数据仓库构建越来越复杂，在数仓构建的过程中，常遇到数据溯源困难，数据模型修改导致业务分析困难等难题，此类问题主要是由于数据血缘分析不足造成的，只有强化血缘关系，才能帮助企业更好的发挥数据价值。SQL 血缘关系是数据仓库模型构建的核心依赖。通过对 SQL 语句进行梳理与解析，得到各个业务层表之间依赖关系和属性依赖关系，并进行可视化展示，形成
转载
2023-07-20 18:37:14
467阅读
目录一、前言二、构建血缘的方案2.1 收集方式2.2 开源方案三、携程方案四、表级别血缘关系4.1 处理流程4.2 效果五、字段级别血缘关系5.1 传输工具DataX5.2 计算引擎5.3 图数据库JanusGraph5.4 覆盖范围5.5 局限5.6 效果六、实际应用场景6.1 数据治理6.2 元数据管理6.3 调度系统6.4 敏感等级标签七、总结 一、前言数据血缘是元数据管理、数据治理、数据
转载
2023-09-15 10:22:55
577阅读
本文字数：7860字预计阅读时间：20分钟＋1 研究背景随着企业信息化和业务的发展，数据资产日益庞大，数据仓库构建越来越复杂，在数仓构建的过程中，常遇到数据溯源困难，数据模型修改导致业务分析困难等难题，此类问题主要是由于数据血缘分析不足造成的，只有强化血缘关系，才能帮助企业更好的发挥数据价值。SQL血缘关系是数据仓库模型构建的核心依赖。通过对SQL语句进行梳理与解析，得到各个业务层表之间依赖关系和
转载
2023-07-20 21:20:48
596阅读
其实根据hivehook的插入阶段来看，我们是可以拿到hive的执行计划的。本次就从这个执行计划下手，在hook中实现血缘的解析。Pre-semantic-analyzer hooks：在Hive在查询字符串上运行语义分析器之前调用。Post-semantic-analyzer hooks：在Hive在查询字符串上运行语义分析器之后调用。Pre-driver-run hooks：在driver执行
转载
2023-06-13 16:13:20
258阅读
1. 马哈鱼数据血缘分析工具简介马哈鱼数据血缘分析工具（英文名称为 Gudu SQLFlow ）是一款用于分析 SQL 语句，并发现其中数据血缘关系的分析软件，经常和元数据管理工具一起使用，是企业数据治理的基础工具。如果你对 SQL 语言不熟悉，那么本文可能不适合你阅读。阅读本文无需事先有数据血缘相关的知识，只要把数据血缘关系简单的理解为数据库中两个或多个表之间的数据依赖关系即可。我们通过分析下面
转载
2023-10-01 19:06:23
382阅读
实现CDH Hive血缘分析的步骤：
流程如下：
```mermaid
journey
title CDH Hive血缘分析流程
section 数据准备
小白->开发者: 准备环境
开发者-->小白: 指导准备环境
section 数据导入
小白->开发者: 导入数据
开发者-->小白: 指导导入数据
原创
2023-12-20 07:01:32
47阅读
## Hive 血缘管理
作为一名经验丰富的开发者，我将教会你如何实现Hive血缘管理。在开始之前，让我们先了解一下整个流程。
### 流程概述
下面的表格展示了Hive血缘管理的步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 创建数据库 |
| 2 | 创建表 |
| 3 | 加载数据 |
| 4 | 运行查询 |
| 5 | 检查血缘关系 |
现在，让我们一步
原创
2023-12-24 05:12:34
41阅读
0、背景字段血缘是在表处理的过程中将字段的处理过程保留下来。为什么会需要字段血缘呢？有了字段间的血缘关系，便可以知道数据的来源去处，以及字段之间的转换关系，这样对数据的质量，治理有很大的帮助。Spark SQL 相对于 Hive 来说通常情况下效率会比较高，对于运行时间、资源的使用上面等都会有较大的收益。平台计划将 Hive 任务迁移到 Spark SQL 上，同时也需要实现字段血缘的功能。Hiv
转载
2023-10-24 09:47:14
108阅读
接了一个新需求：需要做数据仓库的血缘关系。正所谓兵来将挡水来土掩，那咱就动手吧。 血缘关系是数据治理的一块，其实有专门的第三方数据治理框架，但考虑到目前的线上环境已经趋于稳定，引入新的框架无疑是劳民伤财，伤筋动骨，所以就想以最小的代价把这个事情给做了。目前我们考虑做的血缘关系呢只是做输入表和输出表，最后会形成一张表与表之间的链路图。这个东西的好处就是有助于仓库人员梳理业务，后面可能还会做字段
转载
2023-07-11 13:53:36
131阅读
