0、前言之前写了篇 基于jsPlumb.js的模仿sqlFlow数据血缘图的前端页面，是利用jsplumb.js模仿sqlflow的前端。 然后有些小伙伴想看后端代码，当时第一版代码写得太乱了，所以就没直接发。磨了1个月，虽然还有bug但是也算基本能跑了。 github代码地址：源代码丢失，待重新编写后开源1、项目整体概述、思路需求：完成类似sqlflow这样的，根据sql离线来生成粒度最小为字段
转载
2023-12-22 14:24:04
159阅读
前言：数据血缘属于数据治理中的一个概念，是在数据溯源的过程中找到相关数据之间的联系，它是一个逻辑概念。数据治理里经常提到的一个词就是血缘分析，血缘分析是保证数据融合的一个手段，通过血缘分析实现数据融合处理的可追溯。大数据数据血缘是指数据产生的链路，直白点说，就是我们这个数据是怎么来的，经过了哪些过程和阶段。数据血缘关系的应用场景是什么：在数据的处理过程中，从数据源头到最终的数据生成，每个环节都可能
转载
2023-12-23 21:40:46
294阅读
-----------------------------------------实时消费impala血缘数据写入neo4j-----------------------------------------------------前两篇介绍了如何采集impala和hive的血缘日志以及如何实时将该日志采集到kafka消息队列中，今天来介绍如何实时消费血缘日志并写入neo4j图数据库进行血缘的展现。
转载
2023-09-27 08:44:11
149阅读
Atlas之HiveHook源码简介Hive中的Hook种类HiveQL生命周期Atlas-HiveHook原理 介绍Hive中的Hook种类及各种Hook在HiveQL生命周期中的体现，最后介绍Atlas中的HiveHook流程Hive中的Hook种类Hook （钩子）是一种处理过程中拦截事件、消息或函数调用的机制。Hive hooks是绑定到了Hive内部的工作机制，无需重新编译Hive。从
转载
2024-05-14 15:10:11
50阅读
一、前言Data lineage includes the data origin, what happens to it and where it moves over time. Data lineage gives visibility while greatly simplifying the ability to trace errors back to the root cause i
转载
2023-10-09 10:23:15
388阅读
在数据仓库建设中，元数据管理是非常重要的环节之一。根据Kimball的数据仓库理论，可以将元数据分为这三类
在数据仓库建设中，元数据管理是非常重要的环节之一。根据Kimball的数据仓库理论，可以将元数据分为这三类：技术元数据，如表的存储结构结构、文件的路径业务元数据，如血缘关系、业务的归属过程元数据，如表每天的行数、占用HDFS空间、更新时间而基于这3
转载
2023-08-07 11:36:17
141阅读
技术元数据，如表的存储结构结构、文件的路径业务元数据，如血缘关系、业务的归属过程元数据，如表每天的行数、占用HDFS空间、更新时间 而基于这3类元数据"搭建"起来的元数据系统，通常又会实现如下核心功能：
血缘关系如表级别/字段级别的血缘关系，这些主要体现在我们日常的SQL和ETL任务里。大数据集群计算资源管理针对利用不同的计算引擎如Spark/Flink/Mapreduce，可以到Yar
转载
2024-03-11 09:17:20
105阅读
目录一、前言二、构建血缘的方案2.1 收集方式2.2 开源方案三、携程方案四、表级别血缘关系4.1 处理流程4.2 效果五、字段级别血缘关系5.1 传输工具DataX5.2 计算引擎5.3 图数据库JanusGraph5.4 覆盖范围5.5 局限5.6 效果六、实际应用场景6.1 数据治理6.2 元数据管理6.3 调度系统6.4 敏感等级标签七、总结 一、前言数据血缘是元数据管理、数据治理、数据
转载
2023-09-15 10:22:55
577阅读
1. 研究背景随着企业信息化和业务的发展，数据资产日益庞大，数据仓库构建越来越复杂，在数仓构建的过程中，常遇到数据溯源困难，数据模型修改导致业务分析困难等难题，此类问题主要是由于数据血缘分析不足造成的，只有强化血缘关系，才能帮助企业更好的发挥数据价值。SQL 血缘关系是数据仓库模型构建的核心依赖。通过对 SQL 语句进行梳理与解析，得到各个业务层表之间依赖关系和属性依赖关系，并进行可视化展示，形成
转载
2023-07-20 18:37:14
467阅读
作者：Hao Guangshi一、背景字段血缘是在表处理的过程中将字段的处理过程保留下来。为什么会需要字段血缘呢？有了字段间的血缘关系，便可以知道数据的来源去处，以及字段之间的转换关系，这样对数据的质量，治理有很大的帮助。 Spark SQL 相对于 Hive 来说通常情况下效率会比较高，对于运行时间、资源的使用上面等都会有较大的收益。平台计划将 Hive 任务迁移到 Spark SQL
转载
2023-11-21 14:56:12
208阅读
元数据管理是数据治理的基石，hive hook是一种实现元数据采集的方式，本文将介绍hive hook的优缺点，以及hive的多种hook机制，最后使用一个案例分析hook的执行过程。Hive客户端支持Hive Cli、HiveServer2等，一个完整的HQL需要经过解析、编译、优化器处理、执行器执行共四个阶段。以Hive目前原生支持计算引擎MapReduce为例，具体处理流程如下：1、HQL解
转载
2023-11-13 13:10:16
284阅读
目录前言一、Druid简介二、Druid SQL ParserParserASTVisitor三、血缘功能实现1.建表语句1.直接Create+字段定义2. Create table... as select.. 2.插入1.标准语法2.高级语法(Multiple Inserts)3.高级语法(Dynamic Partition Inserts)点关注，防走丢，如有纰漏之处，请留言指教，
转载
2023-09-30 01:29:38
114阅读
1. 马哈鱼数据血缘分析工具简介马哈鱼数据血缘分析工具（英文名称为 Gudu SQLFlow ）是一款用于分析 SQL 语句，并发现其中数据血缘关系的分析软件，经常和元数据管理工具一起使用，是企业数据治理的基础工具。如果你对 SQL 语言不熟悉，那么本文可能不适合你阅读。阅读本文无需事先有数据血缘相关的知识，只要把数据血缘关系简单的理解为数据库中两个或多个表之间的数据依赖关系即可。我们通过分析下面
转载
2023-10-01 19:06:23
382阅读
其实根据hivehook的插入阶段来看，我们是可以拿到hive的执行计划的。本次就从这个执行计划下手，在hook中实现血缘的解析。Pre-semantic-analyzer hooks：在Hive在查询字符串上运行语义分析器之前调用。Post-semantic-analyzer hooks：在Hive在查询字符串上运行语义分析器之后调用。Pre-driver-run hooks：在driver执行
转载
2023-06-13 16:13:20
258阅读
本文字数：7860字预计阅读时间：20分钟＋1 研究背景随着企业信息化和业务的发展，数据资产日益庞大，数据仓库构建越来越复杂，在数仓构建的过程中，常遇到数据溯源困难，数据模型修改导致业务分析困难等难题，此类问题主要是由于数据血缘分析不足造成的，只有强化血缘关系，才能帮助企业更好的发挥数据价值。SQL血缘关系是数据仓库模型构建的核心依赖。通过对SQL语句进行梳理与解析，得到各个业务层表之间依赖关系和
转载
2023-07-20 21:20:48
596阅读
## Hive 血缘图解析
Hive 是一个建立在 Hadoop 之上的数据仓库工具，可以将结构化数据文件映射为一张数据库表，并提供 SQL 查询功能。在 Hive 中，表之间的关系非常重要，通过血缘图可以清晰地了解表之间的依赖关系。本文将介绍 Hive 血缘图的概念及其在数据分析中的重要性。
### 什么是 Hive 血缘图？
Hive 血缘图是一个记录数据表之间依赖关系的图，描述了数据表
原创
2024-05-24 04:24:57
47阅读
# Hive血缘扫描：理解数据流动和依赖关系
在大数据处理和分析的过程中，确保数据的完整性和可追溯性是至关重要的。Hive血缘扫描是一种技术，用于跟踪数据从产生到消亡的整个生命周期，包括数据的流动过程和依赖关系。本文将深入探讨Hive血缘扫描的概念，并提供代码示例以帮助您更好地理解其工作原理。
## 什么是Hive血缘扫描？
Hive血缘扫描是指通过分析Hive表间的依赖关系，来追踪数据的来
原创
2024-09-18 06:42:01
18阅读
# 血缘图与Hive：深入了解数据处理与可视化
在当今的数据驱动社会，处理和可视化数据变得尤为重要。血缘图（Data Lineage）是一种描述数据从源头到最终目的地之间流动和转化过程的图形表示。而Hive是一个用于大数据处理的开放源代码框架，允许用户使用类似SQL的语言查询和分析存储在Hadoop生态系统中的数据。在这篇文章中，我们将探讨如何在Hive中构建血缘图，并通过示例代码来演示如何实现
Datahub Hive 血缘是一项重要的数据管理技术，特别是在大数据环境中，有助于跟踪和理解数据在系统中的流动和转化。本文将为你详细讲解如何解决 Datahub Hive 血缘问题，从备份策略到恢复流程、灾难场景、工具链集成、预防措施，以及迁移方案。这些都将以结构化的方式呈现，帮助你更好地理解和实施。
## 备份策略
为了确保数据的安全性，可以实现一个系统化的备份策略。以下是一个思维导图，展
# Hive血缘解析：数据关系的可视化
在大数据处理中，特别是在使用Hive进行数据分析时，理解数据的血缘关系至关重要。血缘关系是指数据的来源和去向，即某一数据集如何通过一系列转换和操作生成，或影响了哪些其他数据集。本文将介绍Hive血缘的概念，并通过代码示例和可视化图表帮助大家理解。
## Hive血缘的基本概念
Hive是一个数据仓库工具，构建于Hadoop之上，使用类似SQL的查询语言
