HDFS 的基本架构Hadoop 中的分布式文件系统 HDFS 为大数据平台提供了统一的存储，它主要由三部分构成，分别是 NameNode、DataNode 和 SecondaryNameNode。如果是 HA 架构，那么还有 StandbyNameNode 和 JournalNode。NameNode（名字节点，或者元数据节点）是 HDFS 的管理节点，专门用来存储元数据信息，所谓元数据指的是除
转载
2023-09-01 09:21:33
102阅读
Atlas 是什么?Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。如果没有Atlas大数据表依赖问题不好解决，元数据管理需要自行开发
转载
2024-01-03 13:45:38
97阅读
01 什么是数据血缘数据血缘跟踪、记录、展示了数据来自何处，以及在数据流转过程中应用了哪些转换操作，它有助于追溯数据来源及处理过程。数据血缘系统的核心功能：数据资产的自动发现及创建血缘关系的自动发现及创建不同视角的血缘及资产分析展示与数据血缘容易混淆的概念：数据起源。数据起源重点在于跟踪数据的原始来源，包括与数据相关的采集、规则、流程，以帮助数据工程师评估数据的质量。02 Apache Atlas
转载
2024-08-23 10:19:54
92阅读
-----------------------------------------实时消费impala血缘数据写入neo4j-----------------------------------------------------前两篇介绍了如何采集impala和hive的血缘日志以及如何实时将该日志采集到kafka消息队列中，今天来介绍如何实时消费血缘日志并写入neo4j图数据库进行血缘的展现。
转载
2023-09-27 08:44:11
149阅读
目录前言一.parser grammar改写二、得到AST三、优化问题前言作为一个开发实践项目，实现对HiveSQL语句的解析可以很有效的作为管理用户查询权限的管理。对于这方面的知识本身也不是非常熟悉了解，很多时候也是边学边记。身边也没有人指导这个方案具体该怎么实现怎么做，只有需求是要将复杂查询或者是关联建表的SQL语句能够将其库名和表名全都给提取出来并且能够实现上下游的追溯。这个功能最好还是用J
转载
2024-04-11 09:59:06
134阅读
数据血缘其实，在我理解中，就是一个数据的全生命周期的管理，从采集到处理，拆分，过滤，整合，存储，到废弃。数据和数据之间可以相互转化，这种转化关系就是数据之间的血缘。 精细的数据血缘应该是字段级别的，如果做不到，做成表级别也可以。架构Type System: Atlas 允许用户为他们想要管理的元数据对象定义一个模型。该模型由称为 “类型” 的定义组成。“类型” 的 实例被称为 “实体” 表示被管理
转载
2023-10-23 10:36:45
181阅读
一、前言Data lineage includes the data origin, what happens to it and where it moves over time. Data lineage gives visibility while greatly simplifying the ability to trace errors back to the root cause i
转载
2023-10-09 10:23:15
388阅读
在数据仓库建设中，元数据管理是非常重要的环节之一。根据Kimball的数据仓库理论，可以将元数据分为这三类
在数据仓库建设中，元数据管理是非常重要的环节之一。根据Kimball的数据仓库理论，可以将元数据分为这三类：技术元数据，如表的存储结构结构、文件的路径业务元数据，如血缘关系、业务的归属过程元数据，如表每天的行数、占用HDFS空间、更新时间而基于这3
转载
2023-08-07 11:36:17
141阅读
技术元数据，如表的存储结构结构、文件的路径业务元数据，如血缘关系、业务的归属过程元数据，如表每天的行数、占用HDFS空间、更新时间 而基于这3类元数据"搭建"起来的元数据系统，通常又会实现如下核心功能：
血缘关系如表级别/字段级别的血缘关系，这些主要体现在我们日常的SQL和ETL任务里。大数据集群计算资源管理针对利用不同的计算引擎如Spark/Flink/Mapreduce，可以到Yar
转载
2024-03-11 09:17:20
105阅读
DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支撑。数据血缘是帮助用户找数据、理解数据以及使数据发挥价值的基础能力。基于字节跳动内部沉淀的数据治理经验，火山引擎 DataLeap 具备完备的数据血缘能力，本文将从数据血缘应用背景、发展
转载
2023-12-24 13:28:02
368阅读
数据血缘，数据旅行的地图 大数据时代，我们都被数据包围着。企业中的数据作为生产要素，只有进行流转、使用，才能发挥其最大价值。 面对这些来自不同系统、存储为不同形式的数据，我们不禁好奇：这些数据从哪里产生，流经过哪些业务系统？这些系统又对这些数据进行了哪些操作或计算？数据血缘图谱可以回答这些问题。 数据血缘是数据旅行的地图，它显示了数据的起源、沿途的每一站、以及在每一站对数据做
转载
2023-11-08 16:42:23
340阅读
前言：数据血缘属于数据治理中的一个概念，是在数据溯源的过程中找到相关数据之间的联系，它是一个逻辑概念。数据治理里经常提到的一个词就是血缘分析，血缘分析是保证数据融合的一个手段，通过血缘分析实现数据融合处理的可追溯。大数据数据血缘是指数据产生的链路，直白点说，就是我们这个数据是怎么来的，经过了哪些过程和阶段。数据血缘关系的应用场景是什么：在数据的处理过程中，从数据源头到最终的数据生成，每个环节都可能
转载
2023-12-23 21:40:46
294阅读
目录一、前言二、构建血缘的方案2.1 收集方式2.2 开源方案三、携程方案四、表级别血缘关系4.1 处理流程4.2 效果五、字段级别血缘关系5.1 传输工具DataX5.2 计算引擎5.3 图数据库JanusGraph5.4 覆盖范围5.5 局限5.6 效果六、实际应用场景6.1 数据治理6.2 元数据管理6.3 调度系统6.4 敏感等级标签七、总结 一、前言数据血缘是元数据管理、数据治理、数据
转载
2023-09-15 10:22:55
577阅读
目录概述Apache Atlas 架构Apache Atlas 核心组件安装API 二次开发Restful API概述Apache Atlas 是 Hadoop 社区为解决 Hadoop 生态系统的元数据治理问题而产生的开源项目，它为
Hadoop 集群提供了包括 数据分类、集中策略引擎、数据血缘、安全和生命周期管理 在内的元数据治
理核心能力。
1、Atlas 支持各种 Hadoop 和非 Ha
转载
2023-11-01 14:18:26
292阅读
一、摘要 在日益快速增长的大数据领域，了解和管理数据的来源、流向以及变化成为了一项重要任务。数据血缘分析可以帮助企业更好地了解数据的历史记录和变化过程，提高数据质量和决策的准确性。构建高效可靠的数据血缘技术架构，有助于以下几点：提高数据质量
转载
2024-09-27 20:17:22
61阅读
# SparkSQL数据血缘的科普与实践
## 什么是数据血缘
数据血缘（Data Lineage）指的是数据从源头到目的地经过的每一个阶段的追踪和记录。简单来说，它揭示了数据的来源、变化过程及流向。在大数据环境中，特别是在使用 Apache Spark 进行数据处理时，数据血缘的重要性愈发明显。数据血缘可以帮助我们理解数据的变更、追踪数据质量、确保合规性，同时也能帮助数据分析师和工程师快速识
DataHUb的安装很简单：你有绿色上网就soeasy前置条件，你已经运行好DataHub整个Docker-Compse服务打开地址：http://host:9002/ 输入账号DataHub 密码DataHub查看框架运行路线轨迹第一步 源数据获取（1.1）点击这里（1.2）点击这里（1.3）点击这里{选择数据源的类型}：以MYSQL示例（1.4）点击这里{填写数据来源的基本信息}：方式一
目录前言一、字段血缘1.区别字段2.区别标识符序列3.功能函数设定二、字段血缘可视化点关注，防走丢，如有纰漏之处，请留言指教，非常感谢前言SQL解析和血缘追踪的研究现在差不多可以告一段落了，从8月22日写HiveSQL源码之语法词法编译文件解析一文详解这篇文章以来便断断续续的对SQL语法解析研究，到了今天终于是有了一番成果。一般做此类研究的项目都是在数据治理和数据中台方面的服务作支撑，对于数据安全
转载
2023-10-14 06:21:14
292阅读
参考:官网:https://atlas.apache.org简单介绍:https://cloud.tencent.com/developer/article/1544396 GG #web部署:官网:https://atlas.apache.org/#/Installation 一、Atl
转载
2023-08-29 18:46:20
502阅读
目录一、概念背景介绍1.1 概述1.2 核心特性1.3 Atlas的组件1.4 Apache Atlas依赖HDP组件1.5 类型系统1.6 类型系统二、Atlas 元数据血缘2.1 atlas 配置文件1.Atlas数据库2.Grapth Titan3.hive-site.xml 配置文件4.hbase-site.xml配置文件2.2 hive_db Type示例1. hive中创建数据库2.在
转载
2024-01-21 09:46:56
349阅读
