一、学习目录1.认识数据库和mysql2.mysql连接3.入门语句4.详解列类型5.增删改查INSERT INTO 表名（列1,…… 列n） VALUES(值 1,…… 值 n);*（列1,…… 列n）允许不写,如果不写,则默认插入所有列INSERT INTO 表名 VALUES(值 1,…… 值 n
转载
2024-09-22 20:48:23
28阅读
一、数据库概述1、数据库与文件系统文件系统对比。数据冗余和不一致性数据访问数据格式相对独立数据完整性和原子性数据的并发访问数据的安全性问题2、数据库概念1、DBMS:数据库管理系统2、数据模型层次模型：按照层次结构的形式组织数据库的模型IMS缺点：大量的冗余数据网状模型：按照网状结构的形式组织数据库数据的模型DBTG缺点：后期维护困难关系模型：按照关系结构(行和列，表)的形式组织数据库数据的模型。
转载
2023-09-25 17:18:28
176阅读
取名字是一门学问，理科生取名字的确让人难以捉摸。比如这个数据地图、血缘分析和数据资产。如果不是干数据这行的，根本不会想到这仨词居然有关系！数据地图数据地图是数据治理的重要功能之一。咱顾名思义一下，是不是就是数据的地图？是的！就是所有已经被管理好的数据的地图。这个地图主要解决以下几个问题：1、平台有多少数据资源？2、每个数据源有多少表、字段等？3、这些表、字段里面都是啥情况？4、我怎么能找到这些数据
转载
2024-08-21 16:39:41
1055阅读
数据地图数据地图是数据治理的重要功能之一。顾名思义一下，是不是就是数据的地图？是的！就是所有已经被管理好的数据的地图。这个地图主要解决以下几个问题 : 1> 平台有多少数据资源？ 2> 每个数据源有多少表、字段等？ 3> 这些表、字段里面都是啥情况？ 4> 我怎么能找到这些数据？ 5> 我怎么理解这些数据？所以一般来说，数据地图里都应该有以下功能来解答上面的几个问题
转载
2023-11-23 16:16:38
235阅读
摘要：全链路数据血缘，指在数据的全生命周期内，数据与数据之间会形成各式各样的关系，贯穿整个数据链路中。
，作者： 你好_TT。什么是全链路数据血缘根据维基百科定义，数据血缘（Data Lineage）又叫做数据起源（Data Provenance）或者数据家谱（Data Pedigree）。其通常被定义为一种生命周期，主要包含数据的来源以及数据随时间移动的位置。数据血缘是数据资产的重要组成
转载
2024-08-23 10:35:52
99阅读
# 数据库血缘分析的探索与实践
## 引言
在大数据和数据分析的背景下，数据库血缘分析逐渐成为了一项重要的技术。数据库血缘分析指的是追踪数据的来源和变化，帮助我们理解数据是在何处产生，又是如何在系统中流转的。在这篇文章中，我们将讨论如何利用Java进行数据库血缘分析，并给出相关的代码示例。
## 数据库血缘分析的流程
数据库血缘分析的基本流程主要包括以下几个步骤：
1. 解析数据库中的表
原创
2024-09-20 12:42:26
23阅读
1. 概念元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。举几个简单例子:如果一本书是一个“数据"，那么它的书名、封面、出版社、作者、总页码就是它的“元数据”。如果一个电影是一个“数据”，那么它的总时长、制作人、总导演、演员列表
转载
2023-10-26 21:24:21
119阅读
一、SQLFlow–数据治理专家的一把利器数据血缘属于数据治理中的一个概念，是在数据溯源的过程中找到相关数据之间的联系，它是一个逻辑概念。数据治理里经常提到的一个词就是血缘分析，血缘分析是保证数据融合的一个手段，通过血缘分析实现数据融合处理的可追溯。大数据治理分析师常常需要对各种复杂场景下的SQL语句进行溯源分析，而限于环境因素，往往只能提供SQL语句给SQLFlow进行分析处理，SQL语句的制造
转载
2023-11-03 10:15:18
218阅读
一、选择 Nebula 的原因性能优越查询速度极快架构分离，易扩展（目前的机器配置低，后续可能扩展）高可用（由于是分布式，所以从使用到现在没有出现过宕机情况）上手容易介绍全（熟悉架构和性能）部署快（经过手册的洗礼，快速部署简单的集群）使用简便（遇到需要的数据，查询手册获取对应的GNQL，针对性查询）答疑优秀（遇到问题，可以先翻论坛，如果没有，那就发布帖子，开发人员的帮助很及时）开源，且技术稳定因为
转载
2024-06-05 21:03:48
76阅读
关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息，所有这些信息都应当妥善保存，并很好地管理。为数据仓库的发展和使用提供方便。关于数据的数据，用于构造、维持、管理、和使用数据仓库，在数据仓库中尤为重要。不同 OLAP 组件中的数据和应用程序的结构模型。元数据描述 OLTP 数据库中的表、数据仓库和数据集市中的
转载
2024-09-13 14:16:08
11阅读
# 数据库元数据与血缘关系解析
在现代软件开发中，数据库是不可或缺的一部分。随着数据量的不断增加，我们面临的挑战不仅在于如何存储和查询这些数据，还包括如何有效管理和理解数据库中的元数据及其之间的血缘关系。
本文将深入探讨数据库元数据、血缘关系的概念，以及如何在Java中实现一个简单的示例来管理这些概念。
## 什么是数据库元数据？
元数据是有关数据的数据，它为我们提供了关于数据库结构的信息
原创
2024-10-02 03:10:32
40阅读
Neo4J介绍
图数据库的需求
能以明显直观的方式存放图数据，而不是扭曲变化为别的替代方式
能简单地进行图操作，例如寻路，遍历等
图数据库的基本思想
图（Graph）由节点（node，顶点）和关系（relationship，边）组成
图在节点上记录数据（节点的属性，property）
节点由关系组织成图
**目的：** 分析mysql的表级和字段级血缘，本文给出他人源码或示例工具GUDU-SQLPARSER GSP JSQL-PARSER antlr DRUID横向对比名称开源功能优点缺点支持的数据库官网GUDU-SQLPARSER GSP商业，SDK免费强大，有sqlflow商业产品背书功能强大，傻瓜式一键解析血缘无法使用开源allhttps://www.sqlparser.com/downlo
转载
2023-10-28 18:34:38
1037阅读
数据血缘，即对Sugar BI中各资源涉及的数据流经路径进⾏跟踪，类似于追踪数据的「⾎缘关系」。 其可针对数据向下做影响分析或向上做溯源分析，有助于⽤户管理资源和排查问题。具体为：影响分析：了解资源（如数据源 / 数据表 / API / 数据模型 / SQL 模型等）被下游的使⽤情况，便于在更改资源时评估影响。溯源分析：对资源（如图表 / 数据模型）的错误 / 疑问进⾏溯源，查明根因。您也可以点击
转载
2023-09-30 20:58:22
601阅读
前言：在数据治理领域的文章大多都是从业务角度进行切入，本文从纯技术角度切入，介绍了数据血缘关系的图分析思路、领域建模层面构建中间层的思路。以及纯粹从词法分析和语法分析的统计学层面维度。图视角受益之前在招商银行的担保圈项目启发，将对于图的分析观点带入到数据治理当中来。我们在DW中获取到数据的血缘关系表schema如下所示(血缘数据见附件，此处仅选取几块关键指标):src_guiddst_guided
转载
2023-11-25 18:14:12
838阅读
目录概述Apache Atlas 架构Apache Atlas 核心组件安装API 二次开发Restful API概述Apache Atlas 是 Hadoop 社区为解决 Hadoop 生态系统的元数据治理问题而产生的开源项目，它为
Hadoop 集群提供了包括 数据分类、集中策略引擎、数据血缘、安全和生命周期管理 在内的元数据治
理核心能力。
1、Atlas 支持各种 Hadoop 和非 Ha
转载
2023-11-01 14:18:26
292阅读
1.Oracle 数据库是甲骨文公司开发的一种关系型数据库管理系统,也就是RDBMS(relational database management system).2.Oracle 从头到尾都是一个RDBMS,是针对OLTP系统进行设计的,这一点从它底层的块结构就可以看出.Oracle在大并发量和海量数据关系型检索方面具有十分优越的性能,但是它并不擅长OLAP,因为它不支持列压缩.3.Oracle
转载
2024-01-12 11:52:11
82阅读
数据来源广、量级大、场景多，导致数据之间关系变得异常复杂。经过读取、清洗、存储、计算等一系列流程之后，数据最终汇入指标、报表等服务系统中。但如何对数据溯源、跟踪变化，成为困扰数据研发工程师的难题之一。数据血缘描述了数据的来源和去向，以及多个处理过程中的转换，是组织内使数据发挥价值的重要基础能力。通过构建数据血缘图谱，可以直接清晰地观察表之间的上、下游依赖关系，甚至是特殊场景
转载
2023-12-11 11:21:35
220阅读
很多时候，我们会碰到这么一个问题：如果在Windows平台上使用大量的MySQL数据源。众所周知，现在中小型应用还是MySQL的天下，但是我们经常会碰到需要在Windows上使用MySQL数据源或者需要把MySQL数据源复制到MS系数据库中使用。本文着重处理这个问题。MySQL的一个数据库，对应其安装目录下/data下面的一个目录，一般而言每个表由三个文件组成。所以，首先要做的就是安装MySQL，
转载
2024-04-11 08:48:34
47阅读
导读：本文根据 Fabarta 产品总监陈振在金科创新社公开课整理而来。文章依据 Fabarta 利用自主可控的图引擎和先进的 AI 解析能力构建智能数据血缘治理解决方案的实践经验，分享了数据血缘的定义、演进过程、数据血缘平台的核心能力，以及在应用领域的多样性等内容，全文分为三个主要部分：探讨了数据血缘的本质和意义，及其在数据治理和业务开展中的重要价值。数据血缘的演进以及对数据血缘平台的要求。最后
