元数据元数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。在企业中，只要有数据存在的地方，就有其对应元数据。只有完整、准确的元数据存在，才能更好地理解数据，充分挖掘数据的价值。元数据按大类可分为 技术元数据、管理元数据、业务元数据。一、技术元数据1、物理元数据
转载
2023-10-17 10:00:38
215阅读
第一章 绪论1.1 本书议题 许多组织在开发他们的数据模型或者数据仓库的时候，很少会去参考一些外部资料。要么雇佣一些有经验的顾问，要么让内部员工去开发系统设计中的这个关键部件。通常，市面上并没有针对性的参考资料，以供公司对他的数据模型或者数据仓库进行检验、或者从中寻找可选的数据库结构。 一个明显的结论是，通常有50%以上的（全局的或者逻辑的）数据模型都是由适用于多种组织机构的通用构件组成，有其
传统的建议是“去搞清楚企业需要针对什么保存信息，这些东西之间是如何关联的”，其实，这个建议是一个过于粗略的简化描述，在一般情况下识别实体和关系是非常难的。 有经验的建模人员将会在他们的模型清单中去搜寻适合当前情形的模型或模型集，然后再去细究这些模型的细节问题。当然，对于单个开发人员来说，要建立任何复杂模型库的模型，都需要花费很多时间去了解大量的
也称ETL、对跨部门的业务数据进行抽取、合并、清洗标准化，处理后的数据可以存入主数据存储库向各个业务系统提供一致的数据视图（主数据管理），也可按照主题数据格式存入大数据平台进行数据分析、挖掘（数据仓库、大数据）。数据集成常见问题如下：1 涉及部门众多，数据接口类型多样化。2 顶层设计缺失或历史原因，数据缺乏统一标准，信息孤岛、数据碎片化现象严重。3 数据冗余、数据不一致、错误数据等系列问题使得数据
转载
2023-10-26 13:54:34
74阅读
由于云计算分为IaaS、PaaS和SaaS三种类型，不同的厂家又提供了不同的解决方案，目前还没有一个统一的技术体系结构，对读者了解云计算的原理构成了障碍。为此，本文综合不同厂家的方案，构造了一个供商榷的云计算体系结构。这个体系结构如图3所示，它概括了不同解决方案的主要特征，每一种方案或许只实现了其中部分功能，或许也还有部分相对次要功能尚未概括进来。图3 云计算技术体系结构云计算技术体系
转载
2023-05-26 12:17:26
237阅读
导读：档案信息资源是一种特殊数据呈现形式，信息资源体系建设需要结合档案自身特性来构建和实践。档案信息管理主要围绕收、存、管、用这四大方面进行相关内容建设。随着数字化时代的到来，档案管理到档案治理，也在最新的“十四大”档案规划中提出“治理”的相关要求。因此，相关专家对有关数据治理与档案信息资源体系建设分享对我们有非常积极的借鉴意义。目录1、相关概念和延伸2、档案信息资源体系的建设规划2.1、档案信息
共享资源库系统一、案例分析1、规划节点IP主机名节点192.168.235.128FTPFTP 服务器、NFS 客户端192.168.235.129NFSNFS 服务器2、基础准备使用 CentOS 7 镜像3、案例需求创建 FTP 虚拟用户六个权限设置为只有下载权限，没有上传权限，最大带宽为 60KB新建磁盘挂载在 NFS 的共享目录上，每晚增量备份共享数据，放到 /backup/weekbac
转载
2023-09-19 07:28:48
120阅读
数据体系搭建步骤业务板块 -> 数据域 -> 事实表 -> 数据同步（ELT）梳理业务数仓的数据流程图业务表结构梳理业务数仓分层规划概念理解ODS业务数据与数据仓库的一个隔离，该层数据结构与原始日志中的结构一致，存放的是原始日志数据。源头数据不能收到污染，必须保持和原始日志数据一致。因为数据可能存在冲突，所以最好加上时间版本用于区别相同数据。DWDW层为数据公共层，由ods层数据
转载
2023-08-29 14:16:44
90阅读
各ARM体系结构版本ARM体系结构从最初开发到现在有了很大的改进，并仍在完善和发展。为了清楚地表达每个ARM应用实例所使用的指令集，ARM公司定义了8种主要的ARM指令集体系结构版本，以版本号V1～V8表示ARM版本Ⅰ： V1版架构该版架构只在原型机ARM1出现过，只有26位的寻址空间，没有用于商业产品。其基本性能有:基本的数据处理指令（无乘法）；基于字节、半字和字的Load/Store指令;转移
转载
2023-07-31 19:24:52
77阅读
在Kubernetes（简称K8S）中，数据架构体系是非常重要的一部分，它可以帮助我们有效地管理和存储数据。在本篇文章中，我将教会你如何实现数据架构体系，帮助你更好地理解和应用K8S。
首先，让我们看一下实现数据架构体系的流程：
| 步骤 | 描述 |
|------|-----------------|
| 1 | 创建一个PersistentVolume（持久化
1.什么是数据架构（DA）定义一：数据架构是通过对齐企业战略得到的数据资产管理蓝图。具体而言，该蓝图用于指导如何分析数据需求、如何做好相应设计。定义二：数据架构描述企业的A、主要数据类型及其来源；B、逻辑数据资产；C、物理数据资产；D、数据管理资源；E、上述所有内容的结构和交互。数据架构的设计内容可以总结为5大方面·数据类型及其来源——eg.电商企业，操作日志、生产库、BI库·数据模型——eg.日
转载
2023-07-11 20:34:16
92阅读
数据管理 Data Management是规划、控制和提供数据及信息资产的一组业务职能，包括开发执行监督有关 数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据和信息资产的价值。——DMBOK 1.0数据治理 Data Governance作为数据管理的其中一个核心职能，是对数据资产管理行驶权力和控制的活动集合（规划、执行和监控），指导和其它数据管理职能如何执行，在高层
转载
2023-09-30 09:04:26
141阅读
**大数据体系架构**
在当今信息时代，数据量越来越庞大，处理这些海量的数据成为了一项重要的工作。而构建一个高效的大数据体系架构就显得尤为重要。本文将向你介绍如何实现大数据体系架构，并通过Kubernetes（简称K8S）来管理和部署大数据应用。
**整体流程**
下面是构建大数据体系架构的步骤，以及每一步需要做的事情：
| 步骤 | 操作 |
| --- | --- |
| 1 | 设置
（一）移动终端发展 一部手机要实现最基本的功能—打电话发短信，这个手机就要包括以下几个部分：射频部分、基带部分、电源管理、外设、软件等。回顾一下移动手机的发展史：1，功能手机（Feature Phone）：只用基带芯片，只能用来打电话、发短信。2，多媒体手机：使用基带芯片+协处理器加速单元。在功能机的基础上，增加了
最近数据要素这个词不断出现在大数据圈里也同时出现在公众视野。各个研究机构，政府部门都在重点关注数据要素及其作用及发展，并提供各类政策性的指引，那么什么是数据要素呢？ 本文将综合目前主流的研究进行归纳整理，从数据要素的定义、政策、发展趋势、困难挑战以及地方性探索等内容进行阐述，一文带你读懂数据要素。1 什么是数据要
转载
2023-07-07 09:34:50
353阅读
点赞
从收集数据到使其成为可指导操作的知识并形成对业务决策的影响，这是一条充满挑战的道路，特别是如果组织尚未进行数据驱动的转型或没有完全具备正确支持它的能力。一 数据的价值意味着什么 当谈到不同行业的业务发展战略时，数据的作用至关重要，并且是创新和可持续发展的催化剂。几乎所有公司现在都在开展数据和分析项目。 “数据是新的石油”这一常见表述将数据定义为推动公司业务发展的重要资源。与石油一样，如果知道如何正
数据中台（六）数据体系建设 1、数据体系规划中台数据体系具备特征：覆盖全域数据结构层次清晰：纵向数据分层，横向主题域与业务划分数据准确性一致：定义一致性指标、统一命名、统一计算口径性能提升降低成本方便易用数据中台体系架构数据分层贴源数据层ODS：操作数据层，对各个业务数据进行采集、汇聚、整合、增加数据标识、非结构转化为结构数据等，不做深度清洗加工——数据汇聚接入，例如：东方国信爬虫、新大
转载
2023-07-18 00:32:27
277阅读
MPP架构、常见OLAP引擎分析一、MPP架构1、SMP2、NUMA3、MPP二、批处理架构和MPP架构三、 MPP架构的OLAP引擎1）只负责计算，不负责存储的引擎1、Impala2、Presto2）既负责计算，又负责存储的引擎1、ClickHouse2、Doris3、Druid4、TiDB5、Greenplum3）常用的引擎对比一、MPP架构MPP是系统架构角度的一种服务器分类方法。目前商用的
转载
2023-09-19 10:18:10
274阅读
本文目录：一、指导思想二、数据调研三、架构设计四、指标体系搭建五、模型设计六、维度设计七、事实表设计八、其他规范OneData是阿里巴巴内部进行数据整合和管理方法体系和工具。一、指导思想首先，要进行充分的业务调研和需求分析。其次，进行数据总体架构设计，主要是根据数据域对数据进行划分；按照维度建模理论，构建总线矩阵，抽象出业务过程和维度。再次，对报表需求进行抽象整理出相关指标体系，使用OneData
转载
2023-10-10 20:14:38
0阅读
数据仓库是数据的仓库，数据是从操作型数据库系统中获取，经过集成处理、按照合适的粒度进行聚合而成的数据的集合。 构建数据仓库，要从数据模型、数据集成、粒度设计和分区设计这四个方面着手，迭代式开发。一，数据模型在设计数据仓库之前，首先要了解操作型数据库的数据模型，数据模型分为三个层次：ERD（实体关系图）是最顶层的概念模型，是实体关系的高度抽象，主要用于确定各个实体（或主题）及其之间的关系；
转载
2023-07-12 12:33:50
245阅读
