此文来自于微信聊天记录第一步：确定主题即确定数据分析或前端展现的主题(例:某年某月某地区的啤酒销售情况)。主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系,确定主题时要综合考虑。第二步：确定量度确定主题后，需要考虑分析的技术指标(例:年销售额等等)。它们一般为数据值型数据，其中有些度量值不可以汇总；些可以汇总起来，以便为分析者提供有用的信息。量度是要统计的指标，必须事先选
转载
2023-08-27 21:18:06
18阅读
目录1. 数据中台的概念2. 数据中台适合企业2.1 企业构建数据中台面临的问题2.2 企业构建数据中台解决问题的方法2.3 什么样的企业适合构建数据中台3. 如何建设数据中台3.1 方法论3.1.1 OneData3.1.2 OneService3.2 技术3.3 组织4. 数据中台实现：指标管理5. 数据中台实现：数据质量6. 数据中台实现：成本控制7. 数据中台实现：数据服务化 1. 数据
转载
2023-12-01 13:15:25
59阅读
构建企业级数据仓库五步法:一、 确定主题即确定数据分析或前端展现的主题(例:某年某月某地区的啤酒销售情况)。主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系,确定主题时要综合考虑.二、 确定量度确定主题后，需要考虑分析的技术指标(例:年销售额等等)。它们一般为数据值型数据，其中有些度量值不可以汇总；些可以汇总起来，以便为分析者提供有用的信息。量度是要统计的指标，必须事先选
转载
2023-07-13 13:53:39
2411阅读
2018云栖大会南京峰会企业级互联网架构专场，阿里巴巴高级数据架构师黄欢欢带来题为企业级数据架构探索之路的演讲。主要从企业数据库的发展现状、存在的问题以及企业级架构的需求开始谈起，针对其存在的问题提出了对应的解决方案,最后对企业级产品的架构以及满足企业及架构的需求问题做了详细的分析。数十款阿里云产品限时折扣中，赶快点击这里，领券开始云上实践吧！直播视频请点击以下为精彩视频及ppt内容整理：企业数据
企业数据架构，很多朋友在尚未了解时总会将它定义为组织用于管理数据的一组标准产品和工具，但它的性质远不止于此。数据架构定义了捕获、转换以及向业务用户提供可使用数据的过程，最重要的是它也确定了使用该数据的人及其独特要求。欣思博根据现代数据架构的特征进行总结，并为正在开发适应当前时代要求的新型数据架构的组织提供指导。1、 以顾客我中心现代数据架构不是专注于提取、摄取、转换和呈现信息所需的数据或技术，而是
转载
2023-11-17 21:52:02
73阅读
数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。数据仓库系统的原始需求不明确，且不断变化与增加，开发者最初不能确切了解到用户的明确而详细的需求，用户所能提供的无非是需求的大的方向以及部分需求， 更不能较准确地预见到以后的需求。因此，采用原型法来进行数据仓库的开发是比较合适的，因为原型法的思想是从构
转载
2024-08-22 13:06:53
34阅读
一、平台基本功能1. 数据接入2. 数据存储和查询，存储模型应包括关系型模型，非关系型模型，文档模型等。3. 数据计算，包括离线批处理，实时计算，机器学习，多维分析和全文检索。4. 平台安全与管理，解决用户管理，数据隔离，访问授权，访问控制和集群服务安全等问题。5. 平台辅助工具，如程序开发套件，任务管理，与调度系统，自助式数据探索分析系统。二、集群服务器的角色分类1. 主控节点定义：不承担具体的
转载
2023-12-01 10:39:18
49阅读
尽管数据呈爆炸式增长，数据备份也逐渐被中小企业所重视。但是目前备份现状容不容乐观： 1.备份系统建设没有提上高优先级日程：很多企业都是PC上数 据集中到服务器，服务器数据依赖于存储的Raid冗余。 2.缺少专业的备份软件支持：企业重要的数据或者依赖管理员手动拷贝存储管理、或者通过使用免费的备份工具及低廉的单机备份软件，维护和服务不能得到保证，也不能对整个网络环境进行保护。 总体而言，问
原创
2015-05-21 13:51:57
524阅读
数据仓库介绍
备注：根据网络资源整理（数仓分层部分待进一步研究）一. 定义数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。（来自百度百
转载
2020-08-20 18:21:00
172阅读
不同于书本和培训课程中所提的单例模式，真正的企业具有非常复杂的数据架构。大多数数据将会存储于大型遗留或打包的系统中，数据结构的细节对于这些系统来说可能是不可见的。其他数据将存储于电子表格和个人数据库（例如 Microsoft Access）中，且可能对于 IT 部门或高级业务数据管理员来说是不可见的。一些关键数据可能存储于由服务供应商或业务合作伙伴维系的外部系统中。随着您对复杂数据架构的探究，就会
转载
2023-09-29 22:19:12
67阅读
2018云栖大会南京峰会企业级互联网架构专场，阿里巴巴高级数据架构师黄欢欢带来题为企业级数据架构探索之路的演讲。主要从企业数据库的发展现状、存在的问题以及企业级架构的需求开始谈起，针对其存在的问题提出了对应的解决方案,最后对企业级产品的架构以及满足企业及架构的需求问题做了详细的分析。企业数据库现状说起企业级数据库架构体系，在2010年阿里巴巴还没有一个完整的数据库架构体系且存在着很多问题，问题大致
转载
2023-11-13 17:05:39
67阅读
随着互联网技术的不断发展和升级迭代，网络数据变得越来越庞大。传统的储存方式已经很难满足企业对于数据储存的需求，所以，不少企业逐渐开始从传统储存向云储存转变，通过云数据库来实现数据管理、分析和备份等，以此来应对数据不断增长的情况。企业把数据带上云，是既方便又安全，先来了解一下云数据库对企业的优势。简化管理，加快部署使用云数据库后，企业不需要再让IT技术人员进行硬件配置、部署和维护的工作，在一定程度上
转载
2023-08-06 17:12:13
72阅读
SequoiaDB是企业级NoSQL分布式大数据库，主要应用在政府、电信、金融、电力和互联网等拥有海量业务数据的行业。 优势：通过非结构化存储与分布式处理，提供了近线性的水平扩张能力，让底层的存储不再成为瓶颈提供了精确到分区级别的高可用性，预防服务器，机房故障以及人为错误，让数据24x7永远在线提供了完善的企业级功能，让用户轻松管理高并发性任务，以及海量数据分析增强的非关系型数据模型，帮助企业快
目前，很多企业都面临着如下问题：企业需要的数据在哪里？如何才能在预定的时间内获取所需要的数据？这些数据意味着什么？这些数据可信吗？如何才能将需要的数据转换为所需的格式？如何才能将它加载到企业需要的地方？如何有效控制这些数据？同时，还要面对如下现实：数据架构规划缺位带来的数据异构分布问题；数据孤岛、冗余和流程割裂带来的数据不一致问题；元数据管理不统一带来的数
转载
2023-12-30 14:56:43
106阅读
摘要： 数据治理是企业确保数据质量、安全与一致性的一套组织、流程和技术体系，核心目标是让企业“用对数据、用好数据”。其体系包括数据标准、质量、主数据、安全、元数据等八大模块，需通过工具（如DataHub、GreatExpectations）和流程（如质量监控、血缘追溯）落地。针对Flink+Doris+Hive+PostgreSQL技术栈，方案建议分阶段实施：先打通元数据与指标口径，再构建主数据同步与质量检测，最终实现安全管控与闭环运营。关键交付物包括数据目录、指标中心、质量规则库等，需结合实时（Flink
# 企业级数据仓库体系架构 hub and spoke
在企业级数据仓库架构中，"hub and spoke"（中文译为“中心枢纽模型”）是一种常见的设计模式。它是一种集中式的数据仓库架构，其中一个中心“枢纽”（hub）数据仓库与多个外围“分支”（spoke）数据仓库进行数据交换和集成。这种架构模式具有很多优势，例如简化数据管理、提高数据一致性和减少数据冗余等。
## 架构概述
在"hub
原创
2023-07-31 23:36:29
326阅读
置文件，添加 save 属性配置，定期生成 RDB 快照...
转载
2023-06-02 17:31:58
133阅读
# MongoDB企业级数据实战
## 简介
MongoDB是一种高性能、可扩展的开源NoSQL数据库，广泛应用于企业级数据存储和管理。在实际的应用场景中，我们常常需要将MongoDB与其他技术进行结合，实现更加复杂的功能。本文将介绍如何在企业级数据实战中使用MongoDB，并提供一些示例代码帮助读者更好地理解。
## MongoDB基本概念
在开始之前，让我们先了解一下MongoDB的一
原创
2024-03-10 06:51:46
71阅读
编注：本文不讨论数据容灾与数据安全，只关注随着数据规模的增长，企业数据中心的演变过程，进而让读者依据自身数据量级，定位企业数据发展。序号阶段数据规模架构描述缺点1单实例阶段总体数据量较少，主营业务数据较多单一数据库实例，可以是单个服务，也可以是单集群，如oracle的RAC模式或mysql的集群模式，或技术架构的分库模式。存在数据量上限，且随着集群实体的增多，集群维护成本高于多个实例维护成本。2多
转载
2021-02-09 19:07:33
257阅读
2评论
数据安全！
转载
2021-06-23 11:35:12
271阅读
