了解大数据平台的基础架构有助于我们清楚数据是怎么流转与处理的，在每一层的结构中数据是以什么形式存储的，当我们听到工程师们谈论到这些内容时，不至于一无所知。本文内容偏基础，适合像作为入门了解。文不如表，表不如图，先上一张大数据平台架构图： 大数据平台架构图 按数据流向将大数据平台分为3层。第1层-原始数据层在这一层中完成的是数据从业务数据系统传输到DOS操作型数据层
转载
2023-07-12 15:12:51
418阅读
前言年底了，整理了下过去做的一些项目，希望能够给大数据行业的同学提供些大数据平台建设的思路。内容大致分五部分：数据采集，数据存储、数据计算、基础平台以及数据治理篇。由于涉及到的内容较多，打算分成两篇文章，本文主要介绍前四部分，也就是大数据平台相关。文章以介绍思路为主，部分技术细节可以参照文章的链接（后续会逐步完善）。先来看下整体的大数据架构图：数据采集篇 我们的数据来源主要有三部分：业务数据库
转载
2023-07-19 14:44:35
180阅读
何为数据产品?从广义上讲，一切以数据作为驱动或者核心的都叫数据产品(例如数据报表平台、DMP、搜索与精准化产品、风控产品等等)，从狭义上讲，就是公司的内部数据平台。今天和大家讨论的，主要是关于公司的内部数据平台的搭建。公司的内部数据平台，主要作用是提供给公司内部所有部门人员使用，使公司内部的所有业务能够通过数据来驱动和决策。简单点讲就是通过数据平台来驱动公司内部的数据化运营。那么如何设计一款好用的
转载
2023-08-15 16:10:58
73阅读
「分享数据大咖实践经验 网罗职场大佬成长秘籍」
大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解过大数据平台、数据仓库、数据挖掘概念的同学可能
转载
2023-09-24 07:39:16
98阅读
我们经常听到别人谈论数据仓库、数据平台、数据中台、数据湖的相关概念，它们都与数据有关系，但它们之间又有什么区别，下面我们将围绕数据仓库、数据平台、数据湖和数据中台的概念、架构、使用场景进行介绍。麦聪软件，全球领先的DaaS厂商，轻量级数据中台领导者。 目前，麦聪DaaS平台在世界500强集团中已有30多家选用，两年内帮助超400家加速企业数字化转型。麦聪DaaS平台核心功能包含，统一数据管理和统一
转载
2023-11-07 16:15:31
107阅读
关于从0到1搭建大数据平台，之前的一篇博文《如何从0到1搭建大数据平台》已经给大家介绍过了，接下来我们会分步讲解搭建大数据平台的具体注意事项。一、“大”数据 海量的数据当你需要搭建大数据平台的时候一定是传统的关系型数据库无法满足业务的存储计算要求了，所以首先我们面临的是海量的数据。复杂的数据复杂数据的概念和理想数据完全相反。所有数据集都有一定的复杂性，但有一
转载
2023-10-17 23:19:18
73阅读
如何从0到1搭建大数据平台大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解过大数据平台、数据仓库、数据挖掘概念的同学可能还是无法顺利完成搭建，因为你去百度查
转载
2024-07-18 06:35:33
74阅读
大数据平台架构如何进行 包括哪些方面【导语】大数据平台将互联网使用和大数据产品整合起来，将实时数据和离线数据打通，使数据能够实现更大规模的相关核算，挖掘出数据更大的价值，然后实现数据驱动事务，那么大数据平台架构如何进行?包括哪些方面呢?1、事务使用：其实指的是数据收集，你经过什么样的方法收集到数据。互联网收集数据相对简略，经过网页、App就能够收集到数据，比方许多银行现在都有自己的App。更深层次
转载
2023-05-26 15:07:44
239阅读
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。（1）HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。client：切分文件，访问HDFS，与namenode交互，获取文件位置信息，与DataNode交互，读取和写入数据。namenode：master节点，在hadoop1
转载
2023-07-16 09:42:35
173阅读
# 数据治理平台架构的实现指南
在现代企业中，数据治理至关重要。一个有效的数据治理平台可以帮助企业更好地管理和利用数据。对于初学者来说，构建一个数据治理平台的架构虽然听起来复杂，但通过系统化的步骤，我们可以简单地实现它。以下是一个基本的流程和每一步的具体操作。
## 流程步骤
我们可以把构建数据治理平台的过程分为以下几个步骤：
| 步骤 | 描述 |
|------|------|
| 1
这位兄弟写的，感觉不错，就转载了。1、系统架构图如下： 2、系统各层介绍以上采用五层的逻辑架构，第一层客户层，第二层前端优化层，第三层应用层，第四层服务层，第五层数据存储层，每层的介绍如下：1、客户层：支持PC浏览器和手机APP，可以直接通过IP访问，反向代理服务器。2、前端层：使用DNS负载均衡，CDN本地加速及反向代理服务。3、应用层：网站应用集群；按照业务进行垂直拆分，
转载
2023-07-19 13:42:38
141阅读
我们谈论数据中台之前， 我们也听到过数据平台、数据仓库、数据湖的相关概念，它们都与数据有关系，但他们和数据中台有什么样的区别， 下面我们将围绕数据平台、数据仓库、数据湖和数据中台的区别进行介绍。 01 数据仓库数据仓库(Data Warehouse)，也称为企业数据仓库，它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合存储系统，它将来自不同来源的结构化数据聚合起来，用于业务智能
转载
2023-10-09 10:54:16
126阅读
近实时分析的场景 近实时分析 – 对变化中的数据?供快速分析能力 分析现实世界中正在发生的事件的能力，结合历史数据和实时流数据进行汇总分析、预测和明细查询 绝对实时和批量不可调和，"近实时" 的意思是这是人机交互中能感受的尺度（秒级），而不是机器自动处理的实时性量级（ns / us级） 数据价值从非结构化到结构化，分析从非范式到范式。SQL是结构化分析的最终手段，但是： 汇总分析（顺序扫?）与明
转载
2024-08-27 19:38:16
47阅读
笼统的来说，大数据的架构一共有五层。首先是数据源层即最原始的数据层。数据在这一层里，还只是杂草地里的野菜。如果要问这片地的具体信息，目前来讲有三个地方：一个地方是企业内部自有数据，例如淘宝、京东等电商平台的用户信息、订单信息、商品信息等；另一个地方是第三方数据，即专门做数据买卖的公司。现在国家对数据和个人隐私的重视，导致这类数据交易的公司和平台逐渐息声；还有一个地儿是互联网数据。这片土地上的宝藏就
转载
2023-08-15 12:12:22
114阅读
数据经过ETL、存储等数据处理过程之后，通过数据应用产品的形式呈现给最终使用方，PC和APP类数据产品以各类不同用途的数据大屏、看板将数据指标展示给管理者、运营和业务人员，数据应用后端也会为商城、CRM等业务团队开发出一些restful类型的数据接口，供他们取数使用。 数据应用层架构解析 数据应用层使用前后端分离的技术架构，后端遵守J2EE开发标准，是一套分布式系统，采用Spring Clo
转载
2024-02-20 11:27:13
45阅读
最近数据中台被越来越多地提到，很多的技术方案也是以数据中台进行对外宣讲，包括我自己，也在经常对外讲数据中台的方案，那么，数据中台与数据平台的区别是什么呢？这个问题不时会被问到，归纳起来，我个人认为有以下几点：数据中台更加强调对应用和业务的支撑。数据中台需要将加工处理后的数据封装为对业务人员更加友好的中间形态，而不仅仅是传统的报表、看板等，比如，标签、画像、推荐、指标等，基于这些“数据组件”，前端应
转载
2023-10-22 08:22:59
60阅读
大数据平台是为了满足企业对于数据的各种要求而产生的。 大数据平台：是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。大数据平台的功能：1、容纳海量数据利用计算机群集
“大数据”是时下IT行业最火热的词汇之一。最早提出“大数据”时代到来的麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。”当下有不少大中型企业已经完成了大数据平台的搭建，很多中小企业，甚至一些政府职能部门也开始投入大数据平台，大数据价值在越来越多的场景中被挖掘，借助开源的力量，大数据平台的搭建门槛也越来越低。任何有基础研发能力的组织完全可以搭建自己的大数据平台。1&nb
转载
2023-05-26 12:52:31
245阅读
大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解过大数据平台、数据仓库、数据挖掘概念的同学可能还是无法顺利完成搭建，因为你去百度查的时候会发现太多的东西，和
转载
2023-08-09 22:51:11
56阅读
大数据平台的整体架构可以由以下几个部分组成：一、业务应用：其实指的是数据采集，你通过什么样的方式收集到数据。互联网收集数据相对简单，通过网页、App就可以收集到数据，比如很多银行现在都有自己的App。更深层次的还能收集到用户的行为数据，可以切分出来很多维度，做很细的分析。但是对于涉及到线下的行业，数据采集就需要借助各类的业务系统去完成。二、数据集成：指的其实是ETL，指的是用户从数据源抽取出所需的
转载
2023-09-08 10:48:38
245阅读
