转载
2023-07-10 13:34:01
714阅读
现在，数据的新名词层出不穷，顶层的有数字城市、智慧地球、智慧城市、城市大脑…企业层面的有数字化转型、互联网经济，数字经济、数字平台… 平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱…技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等，总之是你方唱罢他登场，各种概念满天飞…今天结合“数据中台”，以作者从事数仓行业多年的实战经验来看，
转载
2023-07-10 14:18:13
1283阅读
大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下，采用新的信息技术来应对大数据爆发进行数据处理的技术。大数据技术一般可以包括基础架构支持、数据采集、数据存储、数据计算和数据展现交互等。 大数据技术的分类大数据技术涵盖的范围十分广阔。基础架构支持方面主要包括了支撑大数据处理的基础架构级数据中心管理、云计算平台、云存储设备及技术、网络技术、资源监控等技术。而为了处理数据，则需要有大规
转载
2024-01-28 06:13:19
35阅读
大数据中心平台一般是三个部分：大数据、超算、云计算，三个部分进行混搭以满足不同数据处理场景。本人目前接触的为大数据，大数据正常分为三个模块： 1）大数据平台建设目前是Hadoop平台（java技能，接触最多的是HW的FI大数据业务平台）； 2）大数据计算(数字敏感性，常用计算语言HQL、CQL、Scala) 3）大数据挖掘（算法技能,常用实现语言python） 目前因为岗位需要，目前在
转载
2023-07-18 15:05:32
197阅读
我的数据平台需要具备哪些能力？以及数据平台技术选型及理由本文就针对以上两个问题为大家进行一次概述数据平台应该具备的能力一、应该具有多维度抓取数据的能力,能够通过ETL或者数据流组件的方式 ETL，是英文 Extract-Transform-Load 的缩写，用来把数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至数据仓库的过程。源端一般包括各种数据库，日志文
转载
2023-09-28 00:40:36
218阅读
通过快速部署、很低的资本成本和可扩展性，云计算给公司企业了巨大的价值。然而，选择IaaS解决方案还是PaaS解决方案对云项目的回报速度以及应用程序开发创造价值的时间会有重大影响。将大数据解决方案部署到云端时，一个早期的讨论点和常见的架构决定就是选择IaaS解决方案，还是选择PaaS解决方案。大多数大型云服务提供商同时提供高度专业化的PaaS功能和比较灵活的IaaS功能，让架构师可以选择合理兼顾功能
转载
2023-11-15 12:53:20
87阅读
导言在前面的文章《「大数据技术体系」学习实践导览》(https://blog.51cto.com/yaocoder/5711005)中，概要式的梳理了大数据平台的业务目标，大数据平台的架构框架，大数据平台中常用的技术及工具，数据治理四方面的内容，算是对自身所了解大数据知识体系的抛砖引玉。今天想以自身的经历和实践经验，分享一下大数据平台的技术生态、开发管理与应用架构。为求简明扼要，内容主要以图示概览
原创
精选
2022-12-15 09:24:47
1408阅读
# Hadoop大数据平台技术组件实现流程
## 1. 介绍
在开始教授如何实现Hadoop大数据平台技术组件之前，我们先来了解一下Hadoop大数据平台的基本概念和组成部分。
Hadoop大数据平台是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。它主要由以下几个组件组成：
- Hadoop Distributed File System (HDFS)：分布式文件系统，用于存储
原创
2023-08-31 09:53:08
50阅读
# 阿里大数据平台技术架构解析
随着互联网技术的发展，数据的产生和积累逐渐呈现出爆炸性增长。以阿里巴巴为代表的企业，纷纷建立了大数据平台来应对海量数据的处理和分析需求。本文将简要介绍阿里大数据平台的技术架构，并通过代码示例和图示来帮助读者更好地理解。
## 阿里大数据平台概述
阿里大数据平台是一个综合性的解决方案，主要由数据采集、存储、处理和分析等多个模块构成。其核心目标是实现数据的高效存储
# 构建大数据平台技术实现架构
## 引言
作为一名经验丰富的开发者，我将向你介绍如何实现“大数据平台技术实现架构”。在这个过程中，我将指导你完成每一个步骤，为你提供必要的代码示例和解释。
## 流程图
```mermaid
gantt
title 大数据平台技术实现架构流程图
section 定义需求
定义需求 :done, 2022-01-01, 3d
原创
2024-05-23 03:58:56
11阅读
# 大数据平台主流技术架构
随着互联网的迅猛发展，数据量呈指数级增长。大数据技术应运而生，旨在解决数据存储、处理和分析的各种挑战。在这些技术中，主流架构通常包括数据采集、存储、处理和可视化四个部分。本文将具体阐述大数据平台的主要技术架构，并提供代码示例。
## 1. 数据采集
数据采集是大数据平台的第一步，通常使用工具如 **Apache Nifi** 或 **Kafka**。这些工具能够实
原创
2024-10-07 03:16:09
147阅读
## PaaS大数据平台技术架构的复盘记录
在IT行业背景下，随着大数据技术的快速发展，PaaS（平台即服务）大数据平台逐渐成为企业数据处理的重要解决方案。自2015年以来，越来越多的企业开始为处理和分析大量数据而上云，这一趋势推动了大数据平台PaaS架构的不断演进。在这篇文章中，我将详尽记录解决PaaS大数据平台技术架构问题的过程，包含背景描述、技术原理、架构解析、源码分析、性能优化和总结与展
GIS大数据平台技术架构的描述
随着地理信息系统（GIS）和大数据技术的发展，GIS大数据平台在城市规划、环境监测、交通管理等领域的应用愈发广泛。然而，构建这样一个平台并非易事，它对技术架构的设计提出了更高的要求，包括大数据处理、实时数据流、空间数据存储与查询等方面。这些都要求我们在设计时充分考虑性能、可扩展性和灵活性。
在本文中，将详细探讨GIS大数据平台的技术架构，包括背景描述、技术原理、
大数据概念 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合，是需要新处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量，高增长率和多样化的信息资产 优点：Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理Hadoop 是可靠的，因
转载
2023-11-12 10:35:28
158阅读
本文件规定了面向金融业的大数据平台总体技术要求的框架结构、功能技术要求、非功能技术要求以及接口技术
转载
2022-05-14 19:32:26
296阅读
大数据能力平台技术架构方案
转载
2022-04-28 21:42:54
171阅读
# 大数据开发治理平台技术架构
在现代信息社会，大数据的有效治理和开发已成为企业在竞争中取胜的重要因素。大数据开发治理平台技术架构正是围绕这一目标所构建的一套系统化框架。本文将对这一技术架构进行解析，并提供一些代码示例帮助理解。
## 技术架构概述
一个典型的大数据开发治理平台通常由以下几个关键组件构成：
1. **数据采集层**：负责从各种数据源中收集数据。
2. **数据存储层**：将
原创
2024-09-17 06:03:51
72阅读
# 大数据云平台技术参数及应用
随着信息技术的快速发展，大数据的处理和分析变得越来越重要。大数据云平台提供了一种高效的解决方案，通过集成多种工具和框架，支持海量数据的存储、处理和分析。本文将探讨大数据云平台的一些技术参数，并通过代码示例展示其应用。
## 大数据云平台的基本架构
一个典型的大数据云平台通常由多个组件构成，包括数据存储、数据处理和数据分析等模块。这些模块通常采用微服务架构，使其
概念数据模型CDM概念数据模型是设计数据库不可或缺的一步，是整个数据库设计的关键，CDM的主要作用如下：1）能够真实地模拟真实世界，是需求分析人员和数据库设计人员沟通的桥梁。2）将系统需求分析得到的用户需求抽象为信息结构过程。3）是后续逻辑数据模型和物理数据模型的基础。 CDM的基本术语：1.实体：实体（entity）是指现实世界中的客观存在，对应现实世界中可相互区别的“事件
# 工业大数据平台技术架构解析
在工业4.0背景下，工业大数据平台的建设成为当前制造业数字化转型的关键。工业大数据平台集成了大量的生产、运营和环境数据，通过先进的技术架构提供数据存储、处理和分析服务，以提升企业的运营效率与决策能力。本文将探讨工业大数据平台的技术架构，展示相关代码示例，并通过流程图和表格进行详细说明。
## 一、工业大数据平台的技术架构概述
工业大数据平台的技术架构一般分为以
