大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下，采用新的信息技术来应对大数据爆发进行数据处理的技术。大数据技术一般可以包括基础架构支持、数据采集、数据存储、数据计算和数据展现交互等。 大数据技术的分类大数据技术涵盖的范围十分广阔。基础架构支持方面主要包括了支撑大数据处理的基础架构级数据中心管理、云计算平台、云存储设备及技术、网络技术、资源监控等技术。而为了处理数据，则需要有大规
转载
2024-01-28 06:13:19
35阅读
我的数据平台需要具备哪些能力？以及数据平台技术选型及理由本文就针对以上两个问题为大家进行一次概述数据平台应该具备的能力一、应该具有多维度抓取数据的能力,能够通过ETL或者数据流组件的方式 ETL，是英文 Extract-Transform-Load 的缩写，用来把数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至数据仓库的过程。源端一般包括各种数据库，日志文
转载
2023-09-28 00:40:36
218阅读
转载
2023-07-10 13:34:01
714阅读
现在，数据的新名词层出不穷，顶层的有数字城市、智慧地球、智慧城市、城市大脑…企业层面的有数字化转型、互联网经济，数字经济、数字平台… 平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱…技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等，总之是你方唱罢他登场，各种概念满天飞…今天结合“数据中台”，以作者从事数仓行业多年的实战经验来看，
转载
2023-07-10 14:18:13
1283阅读
一、 Hadoop的优化与发展1.1 Hadoop的局限对于MapReduce和HDFS【不包含其它组件】：1、抽象层次低，仍需手工编写代码完成功能2、表达能力有限，MapReduce抽象的Map和Reduce函数，在降低开发复杂度的同时，也带来了表达能力有限的问题，导致一些任务无法用Map和Reduce函数来完成3、开发者自行管理作业间的依赖关系。一个作业Job只包含Map和Reduce两个阶段
转载
2023-07-20 17:54:50
231阅读
大数据中心平台一般是三个部分：大数据、超算、云计算，三个部分进行混搭以满足不同数据处理场景。本人目前接触的为大数据，大数据正常分为三个模块： 1）大数据平台建设目前是Hadoop平台（java技能，接触最多的是HW的FI大数据业务平台）； 2）大数据计算(数字敏感性，常用计算语言HQL、CQL、Scala) 3）大数据挖掘（算法技能,常用实现语言python） 目前因为岗位需要，目前在
转载
2023-07-18 15:05:32
197阅读
通过快速部署、很低的资本成本和可扩展性，云计算给公司企业了巨大的价值。然而，选择IaaS解决方案还是PaaS解决方案对云项目的回报速度以及应用程序开发创造价值的时间会有重大影响。将大数据解决方案部署到云端时，一个早期的讨论点和常见的架构决定就是选择IaaS解决方案，还是选择PaaS解决方案。大多数大型云服务提供商同时提供高度专业化的PaaS功能和比较灵活的IaaS功能，让架构师可以选择合理兼顾功能
转载
2023-11-15 12:53:20
87阅读
导言在前面的文章《「大数据技术体系」学习实践导览》(https://blog.51cto.com/yaocoder/5711005)中，概要式的梳理了大数据平台的业务目标，大数据平台的架构框架，大数据平台中常用的技术及工具，数据治理四方面的内容，算是对自身所了解大数据知识体系的抛砖引玉。今天想以自身的经历和实践经验，分享一下大数据平台的技术生态、开发管理与应用架构。为求简明扼要，内容主要以图示概览
原创
精选
2022-12-15 09:24:47
1408阅读
# 大数据平台主流技术架构
随着互联网的迅猛发展，数据量呈指数级增长。大数据技术应运而生，旨在解决数据存储、处理和分析的各种挑战。在这些技术中，主流架构通常包括数据采集、存储、处理和可视化四个部分。本文将具体阐述大数据平台的主要技术架构，并提供代码示例。
## 1. 数据采集
数据采集是大数据平台的第一步，通常使用工具如 **Apache Nifi** 或 **Kafka**。这些工具能够实
原创
2024-10-07 03:16:09
147阅读
# 阿里大数据平台技术架构解析
随着互联网技术的发展，数据的产生和积累逐渐呈现出爆炸性增长。以阿里巴巴为代表的企业，纷纷建立了大数据平台来应对海量数据的处理和分析需求。本文将简要介绍阿里大数据平台的技术架构，并通过代码示例和图示来帮助读者更好地理解。
## 阿里大数据平台概述
阿里大数据平台是一个综合性的解决方案，主要由数据采集、存储、处理和分析等多个模块构成。其核心目标是实现数据的高效存储
# Hadoop大数据平台技术组件实现流程
## 1. 介绍
在开始教授如何实现Hadoop大数据平台技术组件之前，我们先来了解一下Hadoop大数据平台的基本概念和组成部分。
Hadoop大数据平台是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。它主要由以下几个组件组成：
- Hadoop Distributed File System (HDFS)：分布式文件系统，用于存储
原创
2023-08-31 09:53:08
50阅读
# 构建大数据平台技术实现架构
## 引言
作为一名经验丰富的开发者，我将向你介绍如何实现“大数据平台技术实现架构”。在这个过程中，我将指导你完成每一个步骤，为你提供必要的代码示例和解释。
## 流程图
```mermaid
gantt
title 大数据平台技术实现架构流程图
section 定义需求
定义需求 :done, 2022-01-01, 3d
原创
2024-05-23 03:58:56
11阅读
退了！世界的真实格局分析，地球人类社
转载
2023-07-10 07:57:32
91阅读
## PaaS大数据平台技术架构的复盘记录
在IT行业背景下，随着大数据技术的快速发展，PaaS（平台即服务）大数据平台逐渐成为企业数据处理的重要解决方案。自2015年以来，越来越多的企业开始为处理和分析大量数据而上云，这一趋势推动了大数据平台PaaS架构的不断演进。在这篇文章中，我将详尽记录解决PaaS大数据平台技术架构问题的过程，包含背景描述、技术原理、架构解析、源码分析、性能优化和总结与展
GIS大数据平台技术架构的描述
随着地理信息系统（GIS）和大数据技术的发展，GIS大数据平台在城市规划、环境监测、交通管理等领域的应用愈发广泛。然而，构建这样一个平台并非易事，它对技术架构的设计提出了更高的要求，包括大数据处理、实时数据流、空间数据存储与查询等方面。这些都要求我们在设计时充分考虑性能、可扩展性和灵活性。
在本文中，将详细探讨GIS大数据平台的技术架构，包括背景描述、技术原理、
网易大数据平台的Spark技术实践 网易大数据平台的Spark技术实践 作者 王健宗 网易的实时计算需求 对于大多数的大数据而言，实时性是其所应具备的重要属性，信息的到达和获取应满足实时性的要求，而信息的价值需在其到达那刻展现才能利益最大化，例如电商网站，网站推荐系统期望能实时根据顾客的点击行为分析
转载
2016-11-06 03:14:00
137阅读
2评论
大数据系统大体可以分成以下四个部分： 1，数据采集层 2，数据计算层 3，数据服务层 4，数据应用层下图是阿里巴巴大数据系统架构图：一、数据采集层数据采集主要分成以下三块数据： 1，Web 端日志 2，App 端日志 3，第三方数据（比如 mysql 增量数据同步）Web 端和 App 端的日志数据都需要制定各个场景下的埋点规范，用来满足各种通用业务场景下（比如浏览、点击等）的数据分析。Web 端
转载
2023-08-29 20:52:47
755阅读
大数据概念 大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合，是需要新处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量，高增长率和多样化的信息资产 优点：Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理Hadoop 是可靠的，因
转载
2023-11-12 10:35:28
158阅读
Hadoop基本架构Hadoop由两部分组成，分别是分布式文件系统和分布式计算框架MapReduce。其中，分布式文件系统主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统之上，对存储在分布式文件系统中的数据进行分布式计算。在Hadoop中，MapReduce底层的分布式文件系统是独立模块，用户可按照约定的一套接口实现自己的分布式文件系统，然后经过简单的配置后，存储在该文件
转载
2023-08-01 13:20:22
144阅读
云计算的关键词在于“整合”，无论你是通过现在已经很成熟的传统的虚拟机切分型技术，还是通过google后来所使用的海量节点聚合型技术，它都是通过将海量的服务器资源通过网络进行整合，调度分配给用户，从而解决用户因为存储计算资源不足所带来的问题。大数据正是因为数据的爆发式增长带来的一个新的课题内容，如何存储如今互联网时代所产生的海量数据，如何有效的利用分析这些数据等等。它俩之间的关系你可以这样来理解，云
转载
2023-10-19 12:23:02
47阅读
