事实1：Hadoop是由多个产品组成的。人们在谈论Hadoop的时候，常常把它当做单一产品来看待，但事实上它由多个不同的产品共同组成。Russom说：“Hadoop是一系列开源产品的组合，这些产品都是Apache软件基金会的项目。”一提到Hadoop，人们往往将其与MapReduce放在一起，但其实HDFS和MapReduce一样，也是Hadoop的基础。事实2：Apache Hadoop是开源技
转载
2024-07-24 17:49:04
102阅读
转载
2023-07-10 13:34:01
714阅读
大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下，采用新的信息技术来应对大数据爆发进行数据处理的技术。大数据技术一般可以包括基础架构支持、数据采集、数据存储、数据计算和数据展现交互等。 大数据技术的分类大数据技术涵盖的范围十分广阔。基础架构支持方面主要包括了支撑大数据处理的基础架构级数据中心管理、云计算平台、云存储设备及技术、网络技术、资源监控等技术。而为了处理数据，则需要有大规
转载
2024-01-28 06:13:19
35阅读
现在，数据的新名词层出不穷，顶层的有数字城市、智慧地球、智慧城市、城市大脑…企业层面的有数字化转型、互联网经济，数字经济、数字平台… 平台层面的有物联网，云计算，大数据，5G，人工智能，机器智能，深度学习，知识图谱…技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等，总之是你方唱罢他登场，各种概念满天飞…今天结合“数据中台”，以作者从事数仓行业多年的实战经验来看，
转载
2023-07-10 14:18:13
1283阅读
尚硅谷大数据技术中，Spark 是一款广受欢迎的开源大数据处理引擎，其特点是快速、灵活且极具可扩展性。本文将以复盘记录的形式，系统性地梳理 Spark 的特点，以及在大数据环境中如何进行备份和恢复，确保数据安全和业务连续性。接下来我们将从多个维度进行深入分析。
## 备份策略
为了提升数据的安全性和可靠性，我们制定了一系列备份策略，下面是思维导图展示的备份流程及存储架构：
```merma
Hue Web应用的架构Hue 是一个Web应用，用来简化用户和Hadoop集群的交互。Hue技术架构，如下图所示，从总体上来讲，Hue应用采用的是B/S架构，该web应用的后台采用python编程语言别写的。大体上可以分为三层，分别是前端view层、Web服务层和Backend服务层。Web服务层和Backend服务层之间使用RPC的方式调用。Hue整合大数据技术栈架构由于大数据框架
转载
2024-04-18 22:19:53
44阅读
大数据框架-Hadoop1.什么是大数据大数据是指由传统数据处理工具难以处理的规模极大、结构复杂或速度极快的数据集合。这些数据集合通常需要使用先进的计算和分析技术才能够处理和分析，因此大数据技术包括了大数据存储、大数据处理和大数据分析等方面的技术和工具。大数据的特点包括以下几个方面：规模大：数据集合通常包含数千亿、数万亿甚至更多的数据，远远超过传统数据处理工具的处理能力。结构复杂：数据集合通常包含
转载
2023-10-23 21:00:01
322阅读
一、总体架构设计原则企业级大数据应用框架需要满足业务的需求，一是要求能够满足基于数据容量大，数据类型多，数据流通快的大数据基本处理需求，能够支持大数据的采集，存储，处理和分析，二是要能够满足企业级应用在可用性，可靠性，可扩展性，容错性，安全性和隐私性等方面的基本准则，三是要能够满足用原始技术和格式来实现数据分析的基本要求满足大数据的V3要求 大数据容量的加载、处理和分析 - 要求大数据
转载
2023-07-13 10:59:42
286阅读
了解大数据首先要从大数据的概念开始，不同于人工智能概念，大数据概念还是相对比较明确的，而且大数据的技术体系也已经趋于成熟了。解释大数据概念，可以从数据自身的特点入手，然后进一步从场景、应用和行业来逐渐展开。大数据技术的特点都有哪些。 大数据的四个特点分析介绍 1.大量。大数据的特征先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需求
转载
2023-10-20 13:48:32
75阅读
大数据中心平台一般是三个部分：大数据、超算、云计算，三个部分进行混搭以满足不同数据处理场景。本人目前接触的为大数据，大数据正常分为三个模块： 1）大数据平台建设目前是Hadoop平台（java技能，接触最多的是HW的FI大数据业务平台）； 2）大数据计算(数字敏感性，常用计算语言HQL、CQL、Scala) 3）大数据挖掘（算法技能,常用实现语言python） 目前因为岗位需要，目前在
转载
2023-07-18 15:05:32
197阅读
我的数据平台需要具备哪些能力？以及数据平台技术选型及理由本文就针对以上两个问题为大家进行一次概述数据平台应该具备的能力一、应该具有多维度抓取数据的能力,能够通过ETL或者数据流组件的方式 ETL，是英文 Extract-Transform-Load 的缩写，用来把数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至数据仓库的过程。源端一般包括各种数据库，日志文
转载
2023-09-28 00:40:36
221阅读
大数据 ”这个概念火了很久，但又很不容易说得清楚（不然呢？怎么会是个位数的回答），这时候买本书来看看可能会更香。 先说结论——大数据技术，其实就是一套完整的“数据+业务+需求”的解决方案。 它其实是一个很宽泛的概念，涉及五个领域： 1. 业务分析；2.数据分析；3.数据挖掘；4.机器学习；5.人工智能。从1到5，越来越需要技术背景；从5到1，越来越贴近具体业务。 其实，除了像搜索引擎这样依靠数据技
转载
2023-10-20 06:49:32
46阅读
通过快速部署、很低的资本成本和可扩展性，云计算给公司企业了巨大的价值。然而，选择IaaS解决方案还是PaaS解决方案对云项目的回报速度以及应用程序开发创造价值的时间会有重大影响。将大数据解决方案部署到云端时，一个早期的讨论点和常见的架构决定就是选择IaaS解决方案，还是选择PaaS解决方案。大多数大型云服务提供商同时提供高度专业化的PaaS功能和比较灵活的IaaS功能，让架构师可以选择合理兼顾功能
转载
2023-11-15 12:53:20
87阅读
导言在前面的文章《「大数据技术体系」学习实践导览》(https://blog.51cto.com/yaocoder/5711005)中，概要式的梳理了大数据平台的业务目标，大数据平台的架构框架，大数据平台中常用的技术及工具，数据治理四方面的内容，算是对自身所了解大数据知识体系的抛砖引玉。今天想以自身的经历和实践经验，分享一下大数据平台的技术生态、开发管理与应用架构。为求简明扼要，内容主要以图示概览
原创
精选
2022-12-15 09:24:47
1410阅读
大数据可以实时地为企业撷取、管理、处理、整理数据，生成企业所需要的数据资料，因此大数据也蕴含着很高的商业价值，被称为“数字生产力”。所以越来越多的企业开始重视大数据建设。那么大数据分析技术有什么特点? 1大数据基础上发明的软件被广泛应用 近几年随着大数据技术在我国各行各业都被广泛应用，使其走向信息化和科技化。其中在大数据技术基础上发明的Ha⁃doop分布式处理软件、Hbase数据库及一些可
转载
2024-01-13 20:14:09
32阅读
# 阿里大数据平台技术架构解析
随着互联网技术的发展，数据的产生和积累逐渐呈现出爆炸性增长。以阿里巴巴为代表的企业，纷纷建立了大数据平台来应对海量数据的处理和分析需求。本文将简要介绍阿里大数据平台的技术架构，并通过代码示例和图示来帮助读者更好地理解。
## 阿里大数据平台概述
阿里大数据平台是一个综合性的解决方案，主要由数据采集、存储、处理和分析等多个模块构成。其核心目标是实现数据的高效存储
# Hadoop大数据平台技术组件实现流程
## 1. 介绍
在开始教授如何实现Hadoop大数据平台技术组件之前，我们先来了解一下Hadoop大数据平台的基本概念和组成部分。
Hadoop大数据平台是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。它主要由以下几个组件组成：
- Hadoop Distributed File System (HDFS)：分布式文件系统，用于存储
原创
2023-08-31 09:53:08
50阅读
# 构建大数据平台技术实现架构
## 引言
作为一名经验丰富的开发者，我将向你介绍如何实现“大数据平台技术实现架构”。在这个过程中，我将指导你完成每一个步骤，为你提供必要的代码示例和解释。
## 流程图
```mermaid
gantt
title 大数据平台技术实现架构流程图
section 定义需求
定义需求 :done, 2022-01-01, 3d
原创
2024-05-23 03:58:56
11阅读
# 大数据平台主流技术架构
随着互联网的迅猛发展，数据量呈指数级增长。大数据技术应运而生，旨在解决数据存储、处理和分析的各种挑战。在这些技术中，主流架构通常包括数据采集、存储、处理和可视化四个部分。本文将具体阐述大数据平台的主要技术架构，并提供代码示例。
## 1. 数据采集
数据采集是大数据平台的第一步，通常使用工具如 **Apache Nifi** 或 **Kafka**。这些工具能够实
原创
2024-10-07 03:16:09
147阅读
## PaaS大数据平台技术架构的复盘记录
在IT行业背景下，随着大数据技术的快速发展，PaaS（平台即服务）大数据平台逐渐成为企业数据处理的重要解决方案。自2015年以来，越来越多的企业开始为处理和分析大量数据而上云，这一趋势推动了大数据平台PaaS架构的不断演进。在这篇文章中，我将详尽记录解决PaaS大数据平台技术架构问题的过程，包含背景描述、技术原理、架构解析、源码分析、性能优化和总结与展
