分类目录：《大数据与云计算》总目录所谓“大数据”，指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。大数据处理技术代表了新一代的技术架构，这种架构通过高速获取数据并对其进行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息，而大数据主要被用于分析和决策
原创
2022-01-24 17:32:28
881阅读
1、大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力。从采用数据库作为数据管理的主要方式开始，人类社会的数据产生方式经历了巨大变化，最 ...
转载
2021-09-09 10:34:00
149阅读
2评论
1.为什么会产生大数据技术？ 大数据的产生具有天时地利人和的有利条件。天时：大数据的产生具有时间上的连续性。以往的数据都是与一定的运营活动相伴出现的，并且需要进行专门的存储阶段。这个时期的数据是被动产生的，这些数据是运营式的传统数据。但是在大数据时代，随着计算机技术、云计算存储技术和自媒体技术的迅猛 ...
转载
2021-09-10 15:25:00
179阅读
2评论
大数据概述大数据概述大数据概述1-1 课程导学1-2 学前必读1-3 课程目录1-4 从一个案例说起1-5 什么是大数据以及大数据的4V特征1-6 大数据带来的技术变革1-7 大数据现存的模式1-8 大数据的技术概念1-9 大数据带来的挑战1-10 如何对大数据进行存储和分析1-11 大数据典型应用...
原创
2021-08-02 14:53:07
317阅读
3V体量巨大类型繁多处理速度快5V价值密度低真实准确维基百科：大数据指通过常用软件捕获，管理和处理数据所耗费时间超过可容忍时间的数据集。
原创
2023-12-28 09:59:49
80阅读
目录1 Flink概述1.1 框架版本1.2 编程语言2 实时即未来3 富二代Flink4 Flink官方介绍5 Flink组件栈6 Flink基石7 Flink用武之地 1 Flink概述 1.1 框架版本 Flink1.12.0可以称得上是一个里程碑版本，由近 300 位开发者参与贡献者，提交了超过 1000多个修复或优化
原创
2021-05-05 11:08:11
394阅读
目录1 YARN 架构概述1.1 原MapReduce框架的不足2 HDFS、YARN、MapReduce 三者关系2.1 Yarn 的工作流程3 HADOOP之YARN详解4 YARN中支持三种调度器4.1 FIFO Scheduler4.2 CapacityScheduler4.3 FairScheduler5 案例：
原创
2021-04-10 11:14:35
232阅读
1.为什么产生大数据技术？ 随着互联网时代的发展以及人们生活方方面面的交流需求，每天的信息和数据产量膨胀式增长，以往的技术已不能满足当下发展的要求，大数据技术应运而生。 2.为什么要学习大数据技术？ （1）大数据的特点奠定了他的地位：①数据类型繁多②处理速度快③价值密度低 （2）大数据对科学研究产生 ...
转载
2021-09-07 15:09:00
60阅读
2评论
1.为什么产生大数据技术？ 大数据就是曾经被称为数据仓库的逻辑延伸。顾名思义，大数据就是一个大型的数据仓库，一般有一个能支持业务决策的业务重点。如果是链接到客户的所有记录呢?将这么多不同的数据源互相映射，一般的数据库还做不到。另外，需要链接的数据量是非常巨大的。这就产生了大数据概念。大数据使用特殊的 ...
转载
2021-09-09 14:52:00
61阅读
2评论
文章目录大数据时代的数据特点大数据时代的关键技术大数据时代的数据特点一般认为，大数据主要具有 四方面的典型特征——
什么是大数据 电商推荐系统 大量订单如何存储（十年） 大量的订单如何计算（不关心算法） 天气预报 大量的天气数据如何存储 大量天气数据如何计算 核心问题 数据的存储：分布式文件系统（HDFS） 数据的计算：分布式计算（MapReduce、Spark RDD） 数据仓库 传统方式：搭建数据仓库（Dat
转载
2020-03-26 20:29:00
149阅读
2评论
# 大数据架构概述
## 理解大数据架构
大数据架构是指用于处理海量数据的体系结构，通常包括存储、计算、处理和分析等组件。在今天的数据驱动时代，大数据架构越来越受到关注和重视。Kubernetes（K8S）是一种流行的容器编排工具，可以用于构建和管理大数据架构。
## 实现大数据架构概述的步骤
下面是实现大数据架构概述的步骤：
| 步骤 | 描述 |
| :---: | :--- |
|
原创
2024-04-24 12:04:42
51阅读
大数据架构是指一种用于处理和管理大量数据的系统架构设计，其目标是确保数据处理的速度、准确性、可靠性和扩展性。大数据架构通常用于构建支持数据分析、数据流处理和机器学习的平台。其主要包括四大模块：数据采集 - 从不同数据源收集数据。数据存储 - 将数据存储在合适的数据库或分布式文件系统中。数据处理 - 数据处理引擎用于分析和加工数据。数据展示 - 通过可视化或报告工具展示结果。技术栈与核心组件大数据架
一、大数据知识概述 1、什么是大数据 当你的数据集变得非常庞大，以致于你的需要开始创新，以便更好地收集、存储、组织
原创
2022-08-11 17:10:05
230阅读
目录1 Hadoop 概述1.1、 Hadoop的介绍1.1 Hadoop 是什么1.2 Hadoop 发展历史1.2.1 Google的基本思想：三驾马车1.2.2 分布式文件系统的核心架构和原理2 hadoop的历史版本和发行版公司2.1 Hadoop历史版本2.2 Hadoop三大发行版公司3 Hadoop 优势（4
原创
2021-03-14 11:02:15
490阅读
1.为什么产生大数据技术？随着互联网技术的不断发展，信息量也就日益庞大，使得当下的我们处在一个信息爆炸的时代，信息的爆炸意味着数据的爆炸。首先，大数据的产生具有时间上的连续性，数据的发展过程中慢慢脱离了人类主动存储的活动，打破了以往的时间限制，可以自发地、不中断地产生数据。其次，大数据的产生不受地域 ...
转载
2021-09-09 19:13:00
70阅读
2评论
1.为什么产生大数据技术？ （3V） a.大数据类型很多，应人类需求而生。 b.从经历过的三次数据爆炸来看，数据所蕴含的价值会从量变发展到质变。互联网、大数据、云计算、物联网使得产生的数据量远超人类所能控制的范围。 c.处理速度同产生速度快 2.为什么要学习大数据技术？ （1）、相比过去的科学分析， ...
转载
2021-09-06 20:43:00
80阅读
2评论
1、kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理。 还有哪些模式的消息队列？--点对点模式 2、kafka也是处于消息传输中间流程组件。主要用于处理两个系统之间的消息传递。 3、消息队列。为什么要引入消息队列？ 同步处理：即发出消息，用 ...
转载
2021-08-24 00:23:00
290阅读
2评论
