分类目录：《大数据与云计算》总目录所谓“大数据”，指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。大数据处理技术代表了新一代的技术架构，这种架构通过高速获取数据并对其进行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息，而大数据主要被用于分析和决策
原创
2022-01-24 17:32:28
881阅读
1、大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力。从采用数据库作为数据管理的主要方式开始，人类社会的数据产生方式经历了巨大变化，最 ...
转载
2021-09-09 10:34:00
149阅读
2评论
1.为什么会产生大数据技术？ 大数据的产生具有天时地利人和的有利条件。天时：大数据的产生具有时间上的连续性。以往的数据都是与一定的运营活动相伴出现的，并且需要进行专门的存储阶段。这个时期的数据是被动产生的，这些数据是运营式的传统数据。但是在大数据时代，随着计算机技术、云计算存储技术和自媒体技术的迅猛 ...
转载
2021-09-10 15:25:00
181阅读
2评论
大数据概述大数据概述大数据概述1-1 课程导学1-2 学前必读1-3 课程目录1-4 从一个案例说起1-5 什么是大数据以及大数据的4V特征1-6 大数据带来的技术变革1-7 大数据现存的模式1-8 大数据的技术概念1-9 大数据带来的挑战1-10 如何对大数据进行存储和分析1-11 大数据典型应用...
原创
2021-08-02 14:53:07
317阅读
3V体量巨大类型繁多处理速度快5V价值密度低真实准确维基百科：大数据指通过常用软件捕获，管理和处理数据所耗费时间超过可容忍时间的数据集。
原创
2023-12-28 09:59:49
80阅读
目录02-01-什么是大数据02-02-数据仓库和大数据搭建数据仓库的过程.png02-03-OLTP和OLAP02-04-分布式文件系统的基本思想分布式文件系统的基本思想.png02-05-什么是机架感知机架感知的基本思想.png02-06-什么是倒排索引什么是索引.png什么是倒排索引.png02-07-HDFS的体系架构和Demo演示02-08-什么是PageRankGoogle的向量矩阵.
转载
2023-09-05 19:31:28
67阅读
一、大数据技术与应用入门培训教程大纲 1.1.大数据定义与解决方案 1.2.大数据行业应用 1.3.大数据技术学习前景 1.4.大数据从业岗位要求 1.5.大数据常用概念
转载
2023-07-25 11:47:14
67阅读
大数据课程介绍什么是大数据：海量数据的处理大数据用在哪：用在需要对海量数据进行处理的任何场合大数据学什么： （1）学分布式系统的思想 （2）学框架基础课程内容介绍Linux & Shell编程基础 Hadoop Mapreduce数据的处理流程： 收集数据—>web服务器，打日志–flume，sqoop–>hadoop(hdfs)----->数据的清理----->数
转载
2023-08-10 22:13:29
50阅读
目录1 Flink概述1.1 框架版本1.2 编程语言2 实时即未来3 富二代Flink4 Flink官方介绍5 Flink组件栈6 Flink基石7 Flink用武之地 1 Flink概述 1.1 框架版本 Flink1.12.0可以称得上是一个里程碑版本，由近 300 位开发者参与贡献者，提交了超过 1000多个修复或优化
原创
2021-05-05 11:08:11
394阅读
目录1 YARN 架构概述1.1 原MapReduce框架的不足2 HDFS、YARN、MapReduce 三者关系2.1 Yarn 的工作流程3 HADOOP之YARN详解4 YARN中支持三种调度器4.1 FIFO Scheduler4.2 CapacityScheduler4.3 FairScheduler5 案例：
原创
2021-04-10 11:14:35
232阅读
1.为什么产生大数据技术？ 随着互联网时代的发展以及人们生活方方面面的交流需求，每天的信息和数据产量膨胀式增长，以往的技术已不能满足当下发展的要求，大数据技术应运而生。 2.为什么要学习大数据技术？ （1）大数据的特点奠定了他的地位：①数据类型繁多②处理速度快③价值密度低 （2）大数据对科学研究产生 ...
转载
2021-09-07 15:09:00
60阅读
2评论
1.为什么产生大数据技术？ 大数据就是曾经被称为数据仓库的逻辑延伸。顾名思义，大数据就是一个大型的数据仓库，一般有一个能支持业务决策的业务重点。如果是链接到客户的所有记录呢?将这么多不同的数据源互相映射，一般的数据库还做不到。另外，需要链接的数据量是非常巨大的。这就产生了大数据概念。大数据使用特殊的 ...
转载
2021-09-09 14:52:00
61阅读
2评论
文章目录大数据时代的数据特点大数据时代的关键技术大数据时代的数据特点一般认为，大数据主要具有 四方面的典型特征——
什么是大数据 电商推荐系统 大量订单如何存储（十年） 大量的订单如何计算（不关心算法） 天气预报 大量的天气数据如何存储 大量天气数据如何计算 核心问题 数据的存储：分布式文件系统（HDFS） 数据的计算：分布式计算（MapReduce、Spark RDD） 数据仓库 传统方式：搭建数据仓库（Dat
转载
2020-03-26 20:29:00
149阅读
2评论
# 大数据架构概述
## 理解大数据架构
大数据架构是指用于处理海量数据的体系结构，通常包括存储、计算、处理和分析等组件。在今天的数据驱动时代，大数据架构越来越受到关注和重视。Kubernetes（K8S）是一种流行的容器编排工具，可以用于构建和管理大数据架构。
## 实现大数据架构概述的步骤
下面是实现大数据架构概述的步骤：
| 步骤 | 描述 |
| :---: | :--- |
|
原创
2024-04-24 12:04:42
51阅读
大数据架构是指一种用于处理和管理大量数据的系统架构设计，其目标是确保数据处理的速度、准确性、可靠性和扩展性。大数据架构通常用于构建支持数据分析、数据流处理和机器学习的平台。其主要包括四大模块：数据采集 - 从不同数据源收集数据。数据存储 - 将数据存储在合适的数据库或分布式文件系统中。数据处理 - 数据处理引擎用于分析和加工数据。数据展示 - 通过可视化或报告工具展示结果。技术栈与核心组件大数据架
一、大数据知识概述 1、什么是大数据 当你的数据集变得非常庞大，以致于你的需要开始创新，以便更好地收集、存储、组织
原创
2022-08-11 17:10:05
230阅读
目录1 Hadoop 概述1.1、 Hadoop的介绍1.1 Hadoop 是什么1.2 Hadoop 发展历史1.2.1 Google的基本思想：三驾马车1.2.2 分布式文件系统的核心架构和原理2 hadoop的历史版本和发行版公司2.1 Hadoop历史版本2.2 Hadoop三大发行版公司3 Hadoop 优势（4
原创
2021-03-14 11:02:15
490阅读
