选择题1.下面哪个程序负责 HDFS数据存储:( C ) A. NameNode B. Jobtracker C. Datanode D. secondaryNameNode2.HDfS 中的 block 默认保存几份:(A) A.3份 B.2 份 C.1 份 D.不确定3.下面哪个程序负责HDFS数据存储:( C ) A.NameNode B.Jobtracker C.Datanode D
数据分析步骤(流程)的重要性体现在对如何开展数据分析提供了强有力的逻辑支撑
原创
2023-01-19 11:27:35
171阅读
大数据导论大数据概念大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要更新处理模式才能处理的海量信息资产。 最小的基本单位是bit，按照顺序给出所有单位：bit byte KB MB GB TB PB EB ZB YB BB NB DB 进制都是1024 1Byte = 8bit 1K = 1024B ... 1D = 1024...
原创
2021-08-26 09:53:20
256阅读
1.三类框架：批处理框架、流式处理框架、交互式处理框架。2.分而治之的思想：将数据处理拆分主要的为Map和 Reduce两步3.主要阶段：input、split、Ma成（word，1）
原创
2024-04-16 13:34:54
113阅读
绪论什么是数据挖掘数据挖掘是再大型数据存储库中，自动地发现有用信息的过程。（发现先前未知的有用模式，还可以预测未来观测结果）并非所有的信息发现都视为数据挖掘，例使用数据库查找个别的记录或通过因特网查找特定的Web页面，则是信息检索。尽管如此，人们也在利用数据挖掘技术增强信息检索系统的能力。数据挖掘是数据库中知识发现（KDD）不可缺少的一部分。而KDD是将未加工的数据转换为有用信息的整个过程。KDD
转载
2024-01-16 16:41:49
76阅读
大数据时代最早提出来`大数据`时代到来的是全球知名咨询公司“麦肯锡”，其称为：“数据，已经到当今每一个行业和业务职能领域，称其重要的生产因素，人们对于海量数据挖掘和运用，预示着新一波生产效率和消费者盈余浪潮的到来。”
原创
2022-06-13 19:08:34
402阅读
点赞
大数据导论大数据概念大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要更新处理模式才能处理的海量信息资产。 最小的基本单位是bit，按照顺序给出所有单位：
原创
2022-02-15 11:49:25
162阅读
第一章1. 大数据是指规模庞大、复杂多样且难以通过传统数据处理方法进行处理和分析的数据集合。它通常具有高速生成、快速流动和多样化的特点。2. 大数据相关特征的挑战和相应措施：- 数据体量大（Volume）：大数据处理面临海量数据的存储、处理和分析挑战。解决方法包括分布式存储系统（如Hadoop HDFS）和分布式计算框架（如Spark）等，以实现数据的存储、并行处理和扩展性。- 数据流动性高（Ve
转载
2023-11-30 11:15:42
256阅读
本文所使用的书籍为《数据挖掘导论》第一章 绪论 数据挖掘是一种技术，它将传统的数据分析方法与处理大量数据的复杂算法相结合。 1.1 什么是数据挖掘 数据挖掘是在大型数据存储库中，自动地发现有用信息的过程。下面是数据库中知识发现（KDD）过程：数据预处理的目的是将未加工的输入数据转换成适合分析的形式。数据预处理设计的步骤包括融合来自多个数据源的数
转载
2024-07-08 15:58:59
67阅读
最近在读《Introduction to Data Mining 》这本书，发现课后答案只有英文版，于是打算结合自己的理解将答案翻译一下，其中难免有错误，欢迎大家指正和讨论。侵删。第八章（上） 压缩前：220 × 32 × 4 = 134217728 bytes 压缩后：216 × 32 × 4 = 8388608 bytes 压缩率16 （a）当数据中有划分结构时。即存在子簇。 （b）当数据需要
转载
2023-12-17 11:01:06
171阅读
一、大数据课程导论1. 大数据概念最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，大数据是当前很热的一个词。这几年来，云计算、继而大数据，成了整个社会的热点，大数据究竟是什么东西?有哪些相关技术?对普通人的生活会有怎样的影响?我们来一步步弄清这些问题。在讲什么是大数据之前，我们首先需要厘清数据的基本概念。数据数据是可以获取和存储的信息，直观而言，表达某种客观事实的数值是最容易被人们识别的数据
转载
2023-11-23 14:26:24
78阅读
读者们可以通过此博客初步了解大数据技术的整体框架和使用流程，让读者们更加直观的感受到大数据的魅力。Chapter1 | 大数据技术与应用概述1、大数据的概念1、什么是Big Data?2、大数据的五大特征2、大数据的历史发展1、物联网（Internet of things）2、云计算(Cloud computing)3、云平台（Cloud Platform）4、云计算的关键技术5、大数据、云...
原创
2022-04-21 10:52:43
866阅读
读者们可以通过此博客初步了解大数据技术的整体框架和使用流程，让读者们更加直观的感受到大数据的魅力。Chapter1 | 大数据技术与应用概述1、大数据的概念1、什么是Big Data?2、大数据的五大特征2、大数据的历史发展1、物联网（Internet of things）2、云计算(Cloud computing)3、云平台（Cloud Platform）4、云计算的关键技术5、大数据、云...
原创
2021-09-03 11:51:40
304阅读
1.试述MapReduce和Hadoop的关系。Google公司最先提出了分布式并行编程模型MapRedece ，Hadoop是一个实现了MapReduce模式的开源的分布式并行编程框架。Google的MapReduce运行在分布式文件系统GFS上，与Google类似，HadoopMapReduce运行在分布式文件系统HDFS上。相对而言，HadoopMapReduce要比GoogleMapRed
转载
2023-10-05 22:02:40
1032阅读
# 学习Spark大数据技术与应用的入门指南
对于刚入行的小白来说，学习Spark大数据技术可能会觉得有些复杂。但只要掌握了必要的流程和代码示例，你也能顺利上手。下面我将为你提供一个学习Spark的流程步骤以及每一步的具体实现。
## Spark学习流程
| 步骤 | 描述 |
|------|--------------------------|
|
分类 (classification) 分类任务 就是通过学习得到一个目标函数(target function)f,把每个属性集x映射到一个预先定义的类标号y。目标函数也称分类模型(classfication model).分类模型可以用于以下目的。 关键是结果是离散的。这正是区别分类与回归(regression) 的关键特征。回归是一种预测建模任务，其中目标属性y是连续的。 比如Support
随着互联网高速发展，网络数据呈现出指数级别的快速增长，针对海量数据处理的大数据解决方案应运而生。ShowMeAI将在接下来的内容中逐步展开讲解大数据生态工具的应用，以及大数据的处理分析挖掘方法。
原创
2022-03-12 12:18:36
8472阅读
点赞
Hadoop大数据技术复习资料 钟兴宇1.选择题15空，共30分。Hadoop以HDFS（Hadoop Distributed File System，Hadoop 分布式文件系统）和MapReduce（Google MapReduce 的开源实现）为核心。hadoop三种安装方式：单体，伪分布式，完全分布式Hadoop集群启动时个进程的启动顺序：namenode，datanode，secondn
转载
2023-11-16 13:38:38
186阅读
数据挖掘导论读书笔记之绪论
数据挖掘与知识发现
输入数据：输入各种形式存储，而且能够驻留在几种的数据存储库中，活分布在多个网站上。 数据预处理：将未加工的输入数据转换成适合分析的形式。 包含：融合来自多个数据源的数据。清洗数据，以及消除噪声和反复的观測值，选择与当
Spark的基础编程Spark的一些基本概念1.RDD：弹性分布式数据集，是分布式内存的一个抽象概念，提供了一种高度受限的共享内容模型，即RDD是只读的记录分区的集合，只能基于稳定的物理存储中的数据集来创建RDD，或者通过其它RDD上执行确定的转换操作（如map,join,group by）来创建，这些限制使得实现容错的开销很低。一个RDD 就是一个分布式对象集合，作为数据结构，RDD本质上是一个
转载
2023-11-01 20:24:27
170阅读
