一、天气案例：细粒度介绍计算框架（1）需求：找出每个月气温最高的2天（2）思路每年每个月最高2天1天多条记录？进一部思考：年月分组温度升序key中要包含时间和温度呀！MR原语：相同的key分到一组，通过GroupCompartor设置分组规则（3）实现具体思路自定义数据类型Weather：包含时间包含温度自定义排序比较规则自定义分组比较：年月相同被视为相同的key那么reduce迭代时，相同年月的
转载
2023-08-31 13:08:58
67阅读
文章目录Hadoop（伪分布）+ Spark（Local）软件安装及环境配置前言一、安装虚拟机1.下载Ubuntu16.04镜像二、Hadoop安装及配置（伪分布式）1.创建hadoop用户2.更新apt3.安装SSH、配置SSH无密码登陆4.安装Java环境5.安装Hadoop3.1.36.Hadoop伪分布式配置三、安装 Spark2.4.01.下载Spark2.4.02.安装Spark（L
转载
2023-08-30 15:38:31
3阅读
1.1 数据集本案例中的数据来自于爱彼迎（Airbnb）网站2018-2019年度的多伦多市的真实数据。数据集中包含listings数据集，约有2万条数据，记录着所有的房屋信息，包括价格在内的几十项信息字段。数据集中的另一个数据集是calendar，包含约650万条的租房交易数据，拥有每一天每一所住房的入驻信息。1.2 数据分析思路梳理常规数据分析，数据字段载入和常见数据ETL四板斧的清洗处理方法
转载
2023-08-07 21:46:07
590阅读
大数据大数据（big data） ： 指无法在一定时间范围内使用常规软件工具进行捕捉、管理和处理的数据集合，是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的 海量、高增长率和多样化的信息资产大数据特点（4V）：Volume 大量Velocity 高速Variety 多样Value 低价值密度HadoopHadoop 是由 Apache 基金会所开发的 分布式系统基础框架，主要解决
转载
2023-08-30 15:39:22
104阅读
Hadoop一、大数据数据分析的基本流程明确分析目的和思路==》数据收集==》数据处理==》数据分析==》数据展现==》报表撰写大数据的5V特征Volume 数据体量大采集数据量大存储数据量大计算数据量大TB、PB级别起步Variety 种类、来源多样化种类：结构化、半结构化、非结构化来源：日志文本、图片、音频、视频Value 低价值密度信息海量但是价值密度低深度复杂的挖掘分析需要机器学习参与Ve
转载
2023-10-25 12:54:31
126阅读
数据分析的算法复杂度 根据不同的业务需求，数据分析的算法也差异巨大，而数据分析的算法复杂度和架构是紧密关联的。举个例子，Redis是一个性能非常高的内存Key-Value NoSQL，它支持List和Set、SortedSet等简单集合，如果你的数据分析需求简单地通过排序，链表就可以解决，同时总的数据量不大于内存 (准确地说是内存加上虚拟内存再除以2)，那么无疑使用Redis会达到非常惊人的分
转载
2023-07-14 20:11:12
206阅读
学习目的· 了解大数据的概念及其特征· 了解Hadoop的优势· 掌握Hadoop的生态体系Hadoop作为一个能够对大量数据进行分布式处理的软件框架，用户可以利用Hadoop生态体系开发和处理海量数据。由于Hadoop可靠及高效的处理性能，逐渐成为分析大数据的领先平台。1.1 什么是大数据从字面意思上看，大数据指的是巨量数据。但是，每个人对大数据的理解是不同的，难以有一个准确的定义。最早提出“大
转载
2023-08-27 23:03:36
107阅读
Hadoop模式HDFS概述优点缺点基本组成NameNodeSecondary NameNodeDataNodeYARNYARN调度器（Scheduler）FIFO SchedulerCapacity ScheduleFair SchedulerMapReduce设计思想编程模型初识MapReduce模型MapReduce模型简单示例MapReduce编程模型编程模型实例-分析好友关注Hive体系
转载
2024-10-12 11:14:36
23阅读
大数据真的太神奇了，真的可以让改变一个企业的运营吗?答案是肯定的。大数据目前是当下最火热的词了，你要是不知道大数据这个概念，都不好意思在众人面前开口了。然而实际上很多人都对大数据的应用模糊不清。现在就让我们从下面几个大数据应用案例来了解下最真实的大数据故事把，并鲜明得了解大数据在生活当中实际应用的情况。金融大数据 理财利器:大数据在金融行业应用范围较广，典型的案例有花旗银行利用IBM沃森电脑为财富
转载
2023-10-11 10:27:34
28阅读
专栏目录(1)大数据和应用场景介绍(2)大数据技术综述总结(3)HDFS原理与高可用技术原理介绍(4)Yarn架构、资源管理原理和运维技术介绍(5)Kafka原理和高可用介绍1.技术发展综述 (1)两大重要事件
大数据技术发展的基础：03和04年Google开源了GFS以及MapReduce这两篇论文。其中，
GFS
(Google
转载
2024-01-10 22:14:34
53阅读
最近在收集整理大数据入门文章，各位盆友关注点赞不迷路，每天都要开心鸭！一、背景及概念背景：经过自己三年多的接触，个人谈一些自己的愚见。我们之所以用Hadoop，是因为关系型数据库已经不能满足我们对数据处理的要求。比如我们要进行数据的追溯以及关联，简单的关系型数据库经过优化以及处理没有办法满足我们对于数据的即时性要求。所以通过Hadoop，我们可以将数据放到Hive通过MR或者Impala去计算查询
转载
2023-07-25 20:08:28
91阅读
本文所需文件(Vmware虚拟机、密匙、乌班图系统、JDK、Hadoop）链接：https://pan.baidu.com/s/1yU5s36Rgl_jE_mAmHsJBfQ?pwd=i5s6 提取码：i5s6一、Linux操作系统的安装二、Hadoop的伪分布式安装1.配置ssh无密登录(1)安装sshsudo apt-get install ssh(2)产生SSH Keyssh-k
转载
2023-08-15 23:50:40
185阅读
一、大数据概述 大数据四个特征：数据量大，数据类型繁多，处理速度快，价值密度低。 大数据的构成：结构化数据，半结构化数据，非结构化数据。 大数据计算模式：批处理计算(MapReduce,Spark)，流计算(Storm,Flume)，图计算，查询分析计算(Hive)。 大数据与云计算、物联网：云计算为大数据提供了技术基础，大数据为云计算提供了用武之地；物联网是大数据的重要来源，大数据技术为物联网数
转载
2023-07-14 09:41:40
154阅读
1.本地数据集上传到数据仓库Hive1.1命令sudo mkdir -R /usr/local/bigdatacase/dataset
//这里会提示你输入当前用户（本教程是hadoop用户名）的密码
//下面给hadoop用户赋予针对bigdatacase目录的各种操作权限
cd /usr/local/
sudo chown -R hadoop:hadoop ./bigdatacase
转载
2023-07-17 22:31:15
180阅读
大数据技术栈——Hadoop概述1 引例2 MapReduce3 HDFS4 Hadoop5 HBase5.1 逻辑模型5.2 物理模型5.3 Region服务器6 Hive7 Pig8 ZooKeeper8.1 ZooKeeper的特性8.2 ZooKeeper的设计目标 1 引例 Hadoop是专为离线和大规模数据分析而设计的，上图Hadoop整体技术框架描述。（为了方便学习，会先介绍Map
转载
2023-07-24 11:13:41
97阅读
大数据技术原理与应用概述大数据不仅仅是数据的“大量化”，而是包含“快速化”、“多样化”和“价值化”等多重属性。两大核心技术：分布式存储和分布式处理大数据计算模式批处理计算流计算图计算查询分析计算大数据具有数据量大、数据类型繁多、处理速度快、价值密度低等特点。HadoopHadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于
转载
2023-09-13 23:02:48
135阅读
大数据分析和Hadoop是当前使用的两个最熟悉的术语。两者之间是相互关联的，如果不使用Hadoop，就无法处理大数据分析。在本文中，我将向您简要介绍大数据分析与Hadoop的区别和联系： 1、大数据导论 2、什么是大数据分析? 3、Hadoop简介 4、大数据分析与Hadoop：大数据分析与Hadoop之间的区别与联系 一、大数据导论 大数据是一个大而复杂的数据集的集合，很难使用可
转载
2023-09-22 13:06:04
81阅读
这是一本书的名字，叫做【Hadoop大数据分析与挖掘实战】，我从2017.1开始学习 软件版本为Centos6.4 64bit，VMware，Hadoop2.6.0，JDK1.7. 但是这本书的出版时间为2016.1，待到我2017.1使用时，一部分内容已经发生了翻天覆地的变化。 于是我开始写这么一个博客，把这些记录下来。 我使用的软件版本为：软件版本操作系统CentOS 7 64bi
转载
2024-06-18 08:41:59
16阅读
# 大数据分析与Hadoop
## 简介
随着互联网的快速发展，我们每天都产生大量的数据，例如社交媒体上的帖子、电子商务平台的交易记录以及传感器收集到的数据等。这些数据可以提供很多有价值的信息，但是由于数据量过大以及数据的复杂性，传统的数据处理方法已经无法胜任。因此，大数据分析技术应运而生。
大数据分析是指通过对大规模数据集进行提取、处理和分析，从中挖掘出有用的信息和模式，以支持决策和解决问
原创
2023-11-19 15:58:08
70阅读
购物信息分析基于spark目录本案例中三个文案例中需要处理的文件为 order_goods.txt、products.txt 以及 orders.txt 三个文件，三个文件的说明如下一、本实训项目针对实验数据主要完成了哪些处理？二、Hadoop+Spark集群环境的搭建步骤有哪些？（只介绍完全分布式集群环境的搭建）三、本人在搭建Hadoop+Spark完全分布式集群过程中出现了哪些问题？如何解决的
转载
2023-10-30 14:12:30
225阅读
