目录 MapReduce理论简介 MapReduce编程模型 MapReduce处理过程 运行WordCount程序 准备工作 运行例子 查看结果 WordCount源码分析 特别数据类型介绍 旧的WordCount分析 新的WordCount分析 WordCount处理过程 MapReduce新旧改变 hadoop MapReduce实例详解 1、MapRedu
如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。
有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我
转载
2024-04-16 15:25:39
82阅读
一、上次课回顾二、从宏观角度看RDD三、RDD-map算子详解四、RDD-filter结合map算子详解五、RDD-mapValues算子详解六、RDD常用action算子一、上次课回顾1、若泽数据B站视频Spark基础篇05-Spark-RDD的创建二、从宏观角度看RDD从宏观角度看RDD operations:官网描述：RDDs support two types of operations
转载
2023-12-03 09:07:53
442阅读
# Spark编程经典综合案例
Apache Spark 是一个开源的分布式计算框架，它能够处理大规模的数据集，并支持多种编程语言，包括 Java、Scala 和 Python。Spark 的核心优势在于其快速计算、易于使用的 API 以及良好的扩展性。在本文中，我们将通过一个综合案例来展示 Spark 的基本使用，同时提供代码示例和类图、流程图。
## 案例：用户行为分析
我们将以一个用户
为什么需要Spark？MapReduce的缺陷第一，MapReduce模型的抽象层次低，大量的底层逻辑都需要开发者手工完成。
第二，只提供Map和Reduce两个操作。
举个例子，两个数据集的Join是很基本而且常用的功能，但是在MapReduce的世界中，需要对这两个数据集 做一次Map和Reduce才能得到结果。
第三，在Hadoop中，每一个Job的计算结果都会存储在HDFS文件
转载
2023-12-19 16:11:41
46阅读
为什么需要Spark？MapReduce的缺陷第一，MapReduce模型的抽象层次低，大量的底层逻辑都需要开发者手工完成。
第二，只提供Map和Reduce两个操作。
举个例子，两个数据集的Join是很基本而且常用的功能，但是在MapReduce的世界中，需要对这两个数据集 做一次Map和Reduce才能得到结果。
第三，在Hadoop中，每一个Job的计算结果都会存储在HDFS文件存储系统中，
转载
2024-01-23 16:44:23
56阅读
1.配置hadoop 使用符号连接的方式，让三种配置形态共存。（独立模式，伪分布模式，完全分布模式） （1）创建三个配置目录,内容等同于hadoop目录 ${hadoop_home}/etc/local
${hadoop_home}/etc/pesudo
${hadoop_h
转载
2024-02-02 08:45:16
92阅读
文章目录输出单科成绩为100分的学生ID使用union()合并多个RDD使用filter()进行过滤使用distinct()进行去重简单的集合操作intersection()subtract()cartesian()任务实现创建数据RDD通过filter操作过滤出成绩为100分的学生数据，并通过map提取学生ID通过union操作合并所有ID，并利用distinct去重输出每位学生所有科目的总成
转载
2023-11-02 14:15:24
307阅读
Hadoop实例视频教程-深入浅出Hadoop实战开发Hadoop是什么，为什么要学习Hadoop?Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并
转载
2024-06-20 10:34:30
73阅读
1、join 的使用将一组数据转化为RDD后，分别创造出两个PairRDD，然后再对两个PairRDD进行归约（即合并相同Key对应的Value），元素集合1: {(1, 1), (2, 4), (3, 9), (4, 16), (5, 25)}元素集合2: {(1, A), (2, D), (3, I), (4, P), (5, Y)}集合1和集合2进行join:{(1, (1, A
转载
2023-07-17 14:12:10
45阅读
## ✌✌✌古人有云，好记性不如烂笔头，千里之行，始于足下，每日千行代码必不可少，每日总结写一写，目标大厂，满怀希望便会所
原创
2023-01-17 02:08:08
112阅读
1.介绍
Spark是基于Hadoop的大数据处理框架，相比较MapReduce，Spark对数据的处理是在本地内存中进行，中间数据不需要落地，因此速度有很大的提升。而MapReduce在map阶段和Reduce阶段后都需要文件落地，对于连续的数据处理，就需要写多个MapReduce Job接力执行。
最近分析用户查询日志提取共现查询，流程如下：a.先获得<uid,
转载
2023-06-11 15:29:35
196阅读
本文主要讲MRjoin的三种实现方式，欢迎关注公众号下载相关代码。
原创
2021-07-27 11:14:21
125阅读
hadoop系列之MR经典案例分享二 浪1234 浪尖聊大数据 4、MapReduce的join（hive已经实现）http://database.51cto.com/art/201410/454277.htm这三种join方式适用于不同的场景，其处理效率上的相差还是蛮大的，其中主要导致因素是网络传输。Map join效率最高，其次是SemiJoin，最低的是reduce join。另外，写分布式
原创
2021-03-17 13:07:19
348阅读
Spark 两个用于流处理的组件——Spark Streaming 和 Structured Streaming。其中 Spark Streaming 是 Spark 2.0 版本前的的流处理库，在 Spark 2.0 之后，集成了 DataFrame/DataSet API 的 Structured Streaming 成为 Spark 流处理的主力。今天就让我们一起用 Structured S
转载
2024-04-21 07:09:20
175阅读
Python作为一种功能强大的脚本语言，给开发人员带来了非常大的好处。那么它的具体应用方式又是怎样的呢？我们今天就可以通过一个经典的Python实例应用来详细分析一下这一语言的具体应用方式。Python已经有10年的历史了，在国外十分盛行。 Google搜索引擎的脚本，现在流行的BT(Bite Torrnet)，还有著名的应用服务器Zope都是用Python编写的。但在国内的使用还不是很多。她十分
转载
2023-08-13 13:21:43
152阅读
一、利用RDD计算总分与平均分（一）提出任务针对成绩表，计算每个学生总分和平均分姓名语文数学英语张钦林789076陈燕文958898卢志刚788060（二）准备1、启动HDFS服务执行命令：start-dfs.sh
2、启动Spark服务进入Spark的sbin目录执行命令：./start-all.sh
3、在本地创建成绩文件在/home里创建scores.txt文件4、将成绩文件上传到HDFS在
转载
2023-09-05 12:30:19
355阅读
大数据为什么要选择Spark Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。 Spark由加州伯克利大学AMP实验室Matei为主的小团队使用Scala开发开发，其核心部分的代码只有63个Scala文件，非常轻量级。 Spark 提供了与 Hadoop 相似的开源集群计算环境，但基于内存和迭代优化的设计，Spark 在某些工作负载表现更优秀。在2014上半年，Spar
转载
2023-09-21 10:07:50
122阅读
Hadoop基础操作传送门：hadoop集群搭建 前面写完了hadoop集群的安装，算是初步开始学习了。。。本章学习下hadoop的一些基本操作。一、HDFS启动hadoop之后可以打开hdfs的可视化页面http://hadoop01:9870/可视化的文件系统在这里是部分数据我练习的时候插入好了的手动上传文件到hdfs，命令：# 创建文件夹（根目录创建名为input的文件夹）
hadoop f
转载
2023-08-31 13:09:38
177阅读
hadoop系列之MR的
经典代码
案例一 浪1234 浪尖聊大数据 七、MapReduce
经典案例1、网站分析
案例1）分析省份访问procinceId --> Key1 -->Value<procinceId,list(1,1,1,1,1,)>数据库： 维度表 tb_provinve_info provinveId provinveNa
原创
2021-03-17 11:33:25
378阅读
