1 概述官方网站 Spark Streaming是Spark core API的扩展，支持实时数据流的处理，并且具有可扩展，高吞吐量，容错的特点。 数据可以从许多来源获取，如Kafka，Flume，Kinesis或TCP sockets，并且可以使用复杂的算法进行处理，这些算法使用诸如map，reduce，join和window等高级函数表示。 最后，处理后的数据可以推送到文件系统，数据库等。 实
转载
2023-12-26 11:03:44
46阅读
从MapReduce迁移到Spark：优势与挑战随着大数据处理需求的日益增长，数据处理框架也在不断演进。MapReduce作为一种经典的大数据处理模型，曾一度是大数据批处理的首选方案。然而，随着Apache Spark的兴起，越来越多的企业和开发者开始考虑从MapReduce迁移到Spark。本文将探讨这一迁移过程中的优势与挑战，并提供一些实践指导。一、优势速度提升：Spark以其基于内存的计算模
RDD依赖分类宽依赖操作产生类似与MapReduce中shuffle的操作 – 子 RDD 的每个分区依赖于所有父 RDD 分区 – 对单个 RDD 基于 key 进行重组和 reduce ，如 groupByKey 、 reduceByKey – 对两个 RDD 基于 key 进行 join 和重组，如 join、窄依赖操作不会产生类似与MapReduce中shuffle的操作 – 子 RDD
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark相对于Hadoop的优势Hadoop虽然已成为大数据技术的事实标准，但其本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求，因而只适用于离线批处理的应用场景。回顾Hadoop的工作流程，可以发现Hadoop存在如下一些缺点：磁盘IO开销大。每次执行时都需要从磁盘读取
转载
2023-10-27 14:41:02
296阅读
Spark是类Hadoop MapReduce的通用的并行计算框架，但不同于MapReduce的是Job中间输出和结果可以保存在内存中，也就是说spark是基于内存计算的，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法这里简单说一下对spark相对于mapreduce的优势：1.中间结果： 传统的MapReduce虽然具有自动容错、
转载
2023-09-27 14:14:40
102阅读
# Spark 广播变量的优点及使用示例
在大数据处理领域，Apache Spark是一种广泛使用的快速通用计算引擎。在Spark的操作中，常常会遇到需要将数据复制到各个节点以便于计算的情况。这时，广播变量（Broadcast Variables）就显得尤为重要。本文将为您详细介绍广播变量的优点，并提供相关的代码示例。
## 什么是广播变量？
广播变量是Spark提供的一种机制，用于将需要在
Spark系列文章目录第一章 初识Spark 第二章 Spark-Core核心模型（一） 第二章 Spark-Core核心模型（二） 第三章 Spark-Core编程进阶（一） 第三章 Spark-Core编程进阶（二） 第四章 Spark-SQL基础（一） 第四章 Spark-SQL基础（二） 第五章 Spark-SQL进阶（一） 第五章 Spark-SQL进阶（二） 第五章 Spark-SQL
转载
2023-11-26 10:39:43
47阅读
为什么要学习Spark？作为一个用来实现快速而通用的集群计算的平台。扩展广泛使用的MapReduce计算模型，而且高效地支持更多的计算模式，包括交互式查询和流处理。Spark的一个重要特点就是能够在内存中计算，因而更快。即使在磁盘上进行的复杂计算，Spark依然比MapReduce更加高效。优势如此明显的Spark，是不是要好好学习一下呢？ Q：学了Spark有什么用呢？A：首先说一下Sp
转载
2023-09-16 06:15:21
150阅读
1.reduceByKey(func)功能： 使用 func 函数合并具有相同键的值。示例： val list = List("hadoop","spark","hive","spark")
val rdd = sc.parallelize(list)
val pairRdd = rdd.map((_,1))
pairRdd.reduceByKey(_+_).collect.foreach(p
转载
2023-07-14 16:41:41
86阅读
在利用Spark处理数据时，如果数据量不大，那么Spark的默认配置基本就能满足实际的业务场景。但是当数据量大的时候，就需要做一定的参数配置调整和优化，以保证业务的安全、稳定的运行。并且在实际优化中，要考虑不同的场景，采取不同的优化策略。1.合理设置微批处理时间在SparkSreaming流式处理中，合理的设置微批处理时间（batchDuration）是非常有必要的。如果batchDuration
文章目录一.Spark介绍二.Spark特点三.Spark核心术语四.Spark运行流程五.Spark安装 一.Spark介绍Spark 是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，其用于大规模数据处理的统一分析引擎。它提供了 Scala、Java、Python 和 R 中的高级 API，以及支持用于数据
转载
2023-08-31 19:06:43
82阅读
1. spark是什么Apache Spark™ is a unified analytics engine for large-scale data processing.spark是针对于大规模数据处理的统一分析引擎spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算
转载
2023-09-03 21:49:16
259阅读
在已经有了一定基础后，继续学习新东西的时候，最首先的就是弄清楚要学的东西能做什么，跟自己已有的知识有什么挂钩的地方。现在打算学习Spark，所以接下来会介绍Spark的最基础的入门。一、Spark有些什么？1.全面兼容Hadoop的生态系统的MapReduce框架（这可是分布式计算的基础啊）2.提供Scala、Java和Python的语言编程接口，总有一门语言适合你��（三门都不会就老实学一门吧）
转载
2023-08-12 13:01:26
77阅读
一、SPARK介绍： 1、Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎 2、Apache Spark 所开源的类Hadoop MapReduce的通用并行框架 3、简而言之为一个快速且通用的集群计算平台 二、SPARK的特点 1、spark是快速的spark扩充了流行的Mapreduce计算模型
spark是基于内存的计算（在计算中将中间产生的计算结果放在了内存中
转载
2023-08-08 09:48:26
246阅读
1.Storm 和 SparkStreaming区别 Storm 纯实时的流式处理，来一条数据就立即进行处理SparkStreaming微批处理，每次处理的都是一批非常小的数据Storm支持动态调整并行度（动态的资源分
转载
2024-08-21 20:01:47
54阅读
戳破|hiveonspark调优点浪尖浪尖聊大数据微信交流群里有人问浪尖hiveonspark如何调优，当时浪尖时间忙没时间回答，这里就给出一篇文章详细聊聊。强调一下资源设置调优，这个强经验性质的，这里给出的数值比例仅供参考。hiveonspark性能远比hiveonmr要好，而且提供了一样的功能。用户的sql无需修改就可以直接运行于hiveonspark。udf函数也是全部支持。本文主要是想讲h
原创
2021-03-16 09:01:59
334阅读
戳破|hiveonspark调优点浪尖浪尖聊大数据hiveonspark性能远比hiveonmr要好，而且提供了一样的功能。用户的sql无需修改就可以直接运行于hiveonspark。udf函数也是全部支持。本文主要是想讲hiveonspark在运行于yarn模式的情况下如何调优。下文举例讲解的yarn节点机器配置，假设有32核，120GB内存。yarn配置yarn.nodemanager.res
原创
2021-03-18 19:46:26
437阅读
浪尖今天一路好跑，手机丢了，幸亏遇到好人！心存善意，会遇好人！hive on spark 性能远比hive on mr 要好，而且提供了一样的功能。用户的sql无需修改就可以直接运行于hive on spark。udf函数也是全部支持。
本文主要是想讲hive on spark 在运行于yarn模式的情况下如何调优。
下文举例讲解的yarn节点机器配置，假设有32核，120GB内存。
yarn配置
转载
2021-06-11 23:43:20
192阅读
hive on spark调优主要分三个大的方面：spark 调优，hive 调优，yarn调优。
原创
2021-07-23 17:32:58
123阅读
hive on spark调优主要分三个大的方面：spark 调优，hive 调优，yarn调优。
原创
2021-07-23 18:36:45
152阅读
