科普Spark，Spark是什么，如何使用Spark1.Spark基于什么算法的分布式计算（很简单）2.Spark与MapReduce不同在什么地方3.Spark为什么比Hadoop灵活4.Spark局限是什么5.什么情况下适合使用Spark什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于ma
转载
2024-10-26 19:40:55
9阅读
Spark Core包含Spark的基本功能，如内存计算、任务调度、部署模式、故障恢复、存储管理等，SparkCore底层是RDD，即弹性分布式分布式数据集，底层又分为多个partition(分区)，它本身是不存数据的，只是计算的时候数据存在于RDD中，RDD的产生意味着调用了算子。这样一系列通过调用算子生成的RDD，最终会生成DAG有向无环图。 在将sparkcore之前我们先看看sp
转载
2023-09-10 17:10:13
76阅读
1.Application:基于spark的用户程序，包含了一个driver program 和集群中多个 executor2.Driver Program:运行application的main()函数并自动创建SparkContext。通常SparkContext 代表driver program3.Executor:为某个Application运行在worker node 上的一个进程。该进程
转载
2024-07-02 07:27:44
27阅读
SparkCore笔记Spark-core（核心）的基本介绍SparkCore为Spark提供最基础最核心的功能1.SparkContext 应用程序的入口 也就是Driver Application执行和输出都是通过SparkContext2.存储体系 优先考虑使用各Worker的内存作为存储 实时计算流式计算等场景3.计算引擎 由SparkContext的DAGScheduler、RDD、Ex
转载
2024-07-22 17:31:39
40阅读
一、Spark简介【1】什么是Spark?Apache Spark是用于大规模数据处理的统一分析引擎，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序【2】Spark特点
运行速度快：Spark有先进的DAG执行引擎（Directed Acyclic Graph，有向无环图），支持循环数据流和内存计算
易用：Spark支持使用Java、Scala、Python以及R语
转载
2023-08-15 19:04:40
43阅读
一、启动脚本分析 独立部署模式下，主要由master和slaves组成，master可以利用zk实现高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主机构成。Driver通过向Master申请资源获取运行环境。 启动master和slaves主要是执行/u ...
转载
2021-08-03 14:45:00
192阅读
2评论
案例一：词频统计 要求：统计Harry Potter.txt文件中出现最多单词前十位 内容样例： def WordCount(): Unit ={ val conf=new SparkConf().setMaster("local[6]").setAppName("wordCount") val s
原创
2021-07-20 09:33:21
349阅读
Action算子 Action function 解释 reduce((T,T)=>U) 对整个结果集规约, 最终生成一条数据, 是整个数据集的汇总 count() 返回元素个数 collect() 以数组形式返回数据集中所有元素 first() 返回第一个元素 take(N) 返回前N个元素 co
原创
2021-07-20 09:33:24
83阅读
RDD为什么会出现？ MapReduce 执行迭代计算任务 多个 MapReduce 任务之间没有基于内存的数据共享方式, 只能通过磁盘来进行共享，这种方式明显比较低效 RDD执行迭代计算任务 在 Spark 中, 最终 Job3 从逻辑上的计算过程是: Job3 = (Job1.map).filt
原创
2021-07-20 09:33:25
91阅读
Spark底层逻辑 Spark部署 针对于上图, 可以看到整体上在集群中运行的角色有如下几个: Master Daemon 负责管理 Master 节点, 协调资源的获取, 以及连接 Worker 节点来运行 Executor, 是 Spark 集群中的协调节点 Worker Daemon Work
原创
2021-07-20 09:33:23
116阅读
目录十一、MapPartitons案例实战详解（1）使用Java语言实现（2）使用Scala语言实现十二、MapPartitonsWithIndex案例实战详解（1）使用Java语言实现（2）使用Scala语言实现十三、Cartesian案例实战详解（1）使用Java语言实现（2）使用Scala语言实现十四、Coalesce案例实战详解（1）使用Java语言实现（2）使用Scala语言实现十五、
转载
2023-09-25 20:55:48
76阅读
spark 通讯模块.md -- (v-2.4.0)不同服务器上的不同角色（Driver,Master,worker)之间相互通信, 通过基于Netty的RPC通信框架实现
性能好--无锁化的串行设计，零拷贝，内存池概要Netty 基础Spark rpc 主要组件应用场景
Netty基础
spark rpc 基础组件及功能介绍（在common模块下）org.apache.spark.net
转载
2024-01-15 19:05:46
36阅读
北风网spark学习笔记容错机制的背景要理解Spark Streaming提供的容错机制，先回忆一下Spark RDD的基础容错语义：
RDD，Ressilient Distributed Dataset，是不可变的、确定的、可重新计算的、分布式的数据集。每个RDD都会记住确定好的计算操作的血缘关系，（val lines = sc.textFile(hdfs file); val word
转载
2023-12-19 16:06:48
24阅读
Executor模块详解Executor模块负责运行Task计算任务，并将结果会传到Driver。Spark支持多种资源调度框架，这些资源框架在为计算任务分配资源后，最终都会使用Executor模块完成最终的计算。每个Spark的Application都是从SparkContext开始的，他通过Cluster Manager和Worker上的Executor建立联系，由每个Executor完成Ap
转载
2024-01-11 08:25:55
48阅读
Spark数据分析及处理即普通Json文件分析使用Spark完成日志分析项目需求数据清洗代码展示用户留存分析代码展示活跃用户分析活跃用户地域信息分析用户浏览深度分析 使用Spark完成日志分析项目需求日志数据清洗用户留存分析活跃用户分析活跃用户地域信息分析用户浏览深度分析数据清洗读入日志文件并转化为RDD[Row]类型按照Tab切割数据过滤掉字段数量少于8个的对数据进行清洗按照第一列和第二列对数
转载
2023-08-23 19:05:06
60阅读
Functions on RDDs: Transformations Versus Actions
RDDs上定义了两种类型的函数:动作和转换。
Actions
是返回一些不是RDD的东西(包括副作用)的函数，而
Transformations
是返回另一个RDD的函数。
每个Spark程序必须包含一个
Actions
，因为
Actions
转载
2023-10-20 19:04:55
76阅读
上一篇博客介绍了微服务网关的概念，以及zuul和Spring Cloud Gateway的技术选型，这一篇记录下后者的几个重要概念以及大致工作流程。以下Spring Cloud Gateway用Gateway表示。三大概念：路由(Route): 路由是构建网关的基本模块，它由ID，目标URI，一系列的断言和过滤器组成，如果断言为true则匹配该路由.断言(predicate): 参考的是java8
# 在Spark中使用lit函数的全面指南
在Apache Spark中，`lit`函数是用于创建常量列的一种便捷方式。对于初学者来说，理解`lit`函数的使用非常重要，以便在数据处理和数据转换时能够方便地添加固定值列。以下是整件事情的流程以及各个步骤详细的讲解。
## 流程概述
| 步骤 | 描述 | 代码示例 |
|------|-
SparkCore核心机制的图文解析（超详细）
原创
精选
2023-10-17 16:29:16
1057阅读
Spark的核心概念是RDD (resilientdistributed dataset)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。
原创
2021-05-12 11:10:31
581阅读
