累加器累加器提供了将工作节点中的值聚合到驱动器程序中的简单语法。累加器的一个常见用法是在调测时对作业执行过程中的时间进行计数。例：累加空行val
原创
2023-02-21 16:31:17
125阅读
参考：https://github.com/rklick-solutions/spark-tutorial/wiki/Spark-SQL#introductionSkip to coSpark SQL is a component on top of Spark Core that introduces a new data abstraction called SchemaRDD, w...
转载
2023-07-14 17:21:00
107阅读
Apache Spark RDMA插件Apache Spark™是一种用于大规模数据处理
翻译
2022-11-14 19:05:09
296阅读
一、简介RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运行时可以通过管道的
转载
2023-08-18 22:47:18
87阅读
Spark Streaming 编程指南OverviewA Quick ExampleBasic ConceptsLinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreams and ReceiversTransformations on DStreamsOutput Operations on D
RDD编程在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运
转载
2023-09-28 00:58:46
139阅读
## Spark编程进阶的软件工具宾安装配置指南
### 一、流程概述
下面是安装配置“Spark编程进阶的软件工具宾”的整个流程：
| 步骤 | 操作 |
| --- | --- |
| 1 | 下载Spark软件包 |
| 2 | 解压Spark软件包 |
| 3 | 配置环境变量 |
| 4 | 启动Spark集群 |
### 二、详细步骤及操作
#### 1. 下载Spark软件
原创
2024-04-24 03:50:41
18阅读
一、参考说明1、该功能自spark-1.5.0版本后有，发行说明https://issues.apache.org/jira/secu
原创
2022-11-03 14:40:15
178阅读
文章目录累加器广播变量基于分区操作与外部程序的管道RDD的操作累加器共享变量，
原创
2022-12-03 00:07:42
183阅读
1、Spark系统架构与Hadoop MapReduce 的结构类似，Spark 也是采用 Master-Worker 架构。Master 节点与Worker 节点的职责如下：1)、Master 节点上常驻Master 进程。该进程负责给Worker 进程分发Spark 任务，监控Worker 进程的存活情况以及监控Worker 进程上任务的执行情况。2)、Worker 节点上常驻Worker 进
转载
2023-08-21 10:30:48
126阅读
深入Spark "Locality level"1、可以在Spark job ui上查看到2、Locality level解释说明：为了保证不带来
原创
2022-11-03 14:08:06
244阅读
一：Scala函数式编程 （一）匿名函数 object ClassTest{ def main(args:Array[String]):Unit={ var func = (x:Int)=> { //或者直接(x:Int)=>x+3 x+3 } println(func(3)) } } 匿名函数返回
转载
2020-03-11 14:14:00
129阅读
2评论
shell编程进阶
原创
2015-07-29 21:16:26
1020阅读
[root@slave ~]# mkdir shell[root@slave ~]# cd shell[root@slave shell]# vim first.sh#!/bin/bash##The first test shell script.##Written by wanjj.ls /tmp/echo "This is the first script."执行脚本：[root@
原创
2015-08-17 21:11:07
469阅读
# Java编程进阶：深入理解面向对象和设计模式
在学习Java编程的过程中，初学者通常会掌握基本的语法和概念，如数据类型、控制结构和基本的面向对象编程（OOP）思想。然而，随着编程技能的提升，如何将这些知识应用到更复杂的项目中，便成为了一项挑战。本文将探讨一些Java编程的进阶主题，包括面向对象的深入理解和基本的设计模式。同时，我们将通过代码示例来帮助读者更好地理解。
## 面向对象编程的四
练习一：val rdd = sc.parallelize(List("dog","an","cat","an","cat"))第一步：通过获取rdd中每个元素的长度创建新的rdd1第二步：通过zip把rdd1和rdd组合创建rdd2第三步：去重第四步：输出结果val rdd = sc.parallelize(List("dog","an","cat","an","ca
转载
2024-03-06 23:15:05
67阅读
Spark学习之RDD编程（2）1. Spark中的RDD是一个不可变的分布式对象集合。2. 在Spark中数据的操作不外乎创建RDD、转化已有的RDD以及调用RDD操作进行求值。3. 创建RDD:1）读取一个外部数据集2）在驱动器程序里分发驱动器程序中的对象集合。4. RDD支持的操作：1）转换操作，由一个RDD生成一个新的RDD。
2）行动操作，对RDD进行计算结果，并把结果返回到驱动器程序中
转载
2024-07-19 23:44:54
50阅读
即使只有两个程序员，他们关于语义的争论也会喋喋不休。语言在不停的变化，
原创
精选
2023-04-25 21:19:55
173阅读
1、RDD创建1）从集合（内存）中创建 RDD从集合中创建RDD，Spark主要提供了两个方法：parallelize和makeRDD// 创建 Spark 运行配置对象
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("CreateRDD01")
// 创建 Spark 上下文环境对象（连接对象）
转载
2023-08-11 11:02:00
154阅读
Spark编程(一) RDD编程1.RDD创建1.1从文件系统加载数据创建RDD测试如下当前系统中存在一个文件word.txt 位置和内容如下读取成功1.2通过数组创建RDD2.RDD操作2.1 转换操作2.2 行动操作2.3 惰性机制2.4 实例filter操作找出文本文件中单行文本所包含的单词数量最大值还可以用这个语句我觉得简单一点lines.map(_.split(" ").size).ma
转载
2023-09-15 15:32:56
76阅读
