Spark 基本函数学习笔记一¶
spark的函数主要分两类，Transformations和Actions。Transformations为一些数据转换类函数，actions为一些行动类函数：转换：转换的返回值是一个新的RDD集合，而不是单个值。调用一个变换方法， 不会有任何求值计算，它只获取一个RDD作为参数，然后返回一个新的RDD。行动：行动操
转载
2023-12-25 21:20:48
44阅读
# 深入理解Apache Spark：一个超级计算框架的示例
Apache Spark 是一个开源的分布式计算框架，用于大规模数据处理。它以其高效的计算能力和简洁的API受到广泛欢迎，特别是在数据分析、机器学习和大数据处理领域。本文将通过一个代码示例来探讨 Spark 的基本概念，并展示如何使用 Spark 进行数据处理。同时，我们还会用甘特图和类图来传达其工作原理。
## 什么是 Apach
原创
2024-08-29 05:10:53
33阅读
为了避免读者对本文案例运行环境产生困惑，本节会对本文用到的集群环境的基本情况做个简单介绍。 本文所有实例数据存储的环境是一个 8 个机器的 Hadoop 集群，文件系统总容量是 1.12T，NameNode 叫 hadoop036166, 服务端口是 9000。读者可以不关心具体的节点分布，因为这个不会影响到您阅读后面的文章。 本文运行实例程序使用的 Spark 集群是一个包含四个节点的 Sta
转载
2023-08-09 20:41:15
90阅读
本节主要讲一些spark自带的example,学习example程序,是提升spark编程能力不错的学习方式.BroadcastTestBroadcastTest.scala源码如下object BroadcastTest {
def main(args: Array[String]) {
//广播变量块的大小
val blockSize = if (args.length >
转载
2023-08-21 15:14:06
35阅读
一、概述定义：spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎；采用scala编写。支持迭代式计算和图计算，计算比MR快的原因，是因为他的中间结果不落盘，只有发生shuffer的时候才会进行落盘内置模块sparkCore：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Dist
转载
2024-08-13 10:05:15
50阅读
1.从哪里开始？我们可以看到spark examples模块下，有各种spark应用的示例代码。包括graphx，ml（机器学习），sql，streaming等等我们看一下最简单的SparkPi这个应用源码// scalastyle:off println
package org.apache.spark.examples
import scala.math.random
import org
转载
2024-03-04 06:25:53
47阅读
继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发
在上一篇博客，我们使用spark CountVectorizer与IDF进行了关键词提取本篇博客在上一篇博客的基础上，介绍如何根据关键词获取文档的相似度，进行相似文本的推荐。在这里我们需要使用到两个算法：Word2Vec与LSH。其中Word2Vec即将词转换为词向量，这样词之间的关系就可以向量距离去定量计算，距离越近的两个词相似性也较高，而spark中文档的词向量，即是这个文档所有词的词向量的平
转载
2024-09-28 15:13:08
30阅读
# Spark Java示例实现指南
## 1. 简介
在本文中，我将引导你完成一个简单的Spark Java示例的实现。Spark Java是一个轻量级的Java web框架，适用于构建快速、简单的web应用程序。本示例将演示如何创建一个基本的Hello World web应用程序。
## 2. 实现步骤
下面是实现该示例的步骤概述：
| 步骤 | 描述 |
|------|------
原创
2024-01-16 11:31:37
49阅读
文章目录Spark代码可读性与性能优化——示例二1. 内容点大纲2. 原代码（来自GitHub）3. 优化后的代码+注释 Spark代码可读性与性能优化——示例二1. 内容点大纲SparkConf可读性提示Spark的RDD类型变量命名提示普通变量名提示Scala语法可读性提示方法默认值提示生成重复字符串的提示代码冗余写法提示函数式写法提示persist缓存性能优化提示sc.stop()性能优化
转载
2024-06-17 19:20:34
35阅读
Spark4：RDD实例一、词频统计实例二、键值对RDD1.创建键值对RDD2.键值对RDD转换操作①reduceByKey(func)②groupByKey()两者的区别③map④keys⑤values⑥sortByKey⑦mapValues(func)⑧join实例三、RDD数据读写四、文件排序 一、词频统计实例读文件 拍扁二、键值对RDD1.创建键值对RDD①加载数据scala> v
转载
2023-08-31 21:27:10
351阅读
Spark 部署 考虑到读者可能使用“ssh secure shell”这样的工具登陆 Linux，所以解释一下如何设置工具支持中文。 如何设置 ssh secure shell 支持中文 只需要设置下/etc/sysconfig/i18n 文件内容如清单 1 所示。 清单 1. 文件内容 LANG="zh_CN.GB18030"
SUPPORTED="zh_CN.GB18030:zh_CN:z
转载
2024-06-25 09:17:06
52阅读
spark 开发实例 流处理
开发环境：系统：win 11 java : 1.8 scala:2.13 spark : 3.3.2 一， 使用 spark 结构化流读取文件数据，并做分组统计。功能：spark 以结构化流形式从文件夹读取 csv 后缀
转载
2023-06-26 16:01:14
68阅读
概述SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如：map,reduce,join,window 。最终，处理后的数据可以存放在文件系统，数据库等，方便实时展现。一个简单的示
转载
2024-08-07 14:43:56
50阅读
Spark SQL入门
示例首先，导入pom依赖：<properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <
spark.version>3.1.1</
spark.version> <
spark.scala.version&
原创
2021-08-16 10:26:44
118阅读
Spark
--------------------
通用性。
Spark模块
-------------
Spark Core
//核心库
Spark SQL
//SQL
Spark Streaming
//准实时计算。
Spark MLlib
//机器学习库
Spark graph
//图计算
# 教你如何实现Spark Java代码示例
## 介绍
作为一名经验丰富的开发者，我将教你如何实现Spark Java代码示例。在本文中，我将为你展示整个实现过程，并逐步指导你如何操作。让我们开始吧！
## 整个实现过程
以下是实现Spark Java代码示例的整个过程：
| 步骤 | 操作 |
| ------ | ------ |
| 步骤一 | 创建Spark Session |
原创
2024-03-06 04:16:21
78阅读
FROM java:openjdk-8ENV HADOOP_HOME /opt/spark/hadoop-2.6.0ENV MESOS_NATIVE_LIBRARY /opt/libmesos-0.22.1.soENV SBT_VERSION 0.13.8ENV SCALA_VERSION 2.11...
转载
2015-11-27 12:44:00
104阅读
2评论
reduceByKey➢ 函数签名def reduceByKey(func: (V, V) => V): RDD[(K, V)]def reduceByKey(func: (V, V) => V, numPartitions: Int): RDD[(K, V)]➢ 函数说明可以将数据按照相同的 Key 对 Value 进行聚合val dataRDD1 = sparkContext
原创
2021-07-02 11:24:28
447阅读
pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd
原创
2021-08-16 10:22:16
125阅读
