前段时间搞了一阵spark scala，处理一个APP大半年的日志。本意是将日志格式化，挖掘其中有用的信息，尽管后来变成了数据统计。但这段时间确实学习了spark scala，知道了这么一个大数据处理工具。本文将一些基本用法记下来。个人体会，spark是相对于MapReduce更高层次的抽象。使用MapReduce时，需要将每个任务拆分成Map和Reduce过程，在处理连续任务时，整个流程比较复杂
转载
2024-07-02 07:27:52
37阅读
一、动机 Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为pairRDD。提供并行操作各个节点或跨界点重新进行数据分组的操作接口。 二、创建Pair RDD 1、在sprk中，很多存储键值对的数据在读取时直接返回由其键值对数据组成的pair RDD。 2、可以调用map()函数，将一个普通的RDD转换为pair RDD。 在Scala中，为了提取键之后的数据能够在
转载
2024-06-05 14:57:40
26阅读
# 用 Spark 进行数据处理与可视化
Apache Spark 是一个开源的分布式计算框架，它广泛应用于大数据处理、数据分析和机器学习等领域。由于其高效性和灵活性，Spark 已成为数据科学家和工程师进行数据处理的重要工具之一。本文将介绍如何使用 Spark 进行数据处理，并结合数据可视化技术，展示数据分析结果。
## Spark 概述
Spark 支持多种编程语言，包括 Scala、J
原创
2024-09-25 08:16:05
21阅读
前言：Spark的运行模式指的是Spark应用程序以怎样的方式运行，单节本地点运行还是多节点集群运行，自己进行资源调度管理还是依靠别人进行调度管理。Spark提供了多种多样，灵活多变的部署模式。一、部署模式这是spark官方给出的master的配置选项，也从另一个侧面说明了spark的不同部署和运行模式。 Spark部署模式总体来讲可以分为以下几种：Local：这种模式一般用在本地ID
转载
2023-11-27 14:05:17
47阅读
Spark 标签生成(Java和Scala的两种实现)气温数据多重聚合[Scala]实现聚合气温数据。聚合出Max,Min.AVG/**
* 气温数据聚合应用
*/
object TempAggDemo{
def main(args:Array[String]):Unit={
//配置一下
val conf=new SparkConf()
conf.setAppNa
1 概览每个spark程序都有一个驱动程序运行在用户的main函数中，以及在集群中执行不同的并行操作。第一个抽象概念：RDD是元素的集合。这个集合可以被分到集群中的不同机器中并行处理。RDD可以由hadoop支持的文件系统中的文件创建，或者是驱动程序中的scala集合。RDD可以被保存在内存中被并行操作有效服用。第二个抽象概念：shared variables。共享变量可以在task之间或者tas
三、掌握对spark dataframe和spark sql的认识和使用（包括创建、各种常用操作，具体到代码的编写使用）；1、DataFrame介绍在Spark中，Spark DataFrame和Spark SQL是SparkRDD高层次的封装，Spark DataFrame以RDD为基础，是一种与传统数据库中的二维表格相类似的分布式数据集。DataFrame与RDD的主要区别：前者包含每一列的名
转载
2023-08-13 19:30:35
294阅读
1、RDD概述1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。
Dataset:它是一个集合，集合里面有很多个元素Distributed：rdd中的数据是进行了分布式存储，后期方便于进行分布式计算。Resilient：弹性，意味着rdd的数据可
转载
2024-05-09 22:17:56
31阅读
待我学有所成，结发与蕊可好。@ 夏瑾墨Getting Started with Spark (in Python) Author：Benjamin Bengfort Translator：Jooey ZhongHadoop 作为处理大数据集的分布式计算标准工具这就是为什么当你路过机场看到广告上的”大数据“的原因。它已经变成大数据的一种操作系统，提供一个让您能使用许多相对廉价的商品化硬件在以超级
转载
2024-09-27 07:14:19
66阅读
前言项目的后端工作已经差不多基本完成，这几天主要的工作都是在修复之前遗留下来的bug，并且优化代码的设计，在项目开始的时候，就想着基于Spark来进行推荐系统的设计，后来在项目开展的过程中，发现了Mohout这个推荐引擎，这个引擎的调用非常简单，可以自动的构建模型，计算相似度，然后进行推荐，也可以方面的扩展到Hadoop集群上，所以开始就是用Mohout实现了基于用户的协同过滤推荐，和基于物品的协
转载
2024-02-02 11:33:46
68阅读
1、sc.version2、集群对象：SparkContext；获得Spark集群的SparkContext对象，是构造Spark应用的第一步！SparkContext对象代表 整个 Spark集群，是Spark框架 功能的入口 ，可以用来在集群中创建RDD、累加器变量和广播变量。SparkContext对象创建时可以指明连接到哪个集群管理器上，在Spark-Shell启动时，默认 连接到本地的集
转载
2024-07-24 06:39:58
30阅读
在使用 Apache Spark 进行大数据处理时，我们常会遇到各种错误和异常。其中，“spark銝要ame sc is not defined”错误是一种常见问题，通常出现在 Spark 程序未正确初始化上下文时。本文将详细记录从错误现象到解决方案的完整过程，帮助大家更好地理解和处理此类问题。
## 问题背景
在某家金融科技公司的数据分析团队，我们需要使用 Apache Spark 来处理大
# 解决“未出现 spark context available as sc”问题的步骤
## 简介：
在进行Spark应用程序开发时，有时会遇到“未出现 spark context available as sc”这样的错误。这通常是由于Spark上下文（Spark Context）未正确创建导致的。解决这个问题的关键是确保正确地创建和初始化Spark上下文。在本文中，我将向你解释该过程的步骤
原创
2024-01-10 05:22:34
54阅读
5.加载，然后保存数据
工程师希望发现更多的输出格式来适合下游的消费者。数据科学家可能关注数据已经存在的格式。
5.1动机
Spark提供了一个各种各样输入输出数据源的操作。
文件格式与文件系统
文件格式：text、JSON、SequenceFIles、protocol buffers
文件系统：NFS、HDFS、S3
通过SparkS
第二篇介绍一下Spark的基本数据抽象——RDD，RDD来自伯克利的一篇论文，也就是http://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf 下面就选取一些主要的特性进行介绍：一、什么是RDD RDD(Resilient Distributed Datasets)即弹性分布式数据集，RDD提供了一种高度受限的共享内存模型，即RDD
转载
2024-07-26 12:14:52
46阅读
种一棵树最好的时间是十年前，其次是现在叨絮计算引擎我们学完了一个mr，接下来看看我们的SparkScala 简介Scala 是 Scalable Language 的简写，是一门多范式的编程语言 联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计Scala。Funnel是把函数式编程思想和Petri网相结合的一种编程语言。Odersky先前的工作是
转载
2024-10-15 08:52:50
32阅读
spark-scala的基本概念，调优，常见错误问题分析spark(scala,python)的基本概念，调优，常见错误问题分析主要介绍spark的基本概念及对应数据在集群（yarn）上的配置调优，以及在运行中的常见问题定位，方便快速学习spark基础知识，上手开发基本概念sparkSession和sparkContext区别:sparkContext一般也叫sc,spakrSession习惯简称
我在运行spark机器学习的python例子的时候会出现上面的错误name 'sc' is not defined这
原创
2022-08-11 17:43:23
779阅读
Kubernetes (K8S) 是一款用于自动化部署、扩展和管理容器化应用程序的开源平台。在K8S中，StorageClass（SC）是用于定义动态存储卷的机制，而NFS（Network File System）是一种分布式文件系统，可以通过网络在不同计算机之间共享文件。
在K8S中定义 NFS StorageClass 的过程并不复杂，下面我将详细介绍整个流程，并给出相应的代码示例。
##
原创
2024-04-12 09:30:05
81阅读
键值对RDD通常用来进行聚合计算，Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为pair RDD。pair RDD提供了并行操作各个键或跨节点重新进行数据分组的操作接口。Spark中创建pair RDD的方法：存储键值对的数据格式会在读取时直接返回由其键值对数据组成的pair RDD，还可以使用map()函数将一个普通的RDD转为pair RDD。Pair RDD的转化操
转载
2023-11-20 06:47:21
64阅读
