待我学有所成，结发与蕊可好。@ 夏瑾墨Getting Started with Spark (in Python) Author：Benjamin Bengfort Translator：Jooey ZhongHadoop 作为处理大数据集的分布式计算标准工具这就是为什么当你路过机场看到广告上的”大数据“的原因。它已经变成大数据的一种操作系统，提供一个让您能使用许多相对廉价的商品化硬件在以超级
转载
2024-09-27 07:14:19
66阅读
# 从 SparkContext 获取 SparkSession 的指南
在 Spark 的开发中，`SparkSession` 是一个重要的入口点，提供了与 Spark SQL 的交互。而 `SparkContext` 是 Spark 的核心，它负责连接到 Spark 集群。本文将指导你如何从 `SparkContext` 获取 `SparkSession`，并将整个流程清晰地展示出来。
#
# 用 Spark 进行数据处理与可视化
Apache Spark 是一个开源的分布式计算框架，它广泛应用于大数据处理、数据分析和机器学习等领域。由于其高效性和灵活性，Spark 已成为数据科学家和工程师进行数据处理的重要工具之一。本文将介绍如何使用 Spark 进行数据处理，并结合数据可视化技术，展示数据分析结果。
## Spark 概述
Spark 支持多种编程语言，包括 Scala、J
原创
2024-09-25 08:16:05
21阅读
前言：Spark的运行模式指的是Spark应用程序以怎样的方式运行，单节本地点运行还是多节点集群运行，自己进行资源调度管理还是依靠别人进行调度管理。Spark提供了多种多样，灵活多变的部署模式。一、部署模式这是spark官方给出的master的配置选项，也从另一个侧面说明了spark的不同部署和运行模式。 Spark部署模式总体来讲可以分为以下几种：Local：这种模式一般用在本地ID
转载
2023-11-27 14:05:17
47阅读
Spark 标签生成(Java和Scala的两种实现)气温数据多重聚合[Scala]实现聚合气温数据。聚合出Max,Min.AVG/**
* 气温数据聚合应用
*/
object TempAggDemo{
def main(args:Array[String]):Unit={
//配置一下
val conf=new SparkConf()
conf.setAppNa
前段时间搞了一阵spark scala，处理一个APP大半年的日志。本意是将日志格式化，挖掘其中有用的信息，尽管后来变成了数据统计。但这段时间确实学习了spark scala，知道了这么一个大数据处理工具。本文将一些基本用法记下来。个人体会，spark是相对于MapReduce更高层次的抽象。使用MapReduce时，需要将每个任务拆分成Map和Reduce过程，在处理连续任务时，整个流程比较复杂
转载
2024-07-02 07:27:52
37阅读
1 概览每个spark程序都有一个驱动程序运行在用户的main函数中，以及在集群中执行不同的并行操作。第一个抽象概念：RDD是元素的集合。这个集合可以被分到集群中的不同机器中并行处理。RDD可以由hadoop支持的文件系统中的文件创建，或者是驱动程序中的scala集合。RDD可以被保存在内存中被并行操作有效服用。第二个抽象概念：shared variables。共享变量可以在task之间或者tas
三、掌握对spark dataframe和spark sql的认识和使用（包括创建、各种常用操作，具体到代码的编写使用）；1、DataFrame介绍在Spark中，Spark DataFrame和Spark SQL是SparkRDD高层次的封装，Spark DataFrame以RDD为基础，是一种与传统数据库中的二维表格相类似的分布式数据集。DataFrame与RDD的主要区别：前者包含每一列的名
转载
2023-08-13 19:30:35
294阅读
1、RDD概述1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。
Dataset:它是一个集合，集合里面有很多个元素Distributed：rdd中的数据是进行了分布式存储，后期方便于进行分布式计算。Resilient：弹性，意味着rdd的数据可
转载
2024-05-09 22:17:56
31阅读
今天，接着跟大家分享一下spark的搭建，spark是一个分布式的计算框架，与MapReduce的区别在于可以准实时处理大数据，是Apache的顶级开源项目之一，目前呢spark稳定版本是spark-2.4.7，所以，我是用的spark-2.4.7，请各位朋友留意一下。关于spark呢，大家如果有兴趣可以自己再找一些资料查阅一下。spark包的获取地址，大家根据hadoop版本，自行对应下载：sp
转载
2023-11-20 15:32:07
68阅读
最近重新装了系统，需要对spark与pyspark重新配置下。于是写了这篇文章，希望对从事这个行业的人员能有所帮助：1.准备阶段准备以下版本的安装包，不同的版本号之间会发生兼容性问题，如果采用版本以下不一致，建议看完本文再动手，有些本人已经踩过坑，会在下文提示。 1.Anaconda3-2021.11-Windows-x86_64 2.jdk-8u40-windows-x64 3.hadoop-3
转载
2023-10-31 13:06:30
712阅读
大家好，Apache Spark已经成为处理大数据时的首选解决方案，让我们来看看Spark流行背后的原因及其发展。Hadoop的缺陷随着可用于处理和分析的数据量的增加，我们看到了向分布式系统的缓慢但明确的转变。然而到21世纪初，针对 "大数据 "的数据科学和机器学习仍然被证明具有挑战性。当时最先进的解决方案，如Hadoop，依赖于Map Reduce，它在几个关键方面存在缺陷。在数据科学过程中，大
目录1.什么是pyspark2.pyspark的特点3.pyspark的优点4.pyspark架构5.pyspark的模块6.pyspark的安装1.什么是pysparkPySpark是一个用Python编写的Spark库，用于使用Apache Spark功能运行Python应用程序，使用PySpark，我们可以在分布式集群（多个节点）上并行运行应用程序。换句话说，PySpark是用于Apache
转载
2024-05-04 10:16:25
199阅读
一、ZooKeeper集群搭建（一）、集群部署的基本流程 下载安装包、解压安装包、修改配置文件、分发安装包、启动集群（二）、ZooKeeper集群搭建1、下载安装包 去官网下载zookeeper压缩包2、解压安装包 tar -zxvf zookeeper-3.4.12.tar.gz解压并重命名为zookeeper3、修改配置文件cd zookeeper/conf
cp zoo_samp
转载
2023-11-25 07:08:25
46阅读
一、动机 Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为pairRDD。提供并行操作各个节点或跨界点重新进行数据分组的操作接口。 二、创建Pair RDD 1、在sprk中，很多存储键值对的数据在读取时直接返回由其键值对数据组成的pair RDD。 2、可以调用map()函数，将一个普通的RDD转换为pair RDD。 在Scala中，为了提取键之后的数据能够在
转载
2024-06-05 14:57:40
26阅读
# Spark 集群与 PySpark 入门指南
## 引言
大数据技术迅速发展，Apache Spark 作为一款广泛使用的大数据处理和分析框架，以其高效的并行计算和灵活的数据处理能力，受到了越来越多数据科学家的青睐。本文将围绕 Spark 集群与 PySpark，介绍相关的概念、架构，并提供一些基础的代码示例，帮助读者快速上手。
## 什么是 Spark 集群？
Spark 集群是由多
# PySpark与Spark版本: 深入理解与实用示例
在大数据处理和分析的世界中，Apache Spark已经成为一个不可或缺的工具。通过PySpark，用户能够使用Python语言来访问Spark的强大功能。本文将介绍PySpark的基本概念，并通过代码示例让你更好地理解。
## 一、Spark与PySpark简介
Apache Spark是一个快速、通用的大数据处理引擎，具有内存计算
原创
2024-10-28 05:11:36
17阅读
一 部署本地spark环境
1.1 安装好JDK 下载并安装好jdk1.7，配置完环境变量。 1.2Spark环境变量配置
去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本，我下载的是
前言项目的后端工作已经差不多基本完成，这几天主要的工作都是在修复之前遗留下来的bug，并且优化代码的设计，在项目开始的时候，就想着基于Spark来进行推荐系统的设计，后来在项目开展的过程中，发现了Mohout这个推荐引擎，这个引擎的调用非常简单，可以自动的构建模型，计算相似度，然后进行推荐，也可以方面的扩展到Hadoop集群上，所以开始就是用Mohout实现了基于用户的协同过滤推荐，和基于物品的协
转载
2024-02-02 11:33:46
68阅读
1、sc.version2、集群对象：SparkContext；获得Spark集群的SparkContext对象，是构造Spark应用的第一步！SparkContext对象代表 整个 Spark集群，是Spark框架 功能的入口 ，可以用来在集群中创建RDD、累加器变量和广播变量。SparkContext对象创建时可以指明连接到哪个集群管理器上，在Spark-Shell启动时，默认 连接到本地的集
转载
2024-07-24 06:39:58
30阅读
