Hive默认使用MapReduce作为执行引擎，即Hive on mr，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很
转载
2019-02-06 23:35:00
139阅读
2评论
# 用 Spark 进行数据处理与可视化
Apache Spark 是一个开源的分布式计算框架，它广泛应用于大数据处理、数据分析和机器学习等领域。由于其高效性和灵活性，Spark 已成为数据科学家和工程师进行数据处理的重要工具之一。本文将介绍如何使用 Spark 进行数据处理，并结合数据可视化技术，展示数据分析结果。
## Spark 概述
Spark 支持多种编程语言，包括 Scala、J
原创
2024-09-25 08:16:05
21阅读
前言：Spark的运行模式指的是Spark应用程序以怎样的方式运行，单节本地点运行还是多节点集群运行，自己进行资源调度管理还是依靠别人进行调度管理。Spark提供了多种多样，灵活多变的部署模式。一、部署模式这是spark官方给出的master的配置选项，也从另一个侧面说明了spark的不同部署和运行模式。 Spark部署模式总体来讲可以分为以下几种：Local：这种模式一般用在本地ID
转载
2023-11-27 14:05:17
47阅读
Spark 标签生成(Java和Scala的两种实现)气温数据多重聚合[Scala]实现聚合气温数据。聚合出Max,Min.AVG/**
* 气温数据聚合应用
*/
object TempAggDemo{
def main(args:Array[String]):Unit={
//配置一下
val conf=new SparkConf()
conf.setAppNa
前段时间搞了一阵spark scala，处理一个APP大半年的日志。本意是将日志格式化，挖掘其中有用的信息，尽管后来变成了数据统计。但这段时间确实学习了spark scala，知道了这么一个大数据处理工具。本文将一些基本用法记下来。个人体会，spark是相对于MapReduce更高层次的抽象。使用MapReduce时，需要将每个任务拆分成Map和Reduce过程，在处理连续任务时，整个流程比较复杂
转载
2024-07-02 07:27:52
37阅读
1 概览每个spark程序都有一个驱动程序运行在用户的main函数中，以及在集群中执行不同的并行操作。第一个抽象概念：RDD是元素的集合。这个集合可以被分到集群中的不同机器中并行处理。RDD可以由hadoop支持的文件系统中的文件创建，或者是驱动程序中的scala集合。RDD可以被保存在内存中被并行操作有效服用。第二个抽象概念：shared variables。共享变量可以在task之间或者tas
三、掌握对spark dataframe和spark sql的认识和使用（包括创建、各种常用操作，具体到代码的编写使用）；1、DataFrame介绍在Spark中，Spark DataFrame和Spark SQL是SparkRDD高层次的封装，Spark DataFrame以RDD为基础，是一种与传统数据库中的二维表格相类似的分布式数据集。DataFrame与RDD的主要区别：前者包含每一列的名
转载
2023-08-13 19:30:35
294阅读
1、RDD概述1.1 什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。
Dataset:它是一个集合，集合里面有很多个元素Distributed：rdd中的数据是进行了分布式存储，后期方便于进行分布式计算。Resilient：弹性，意味着rdd的数据可
转载
2024-05-09 22:17:56
31阅读
一、动机 Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为pairRDD。提供并行操作各个节点或跨界点重新进行数据分组的操作接口。 二、创建Pair RDD 1、在sprk中，很多存储键值对的数据在读取时直接返回由其键值对数据组成的pair RDD。 2、可以调用map()函数，将一个普通的RDD转换为pair RDD。 在Scala中，为了提取键之后的数据能够在
转载
2024-06-05 14:57:40
26阅读
前言项目的后端工作已经差不多基本完成，这几天主要的工作都是在修复之前遗留下来的bug，并且优化代码的设计，在项目开始的时候，就想着基于Spark来进行推荐系统的设计，后来在项目开展的过程中，发现了Mohout这个推荐引擎，这个引擎的调用非常简单，可以自动的构建模型，计算相似度，然后进行推荐，也可以方面的扩展到Hadoop集群上，所以开始就是用Mohout实现了基于用户的协同过滤推荐，和基于物品的协
转载
2024-02-02 11:33:46
68阅读
待我学有所成，结发与蕊可好。@ 夏瑾墨Getting Started with Spark (in Python) Author：Benjamin Bengfort Translator：Jooey ZhongHadoop 作为处理大数据集的分布式计算标准工具这就是为什么当你路过机场看到广告上的”大数据“的原因。它已经变成大数据的一种操作系统，提供一个让您能使用许多相对廉价的商品化硬件在以超级
转载
2024-09-27 07:14:19
66阅读
1、sc.version2、集群对象：SparkContext；获得Spark集群的SparkContext对象，是构造Spark应用的第一步！SparkContext对象代表 整个 Spark集群，是Spark框架 功能的入口 ，可以用来在集群中创建RDD、累加器变量和广播变量。SparkContext对象创建时可以指明连接到哪个集群管理器上，在Spark-Shell启动时，默认 连接到本地的集
转载
2024-07-24 06:39:58
30阅读
1.下载： （1）gitgit clone https://github.com/apache/spark.git查看版本：git tag选择版本：git checkout Version(自己指定
原创
2023-01-04 11:03:03
118阅读
在使用 Apache Spark 进行大数据处理时，我们常会遇到各种错误和异常。其中，“spark銝要ame sc is not defined”错误是一种常见问题，通常出现在 Spark 程序未正确初始化上下文时。本文将详细记录从错误现象到解决方案的完整过程，帮助大家更好地理解和处理此类问题。
## 问题背景
在某家金融科技公司的数据分析团队，我们需要使用 Apache Spark 来处理大
1. 环境准备: JDK1.8 hive 2.3.4 hadoop 2.7.3 hbase 1.3.3 scala 2.11.12 mysql5.7 2. 下载spark2.0.0 3. 配置系统环境变量 末尾添加 4. 配置spark-env.sh 末尾添加: 5. 配置spark-default
转载
2019-02-09 00:35:00
412阅读
2评论
# 解决“未出现 spark context available as sc”问题的步骤
## 简介：
在进行Spark应用程序开发时，有时会遇到“未出现 spark context available as sc”这样的错误。这通常是由于Spark上下文（Spark Context）未正确创建导致的。解决这个问题的关键是确保正确地创建和初始化Spark上下文。在本文中，我将向你解释该过程的步骤
原创
2024-01-10 05:22:34
54阅读
5.加载，然后保存数据
工程师希望发现更多的输出格式来适合下游的消费者。数据科学家可能关注数据已经存在的格式。
5.1动机
Spark提供了一个各种各样输入输出数据源的操作。
文件格式与文件系统
文件格式：text、JSON、SequenceFIles、protocol buffers
文件系统：NFS、HDFS、S3
通过SparkS
Spark概述什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Spark和Hadoop的区别Spark 和Hadoop 的区别：HadoopHadoop 是由 java 语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，专用于数据批处理的框架，有存储也有计算，但是核心是计算且是离线计算。作为 Hadoop 分布式文件系统，HDFS 处于
转载
2023-09-01 11:06:55
56阅读
目的 首先需要明确一点，hadoophe spark 这二者都是大数据框架，即便如此二者各自存在的目的是不同的。Hadoop是一个分布式的数据基础设施，它是将庞大的数据集分派到由若干台计算机组成的集群中的多个节点进行存储。Spark是一个专门用来对那些分布式存储的大数据进行处理的工具，spark本身并不会进行分布式数据的存储。两者的部署 Hadoop的框架最核心的设计就是：HDFS和MapRedu
转载
2023-07-12 11:53:59
70阅读
Spark框架一、Spark概述1.1 Spark是什么1.2 Spark & Hadoop1.3 Spark / Hadoop（1）Hadoop MapReduce（2） Spark1.4 Spark核心模块 一、Spark概述1.1 Spark是什么Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark & HadoopSpark与Hadoop的
转载
2023-09-01 11:06:45
75阅读
