spark-RDD编程作者：黑哥 一、编程模型在spark中，RDD被表示为对象，我们通过一系列的 transformations 定义 RDD 之后，再调用 actions触发 RDD 的计算。只需要记住一句话：在 Spark 中，只有遇到 action，才会执行 RDD 的计算(即延迟计算)，action可以是向应用程序返回结果(count, collect 等)，或者是向存储系统保
转载
2023-11-25 12:15:09
40阅读
./spark-submit --master <master地址加端口号> jar包地址unzip sparkpi.jarrm -rf *.classbin./spark-submit --master spark://master:7077 --class SparkPi /root/IdeaProjects/sparkpi/out/artifacts/sparkpi_jar/sp
原创
2015-11-04 15:02:00
566阅读
一、RDD.fold和Scala.fold使用之间的差别1.Scala中fold的使用val t1=Array(("C++", (1,"1")), ("Java", (2,"2")),("Java", (2,"2")), ("SQL", (3,"3")), ("Python", (4,"4")))
val rst=t1.foldLeft(("",0,""))((sum,obj)=>{
(s
转载
2023-12-15 17:54:45
78阅读
上周终于把coursera上的一门数据课程结束了，并且通过了，周四根据课程assignment做的实验印象很深，觉得有必要记下来。
Hadoop Platform and Application Framework by University of California, San Diego
https://www.coursera.org/learn/hadoop/home/
转载
2023-12-11 22:07:31
96阅读
一：分布式基础架构 二：Spark大数据分析计算引擎Spark在传统的MapReduce 计算框架的基础上，对计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度，并将计算单元缩小到更适合并行计算和重复使用的RDD计算模型。软件是完整的，框架是不全的，我们自己写的代码逻辑，需要部署到环境中才能够运行；val spakConf = new SparkConf
转载
2023-10-11 15:26:55
494阅读
# 学习如何在 Spark 中实现嵌套循环
在数据处理和分析中，嵌套循环是常用的编程结构之一。对于新入行的小白来说，理解如何在 Apache Spark 中实现嵌套循环是很重要的。本文将为你详细介绍实现嵌套循环的流程以及相关代码。
## 1. 流程概述
首先，我们先明确一下整体的流程。可以把实现嵌套循环的步骤整理成一个简单的表格：
| 步骤 | 描述
## 深入了解Spark操作ClickHouse
### 什么是Spark和ClickHouse
在大数据处理领域，Spark和ClickHouse是两个非常流行的工具。Spark是一个用于大规模数据处理的开源集群计算框架，而ClickHouse是一个用于实时分析的列式数据库管理系统。两者结合可以实现高效的数据处理和分析。
### Spark操作ClickHouse的代码示例
下面我们将介
原创
2024-03-01 04:05:39
93阅读
# 教你如何实现一个简单的Spark项目
作为一名新入行的开发者，学习Apache Spark是一个不错的选择。Spark是一个强大的分布式计算框架，能够处理大规模数据。本文将指导你通过一个简单的Spark项目案例，逐步实现一个字数统计的功能，帮助你掌握Spark的基本用法。
## 流程
首先，我们先来看看整个项目的基本流程。以下是我们需要执行的步骤：
| 步骤 | 描述
文章目录前言概述Spark和MR的数据处理流程对比Spark的组成示意图Spark模块Spark特点Spark的运行模式Spark官方测试案例SparkWebUISpark通用运行简易流程Spark核心概念RDD特点WordCount案例数据分区算子转换算子行动算子序列化血缘关系：RDD的持久化和检查点：RDD的分区器：文件数据的读取和存储广播变量：累加器：自定义累加器：案例：练习： 计算每个省
转载
2024-01-12 18:57:09
297阅读
# Spark Map操作：深入理解与代码示例
Apache Spark是一个强大的分布式计算框架，广泛应用于大数据处理和分析过程中。在Spark中，`map`操作是一种重要的转化操作，用于将RDD（弹性分布式数据集）中的每个元素映射成一个新元素。本文将重点介绍Spark中的`map`操作，包括其用法、实现代码示例以及一些注意事项。
## 什么是Map操作？
`map`操作的基本功能是对RD
学习Spark的心得体会 自从大二学习大数据以来,我知道了什么是大数据,大数据是一种现象,并非是一种技术,大数据的体量要特别大,类别要特别多.大数据是海量数据+复杂数据类型。 大数据解决的问题: 1.快速的数据流
转载
2024-08-15 15:16:40
56阅读
一、SparkCoreSpark是一个计算框架，可以基于内存处理数据Spark & MR区别1.Spark可以基于内存处理数据，MR基于磁盘处理数据2.Spark有DAG有向无环图Spark技术栈Spark
Core, SQL，StreamingHadoop
MR,Hive, Storm ,HDFS,YarnSpark 运行模式Local
多用于本
转载
2023-08-10 02:13:28
221阅读
目录一、环境要求二、数据准备三、需求说明四、代码实现1.建立3张表： 2.需求实现一、环境要求IDEA中SPARK可以连接虚拟机外置HIVE 可参考（IDEA中Spark连接外置hive详细步骤）Spark3.0.0；Hadoop3.2.1; HIVE3.1.2二、数据准备1 张用户行为表，1 张城市表，1 张产品表用户行为表user_visit_action：主要包含用户的
转载
2023-11-03 15:17:41
135阅读
SparkSQL和Hive的整合，是一种比较常见的关联处理方式，SparkSQL加载Hive中的数据进行业务处理，同时将计算结果落地回Hive中。exampleidea新建项目,并把hive-site.xml,core-site.xml,hdfs-site.xml文件下载到Resources文件夹下.读取数据object HiveDemo extends App{
private val se
转载
2023-08-20 13:45:17
103阅读
一、使用内置hiveps:需要注意内置hive是非常容易出现问题的1.先启动集群/opt/software/spark-2.2.0-bin-hadoop2.7/sbin/start-all.sh2.进入到spark-shell模式/opt/software/spark-2.2.0-bin-hadoop2.7/bin/spark-shell --master spark://hadoop01:707
转载
2023-09-20 06:22:43
91阅读
spark 读取hive中的数据scala> import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.hive.HiveContext
scala> val hiveContext = new HiveContext(sc)
//hive中的feigu数据库中表stud_info
scala>
转载
2023-08-29 13:57:06
36阅读
在本博文中，我们将深入探讨一个“Spark实训项目”，分析其背景、演进历程、架构设计、性能攻坚和扩展应用，并梳理出我们的复盘总结，以便为今后的类似项目提供经验和借鉴。
## 背景定位
在处理大规模数据时，企业面临着许多挑战。尤其是在需要快速分析和处理数据时，传统技术往往显得无能为力。我们的业务场景涉及实时数据分析，电商平台需要通过用户行为数据分析来推送个性化推荐。通过对数据的实时处理，我们能够
# Spark实训总结
## 引言
在大数据时代，Apache Spark作为一个强大的并行计算框架，被广泛应用于数据处理与分析之中。经过为期数周的Spark实训，我深刻认识到Spark在大规模数据处理中的优势，以及在实际应用中的一些实际问题和解决方案。本文将总结我在实训中的所学所感，并通过具体的代码示例助力理解。
## Spark概述
Apache Spark是一个开源的分布式计算框架，
# Spark实训目标：掌握大数据处理与分析
Apache Spark是一个强大的开源大数据处理引擎，它能够快速有效地处理大规模数据集。随着大数据的兴起，掌握Spark的使用成为了数据科学家和工程师们的重要目标。在本篇文章中，我们将讨论Spark的基本概念、应用场景以及通过实际的代码示例帮助大家更好地理解如何利用Spark进行数据处理和分析。
## Spark简介
Spark是一个用于大规模
# Spark课程实训指南
欢迎来到Spark课程实训的世界！作为一名新手，可能会觉得不知从何开始。本文将指导您完成Spark实训的整个流程，并为您提供每一步所需的代码和解释。
## 实训流程概览
以下是Spark课程实训的基本流程：
| 步骤 | 任务描述 |
| ------ | --------------------------
