内容目录创建SparkSession对象从CSV文件中读取从JSON文件中读取从Parquet文件中读取从数据列表中创建DataFrame从字典列表中创建DataFrame选择一列选择多列过滤年龄大于30的数据过滤名字为Alice的数据可以使用and、or、not等操作符进行组合查询按照年龄分组并计算平均年龄和最大年龄将age列从整型改为浮点型 Spark的DataFrame是一种类似于表格的数
转载
2023-07-28 20:23:48
131阅读
课程目标
掌握Spark SQL的原理掌握DataFrame数据结构和使用方式熟练使用Spark SQL完成计算任务 Spark SQL
Spark SQL概述什么是Spark SQL 2 sparkSQL优点我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的
转载
2024-08-14 18:41:49
60阅读
创建 SparkSessionfrom pyspark.sql import SparkSession
spark = SparkSession.builder.enableHiveSupport().appName('test_app').getOrCreate()
sc = spark.sparkContext
hc = HiveContext(sc)1. Spark创建分区表# 可以将ap
转载
2023-10-03 18:11:10
214阅读
概述RDD.foreachPartition/foreach这两个action的操作: 这两个action主要用于对每个partition中的iterator实行迭代的处理。通过用户传入的function对iterator进行内容的处理。foreach的操作在foreach中，传入一个function，这个函数的传入参数就是每个partition中，每次的foreach得到的一个rdd的kv实例
转载
2023-08-21 11:45:32
109阅读
【spark】 常用转换操作：reduceByKey和groupByKey1.reduceByKey（func）功能：使用func函数合并具有相同键的值用scala编写def main(args: Array[String]): Unit = {
val sc = new SparkContext(new SparkConf().setAppName("Test3").setMaster(
转载
2023-07-14 16:16:07
187阅读
最近用spark处理过一阵子日志，都是一些零零散散的需求，作为一个程序员，饱受查询之苦。在这个使用过程中，也渐渐对spark dataframe的使用摸索出了一些门道。之所以会频繁使用dataframe，源于我们的日志初步处理后保存为parquet格式，因而直接使用dataframe的场景比较多。读写val parquetFile = sqlContext.read.parquet("hdfs:/
转载
2023-08-08 20:41:39
65阅读
左侧的RDD[Person]虽然以Person为类型参数，但Spark框架本身不了解Person类的内部结构。而右侧的DataFrame却提供了详细的结构信息，使得Spark SQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。DataFrame多了数据的结构信息，即schema。RDD是分布式的Java对象的集合。DataFrame是分布式的Row对象的集合。DataFrame
转载
2023-09-24 18:58:54
112阅读
前言本文介绍如何在Spark Sql和DataFrame中使用UDF，如何利用UDF给一个表或者一个DataFrame根据需求添加几列，并给出了旧版（Spark1.x）和新版（Spark2.x）完整的代码示例。关于UDF：UDF：User Defined Function，用户自定义函数创建测试用DataFramespark2.0创建DataFrame// 构造测试数据，有两个字段、名字和年龄
v
转载
2024-06-14 13:02:46
21阅读
前言说起dataframe，大家一般会首先想起pandas.dataframe。随着数据科学越来越火热，大部分同学都使用过python去进行一些数据科学的实践，也应该会对dataframe的简单易用颇有好感。 然而pandas只能用于处理单机问题，面对工业级的海量数据处理和计算，就显得无能为力。 spark作为分布式计算框架，在工业界占据了比较主流的地位。spark同样也提供了dataframe供
转载
2023-08-17 09:56:50
218阅读
、agg(expers:column*) 返回dataframe类型 ，同数学计算求值
df.agg(max("age"), avg("salary"))
df.groupBy().agg(max("age"), avg("salary"))
、 agg(exprs: Map[String, String]) 返回dataframe类型 ，同数学计算求值 map类型的
df.agg(Map("a
转载
2023-09-05 12:17:17
100阅读
2020/07/08 -引言《Learning Spark》中使用的spark版本还是比较低的，所以对于DataFrame部分基本上没有涉及，虽然在sparkSql中提到了schemaRDD这个内容。到目前为止，我感觉DataFrame的很多使用方法是跟pandas的DataFrame很像的；如果想看比较全面的操作，可以看这个文章，Spark-SQL之DataFrame操作大全 - 一片黑 。本篇
转载
2023-08-16 09:27:15
110阅读
DataFrame详解环境：spark 2.4.0
slaca :2.12以上创建DataFrame的几种方式第一种：rdd 转DF
import session.implict._
val df= rdd.toDF(#columnName)第二种/**
* 创建一个空的DataFrame，代表用户
* 有四列，分别代表ID、名字、年龄、生日
*/
val c
转载
2023-08-18 13:08:14
46阅读
# Spark中DataFrame拼接实现教程
## 引言
在Spark中，DataFrame是一种强大的数据处理工具，可以进行数据的转换、过滤、聚合等操作。当我们需要将多个DataFrame进行拼接时，可以使用一些特定的方法来实现。本文将指导您如何在Spark中实现DataFrame的拼接操作。
## 整体流程
下面是实现Spark中DataFrame拼接的整体流程：
|步骤|描述|
|
原创
2023-11-26 03:16:03
259阅读
操作系统：CentOS-7.8 Spark版本：2.4.4本篇文章是对RDD的简单介绍，希望通过阅读本文你可以对RDD有一个初步认识和了解，帮助你在Spark的后续学习中更加轻松，如果你不知道什么是Spark可以先阅读《一起学习Spark入门》1.RDD是什么？RDD，全称 Resilient Distributed Datasets，弹性分布式数据集。RDD 是一个容错的，并行的分布式数据结构，
转载
2023-09-15 22:29:30
64阅读
始终考虑将RDD转换为Dataframe数据帧，执行请求的操作并保存结果......这是节省时间最多的方法。那么让我们深入研究Dataframe数据帧测试数据workers：1,Jerry,man,USA2,Cathy,female,GBR3,Teresa,female,GBR4,Rut,female,USA5,Roasie,female,AUS6,Garry,man,GBR7,Adam,man,
转载
2023-08-26 14:36:08
40阅读
1.RDD优点： 1.1 编译时类型安全； 1.2 编译时就能检查出类型错误； 1. 3 面向对象的编程风格； 1.4 直接通过类名点的方式来操作数据缺点：
转载
2024-02-16 20:22:03
72阅读
## Spark中DataFrame合并
Apache Spark是一个强大的开源分布式计算系统，它提供了丰富的API和工具，用于处理大规模数据集。其中，Spark SQL是Spark的一个模块，用于处理结构化数据。
在Spark SQL中，DataFrame是一个分布式的数据集，可以进行类似于关系型数据库的操作。对于数据分析和处理任务，DataFrame提供了一种高效灵活的方式来操作数据。
原创
2023-11-29 08:26:24
141阅读
# 在Spark中使用DataFrame进行groupByKey操作
在Apache Spark中，DataFrame是一种非常重要的数据结构，通常用于处理结构化数据。当我们需要将数据按某个键分组时，`groupByKey`通常是一个非常实用的工具。在本文中，我们将深入探讨如何在Spark的DataFrame中使用`groupByKey`操作，并提供具体的步骤以及示例代码。
## 整体流程
原创
2024-09-07 05:24:36
186阅读
# 在 Spark 中为 DataFrame 设置 Task 的完整流程
## 介绍
Apache Spark 是一个快速、通用的分布式计算引擎，它广泛应用于大数据处理和分析。当我们使用 Spark 的 DataFrame API 时，如何为数据处理设置任务（task）是开发中的关键环节。本文将带你了解如何在 Spark 中为 DataFrame 设置和执行任务。
## 整体流程
在 Sp
原创
2024-10-28 06:02:50
18阅读
遍历Spark DataFrame中的值
## 介绍
Spark是一个快速而通用的大数据处理引擎，它提供了一种分布式计算框架，可以处理大规模的数据集。Spark DataFrame是Spark SQL的核心概念之一，它提供了一个结构化的数据表示方式，并且可以通过SQL、DataFrame API或者Dataset API进行操作和分析。
在Spark DataFrame中，遍历数据是一项常见
原创
2023-09-07 12:35:29
419阅读
