【spark】 常用转换操作：reduceByKey和groupByKey1.reduceByKey（func）功能：使用func函数合并具有相同键的值用scala编写def main(args: Array[String]): Unit = {
val sc = new SparkContext(new SparkConf().setAppName("Test3").setMaster(
转载
2023-07-14 16:16:07
187阅读
前言说起dataframe，大家一般会首先想起pandas.dataframe。随着数据科学越来越火热，大部分同学都使用过python去进行一些数据科学的实践，也应该会对dataframe的简单易用颇有好感。 然而pandas只能用于处理单机问题，面对工业级的海量数据处理和计算，就显得无能为力。 spark作为分布式计算框架，在工业界占据了比较主流的地位。spark同样也提供了dataframe供
转载
2023-08-17 09:56:50
218阅读
1.Spark SQL出现的 原因是什么?Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrame API和Dataset API三种方式实现对结构化数据的处理。但无论是哪种API或者是编程语言，都是基于同样的执行引擎
转载
2024-07-31 16:01:23
32阅读
DataFrameDataFrame的前身是SchemaRDD，从Spark 1.3.0开始SchemaRDD更名为DataFrame。与SchemaRDD的主要区别是：DataFrame不再直接继承自RDD，而是自己实现了RDD的绝大多数功能。你仍旧可以在DataFrame上调用rdd方法将其转换为一个RDD。 在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据
转载
2023-08-08 11:39:33
71阅读
Dataset 是一个分布式的数据集 DataFrame ，是以列（列名，列的类型，列值）的形式构成的分布式数据集(Dataset)，按照列赋予不同的名称。可以理解为一张表 例如: student 表 有id,name等列名，列类型 id:int name:string city:string一、DataFrame API基本操作package com.kinglone.bigscala
imp
转载
2024-03-11 09:41:55
75阅读
DataFrame在Spark 1.3时加入，其前身是Spark 1中的SQL Context、Streaming Context、Hive Context等对象，它类似于关系数据库中的表，是行和列进行组织数据。DataFrame相当是一张二维表，可以使用SparkSession中的各种函数来创建。 ...
转载
2021-10-28 20:02:00
233阅读
2评论
前言： DataFrame需要重点关注的是如何取使用，利用DataFrame来解决实际业务中的数据问题。熟练掌握DataFrame的各种api的使用就像相当于手握一把非常重要且高效的利器，实际数据工程可以大量的被用到。 本文是对DataFrame概念和过去实际工作中用到过的DataFrame中关于数据查看的一个回忆性总结。
转载
2023-06-20 11:11:09
283阅读
pyspark中聚合函数agg的使用 作为聚合函数agg，通常是和分组函数groupby一起使用，表示对分组后的数据进行聚合操作； 如果没有分组函数，默认是对整个dataframe进行聚合操作。下面从两方面讲agg。第一就是聚合操作的写法，第二是常用的聚合函数关于如何创建dataframe，请参考之前写的教程（pyspark下dataframe的8种创建方式），from pyspark.sql
转载
2023-06-15 01:39:11
291阅读
参考链接：Spark-SQL之DataFrame操作大全 Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。 DataFrame对象上Action操作 一、show：展示数据 以表格的形式在输出中展示jdbcDF中的数据，类似于s
转载
2023-08-31 21:32:10
91阅读
先创建测试数据：在hdfs中创建spark文件夹，再将本地文件上传过去[root@hadoop01 data]# hdfs dfs -mkdir /spark[root@hadoop01 data]# hdfs dfs -put /export/data/person.txt /spa
原创
2022-05-09 20:36:48
775阅读
目录创建DataFrameList,toDF：使用List[Tuple]包装每行记录，结合toDF接口，，转化为DataFrameDataFrameRDD,StructType：推荐使用RDD和schema，生成DataFrameRDD,StructType：补充，单个元素构成一行记录，使用Row.apply()RDD,StructType：补充，多个元素构成一行记录，使用Row.fromSeq(
转载
2023-08-16 16:56:40
124阅读
一些函数： 1.append和overwrite: append 在原有分区上进行追加数据操作,overwrite在原有分区上进行全量刷新操作 2.coalesce和repartition coalesce和repartiton都用于改变分区 coalesce 不进行shuffle，多用于减少分区，在了解源码中，coalesce可传参数，选择是否进行shuffle。 repartiton 必shu
转载
2023-07-10 21:07:53
279阅读
二、Spark DataFrame基础操作2.1、DataFrameDataFrame是一种不可变的分布式数据集，这种数据集被组织成指定的列，类似于关系数据库中的表。数据集的每一列都带有名称和类型，对于数据的内部结构又很强的描述性。RDD是分布式的Java对象的集合。DataFrame是分布式的Row对象的集合。2.1.1、DataFrame特点支持KB级到PB级得到数据处理支持多种数据格式和存储
转载
2023-09-12 11:23:47
91阅读
1、创建DataFrame本文所使用的DataFrame是通过读取mysql数据库获得的，代码如下:val spark = SparkSession
.builder()
.appName("Spark SQL basic example")
.enableHiveSupport()
//.config("spark.some.config.opti
转载
2023-10-21 18:56:15
62阅读
参考：https://github.com/rklick-solutions/spark-tutorial/wiki/Spark-SQL#introductionSkip to coSpark SQL is a component on top of Spark Core that introduces a new data abstraction called SchemaRDD, w...
转载
2023-07-14 17:21:00
107阅读
在spark上将转为常用SQL #创建RDD。读取hdfs上的文件，按照空格分隔。若为本地则将hdfs://变为 file://
val lineRDD=sc.textFile(“hdfs://person.txt”).map(_.split(" "))
#定义表字段
case class person(id:Int,name:String,age:Int)
#将RDD和表连接
var
转载
2023-11-18 21:56:41
105阅读
基本操作Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。本文中的代码基于Spark-1.6.2的文档实现。一、DataFrame对象的生成 Spark-SQL可以以其他RDD对象、parquet文件、json文件、hive表，以及通
转载
2024-04-18 23:07:08
77阅读
一、datafram描述DataFrame 是一种不可变的分布式数据集，这种数据集被组织成指定的列，类似于关系数据库中的表。数据集的每一列都带有名称和类型，对于数据的内部结构又很强的描述性。二、datafram特点1、支持 KB 级到 PB 级得到数据处理 2、支持多种数据格式和存储系统
转载
2023-07-10 21:13:06
268阅读
方法一：利用createDataFrame方法，新增列的过程包含在构建rdd和schema中
方法二：利用withColumn方法，新增列的过程包含在udf函数中
方法三：利用SQL代码，新增列的过程直接写入SQL代码中
方法四：以上三种是增加一个有判断的列，如果想要增加一列唯一序号，可以使用monotonically_increasing_id代码块：//dataframe新增一列方法1，利用c
转载
2023-06-11 14:52:04
160阅读
dataFrame、dataSet整理1.RDD是什么？2.DataFrame是什么？3.创建一个DataFrame4.DataFrame和RDD的优缺点5.DataSet是什么？6.创建一个DataSet7.RDD、DataSet、DataFrame之间的区别 1.RDD是什么？RDD：弹性分布式数据集，就是数据的一个不可变的分布式元素集合，在集群中跨节点分布。可以把他的内部元素看成是一个Ja
转载
2023-11-02 10:48:33
41阅读
