看网上ADP的代码挺少的，最近写了一个ADP值迭代的代码，分享一下，接下来也准备写Actor-Critic框架的代码。1、ADP值迭代原理 ADP值迭代和强化学习的值迭代很类似，ADP中的值迭代分为传统的值迭代和广义值迭代（仅仅是初始值不同的差异）。具体的文章可以参考文献1和文献2。 值迭代可以用于求解线性和非线性系统。首先初始化值函数，然后进行迭代： 在第 i 次
转载
2024-06-30 22:01:44
67阅读
spark中使用了RDD(Resilient Distributed Datasets, 弹性分布式数据集)抽象分布式计算，即使用RDD以及对应的transform/action等操作来执行分布式计算；并且基于RDD之间的依赖关系组成lineage以及checkpoint等机制来保证整个分布式计算的容错性。1 背景RDD模型的产生动机主要来源于两种主流的应用场景：Ø&nbs
Spark SQL 自定义函数实例（UDF、UDAF、UDTF）UDF函数分类及说明自定义UDF函数及使用maven依赖dependencies自定义UDAF函数及使用hive UDTF函数写法 UDF函数分类及说明UDF分为三种： UDF ：输入一行，返回一个结果 ；一对一；比如定义一个函数，功能是输入一个IP地址，返回一个对应的省份 UDAF：输入多行,返回一行；aggregate(聚合),
转载
2023-09-28 20:30:50
126阅读
groupByKey 和 reduceByKey 有什么区别？从这两个算子的字面意思来看，groupByKey 是先按照 key 进行分组，然后把相同的 key 收集到一起；reduceByKey( f )，把相同的 key 进行聚合，聚合的逻辑由传入 f 函数所指定。这两个算子，只针对 kv 格式的 RDD 才能使用。在前几篇文章中说了，每调一个算子，都是一次 RDD 的转换，也是一次数据形态的
转载
2023-08-21 09:23:03
134阅读
1. DataFrame在Spark中可以通过RDD转换为DataFrame，也可以通过DataFrame转化为RDD，DataFrame可以理解为数据的一个格式，实质show()就是一张表。读取数据构造DataFrame主要有以下几种方式：从Json文件中读取通过SQLContext构造类对象构造DataFrame动态创建Schema构造当前的DataFrame结构从parquet文件中读取从M
转载
2023-09-19 23:00:26
86阅读
reparation(num)=coalesce(num, true) 源码包路径：
org.apache.spark.rdd.RDD coalesce函数： 返回一个经过简化到numPartitions个分区的新RDD。这会导致一个窄依赖，例如：你将1000个分区转换成100个分区，这个过程不会发生shuffle，如果10个分区转换成100个分区将会发生shuffle。如
转载
2023-08-31 22:02:38
115阅读
split是可以用多种不同的符号（转义字符，以及标点符号）作为分隔符的！！！ （1）读取txt文件，按\t分隔，将分割出来的列大于指定列的滤掉，解析不准； 注意len的用法self.df_judgedoc_info_sample = self.session.read.text(self.judgedoc_info_sample_table_input)
self.df_j
转载
2023-07-10 21:11:02
118阅读
DataFrameDataFrame的前身是SchemaRDD，从Spark 1.3.0开始SchemaRDD更名为DataFrame。与SchemaRDD的主要区别是：DataFrame不再直接继承自RDD，而是自己实现了RDD的绝大多数功能。你仍旧可以在DataFrame上调用rdd方法将其转换为一个RDD。 在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据
转载
2023-08-08 11:39:33
71阅读
spark dataframe派生于RDD类，但是提供了非常强大的数据操作功能。当然主要对类SQL的支持。在实际工作中会遇到这样的情况，主要是会进行两个数据集的筛选、合并，重新入库。首先加载数据集，然后在提取数据集的前几行过程中，才找到limit的函数。而合并就用到union函数，重新入库，就是registerTemple注册成表，再进行写入到HIVE中。不得不赞叹dataframe的强大。 具体
转载
2023-07-14 16:41:26
144阅读
一、RDD、DataFrame、DataSet1. RDDRDD，全称为 Resilient Distributed Datasets，即分布式数据集，是 Spark 中最基本的数据抽象，它代表一个不可变、 可分区、里面的元素可以并行计算的集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有 RDD 以及调用 RDD 操作进行求值。每个 RDD 都被分为多个分区，这些分区运行在集
转载
2023-09-28 18:22:37
153阅读
spark—map与flatmap的区别之用flatmap代替map.filter/filter.map组合spark RDD与DStream API支持很多好用的算子，最常用的莫过于map和filter了，顾名思义可知：map： 返回一个新的分布式数据集，其中每个元素都是由源RDD中一个元素经func转换得到的；filter： 返回一个新的数据集，其中包含的元素来自源RDD中元素经func过滤后
转载
2023-07-13 20:21:10
166阅读
本文是Spark知识总结帖，讲述Spark Partition相关内容。 1 什么是Partition Spark RDD 是一种分布式的数据集，由于数据量很大，因此要它被切分并存储在各个结点的分区当中。从而当我们对RDD进行操作时，实际上是对每个分区中的数据并行操作。图一：数据如何被分区并存储到各个结点 &nb
转载
2023-09-11 09:42:41
141阅读
1.reduceByKey（func）功能：使用func函数合并具有相同键的值用scala编写def main(args: Array[String]): Unit = {
val sc = new SparkContext(new SparkConf().setAppName("Test3").setMaster("local[*]"))
val data = Array("on
转载
2023-08-07 07:02:19
167阅读
当我们使用Spark加载数据源并进行一些列转换时，Spark会将数据拆分为多个分区Partition，并在分区上并行执行计算。所以理解Spark是如何对数据进行分区的以及何时需要手动调整Spark的分区，可以帮助我们提升Spark程序的运行效率。什么是分区关于什么是分区，其实没有什么神秘的。我们可以通过创建一个DataFrame来说明如何对数据进行分区： scala> val
转载
2023-09-01 09:00:27
182阅读
在SparkSql中要求被操作的数据必须是结构化的,所以引入了俩种数据类型,DataFrame和DataSet。DataFrame是spark1.3之后引入的分布式集合,DataSet是spark1.6之后引入的分布式集合。在spark2.0之后,DataFrame和DataSet的API统一了,DataFrame是DataSet的子集,DataSet是DataFrame的扩展。(type Dat
转载
2023-05-22 10:04:41
172阅读
1 >spark的UDF操作理解:就是在sql中查询语句中提供了max(),avg(),min(),count()等函数操作, 同样的在spark中也有这些函数,但是用户的需求是多变的,比如:select name,age,length(name)/name.length from user很明显,不管是使用length(name)或是name.length都不可能实现这种效果, 于是sp
转载
2023-07-31 13:34:35
135阅读
参考文章：Spark学习之Dataset (DataFrame) 的基础操作Spark创建DataFrame的三种方法一. 有类型操作1.转换类型的操作转换类型的操作主要包含：flatMap、map、mapPartitions、transform、as（1）flatMap方法描述：通过 flatMap 可以将一条数据转为一个数组, 后再展开这个数组放入 Datasetval d
转载
2023-05-22 09:42:24
437阅读
在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看： RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同是的他们的执行效率和执行方式。 在后期的
转载
2023-08-31 21:50:54
95阅读
Spark DataFrame支持所有基本SQL Join类型的操作,如INNER,RIGHT OUTER,LEFT ANTI, LEFT SEMI, CROSS, SELF JOIN. Spark SQL Join操作是宽转换操作,结果数据会重组在网络中,因此当不仔细设计时,会有非常大的性能问题.另外一方面,Spark SQL Join操作默认带更多优化(多亏DataFrame & Da
转载
2023-08-04 20:27:19
145阅读
1.reduceByKey(func)功能： 使用 func 函数合并具有相同键的值。示例： val list = List("hadoop","spark","hive","spark")
val rdd = sc.parallelize(list)
val pairRdd = rdd.map((_,1))
pairRdd.reduceByKey(_+_).collect.foreach(p
转载
2023-07-14 16:41:41
86阅读
