spark数据量大于内存 spark 处理10g数据

转载

mob64ca1402a190 2023-10-27 00:32:49

Spark性能优化

主要针对内存的使用调优

首先要看到内存使用情况，才能进行针对性的优化

（1）内存花费

每个Java对象，都有一个对象头，占用16字节，包含一些对象的元信息，比如指向它的类的指针。如果对象本身很小，比如int，但是他的对象头比对象自己还大
Java的String对象，会比它内存的原始数据，多出40个字节。String内部使用的char数组来保存内部的字符串序列，并且还要保存诸如输出长度之类的信息。char使用的是UTF-16编码，每个字符会占2个字节。比如，包含10个字符的String，2*10+30=60字节
Java中的集合类型，比如HashMap和LinkedList，内部使用链表数据结构。链表中的每个数据，使用Entry对象包装。Entry对象，不光有对象头，还有只想下一个Entry的指针，占用8字节
元素类型为原始数据类型（int），内部通常会使用原始数据类型的包装类型（Integer）来存储元素

设置RDD的并行度（parellelize和textFile两种方法创建RDD，在这两个方法中，传入第二个参数，设置RDD的partition数量。在SparkConfig中设置一个参数：spark.default.parallelism可以统一设置这个application中所有RDD的partition数量）
将RDD缓存
观察日志：driver日志（在Spark的work文件夹下）
将这个MemoryStore内存信息相加，就是RDD内存

数据序列化，就是将对象或者数据结构，转换成特定的格式，使其可在网络中传输，或存储在内存或文件中

反序列化，就是相反的操作，将对象从序列化数据中还原出来

序列化后的数据格式，可以是二进制，xml，json等任何格式

对象、数据序列化的重点在于数据的交换与传输

在任何分布式系统中，序列化都是扮演着一个重要的角色

如果使用的序列化技术，操作很慢，或者序列化后的数据量还是很大、会让分布式系统应用程序性能下降很多，所以Spark性能优化的第一步，就是进行序列化的性能优化

Spark自身默认会在一些地方对数据进行序列化，比如Shuffle。另外，我们使用了外部数据（自定义类型），也要让其可序列化

默认情况下：Spark倾向于序列化的便捷性，使用了Java自身提供的序列化机制，很方便使用。但是，Java序列化机制性能不高，序列化速度慢，序列化数据较大，比较占用内存空间

Spark支持使用kryo类库来进行序列化

速度快，占用空间更小，比Java序列化数据占用空间小10倍

（1）设置Spark conf

spark.master spark://6.7.8.9:7077

spark.executor.memory 4g

spark.eventLog.enabled true

spark.serializer org.apache.spark.serializer.KryoSerializer

（2）使用kryo，需要序列化的类，提前注册，以获得高性能

conf.registerKryoClasses(Array(classOf[Count],...))

优化缓存大小（如果注册的自定义类型，本身特别大（100个字段），会导致要序列化的对象太大。此时需要对kyro本身进行优化。因为kryo内部的缓存，可能不能存放这么大的class对象。设置spark.kryoserializer.buffer.max参数，将其调大）
预先注册自定义类型（虽然不注册自定义类型，kryo也可以正常工作，但会保存一份他的全限定类名，耗费内存。推荐预先注册要序列化的自定义类型）