Spark提供了三个位置来配置系统：Spark Properties（Spark 属性）控制大多数 application 参数，并且可以使用 SparkConf 对象设置通过配置每个节点上的 conf/spark-env.sh 脚本，可以配置每台机器的环境变量，如 ip 地址日志可以通过 log4j.properties 配置Spark 属性Spark属性控制 application 绝大多数配
转载
2023-08-31 21:57:54
101阅读
spark参数调优需要对各个参数充分理解，没有一套可以借鉴的参数，因为每个集群规模都不一样，只有理解了参数的用途，调试出符合自己业务场景集群环境，并且能在扩大集群、业务的情况下，能够跟着修改参数。这样才算是正确的参数调优。 1、背景使用spark-thriftserver，jdbc连接以执行hive查询。spark2.2.1版本，其实官方文档中，相关的参数已经写的很详细了，这边仔细阅读了
转载
2023-11-18 18:28:27
265阅读
1.描述spark的安装模式答：1) 本地模式 2) standalone 模式 3) spark on yarn 模式 4) mesos模式2.spark有哪些组件，每个组件的作用是什么答：master：管理集群和节点，不参与计算。 
转载
2024-08-26 19:13:12
127阅读
spark性能调优：基础篇本文作为Spark性能优化指南的基础篇，主要讲解开发调优以及资源调优。1：避免创建重复的RDD对于同一份数据，只应该创建一个RDD，不能创建多个RDD来代表同一份数据。2：尽可能复用同一个RDD如果要对一个RDD进行持久化，只要对这个RDD调用cache()和persist()即可。sc.textFile(“hdfs://192.168.0.1:9000/hello.tx
官方是这么说的：Cluster resources can be under-utilized if the number of parallel tasks used in any stage of the computation is not high enough. For example, for distributed reduce operations like reduceByKey
转载
2023-07-23 15:16:47
113阅读
问题：如果在 shuffle 的时候没有指定 reduce 的个数，那么会有多少个 reduce？如果不指定 reduce 个数的话，就按默认的走：1、如果自定义了分区函数 partitioner 的话，就按你的分区函数来走。2、如果没有定义，那么如果设置了 spark.default.parallelism，就使用哈希的分区方式，reduce 个数就是设置的这个值。3、如果这个也没设置，那就按照
转载
2024-02-24 11:47:42
21阅读
spark.default.parallelism：（默认的并发数）= 2当配置文件spark-default.conf中没有显示的配置，则按照如下规则取值：1、本地模式（不会启动executor，由SparkSubmit进程生成指定数量的线程数来并发）： spark-shell spark.default.parallelism
转载
2023-09-14 13:40:18
1086阅读
性能调优目录
性能调优 * 调节并行度 * 重构RDD与持久化 * 广播大变量 * 使用Kryo序列化 * 使用fastutil优化数据格式 * 调节数据本地化等待时长 * JVM调优之降低cache操作的内存占比 * JVM调优之调节Executor堆外内存与连接等待时长调节并行度并行度：其实就是指的是，Spark作业中，各个stage的task数量，也就代表了Spark作业的在各个阶段（sta
转载
2024-09-24 15:12:12
22阅读
SparkConf、spark-submit以及spark-defaults.confspark-submit脚本会自动加载conf/spark-defaults.conf文件中的配置属性，并传递给我们的spark应用程序加载默认的配置属性，一大好处就在于，我们不需要在spark-submit脚本中设置所有的属性比如说，默认属性中有一个spark.master属性，所以我们的spark-submi
转载
2023-10-16 13:01:36
53阅读
Spark 1.6.x的新特性Spark-1.6是Spark-2.0之前的最后一个版本。主要是三个大方面的改进：性能提升，新的 Dataset API 和数据科学功能的扩展。这是社区开发非常重要的一个里程碑。1. 性能提升根据 Apache Spark 官方 2015 年 Spark Survey，有 91% 的用户想要提升 Spark 的性能。Parquet 性能自动化内存管理流状态管理速度提升
转载
2024-02-20 09:43:56
33阅读
Spark、调优、参数总结
Spark参数详解 （Spark1.6）参考文档：Spark官网
在Spark的web UI在“Environment”选项卡中列出Spark属性。这是一个很有用的地方，可以检查以确保属性设置正确。注意，只有通过spark-defaults.conf, SparkConf, 或者 command line配置过的属性才会出现
转载
2023-12-09 15:46:31
59阅读
实现“spark show databases只有default”的过程可以分为以下步骤：
| 步骤 | 动作 |
|:---:|:---|
| 1 | 创建一个SparkSession对象 |
| 2 | 使用SparkSession对象连接到Spark集群 |
| 3 | 创建一个DataFrame对象 |
| 4 | 将DataFrame对象注册为一个临时视图 |
| 5 | 使用Spar
原创
2024-01-02 09:55:45
106阅读
1.spark环境记得拷贝进hive.xml2.SparkSession.builder().enableHiveSupport()记得加上enableHiveSupport3.window记得winutils.exe这个工具放上（具体用法可以百度）
转载
2023-06-25 17:26:23
132阅读
Spark的默认配置文件位于堡垒机上的这个位置: $SPARK_CONF_DIR/spark-defaults.conf，用户可以自行查看和理解。需要注意的是，默认值优先级最低，用户如果提交任务时或者代码里明确指定配置，则以用户配置为先。 用户再理解参数含义的基础上，可根据具体任务情况调整参数（修改提交参数--conf值，不是spark-defaults.conf文件）。以下常用参数配置均可以通过
转载
2024-08-14 16:24:41
16阅读
# 使用pyspark配置spark-default.conf的步骤
在使用pyspark开发过程中，我们经常需要对spark的配置文件进行修改，以满足项目需求。其中，spark-default.conf是一个重要的配置文件，它包含了spark的默认配置信息。本文将介绍如何使用pyspark来配置spark-default.conf文件，以及每一步需要做什么。
## 步骤概述
下面是配置sp
原创
2023-07-21 13:37:33
360阅读
# 实现redis配置 user default on
## 介绍
在开发过程中，我们经常会使用到Redis作为缓存或数据存储。在使用Redis之前，我们需要对其进行配置，以满足我们的需求。本文将向刚入行的小白介绍如何实现“redis配置 user default on”。
## 整体流程
下面是整个实现过程的流程图：
```mermaid
pie
"安装Redis" : 20
原创
2023-09-22 19:52:05
131阅读
1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化/CheckPoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优 降低RDD缓存占用空间的比例：new SparkConf().set("spark.storage.memoryFraction","0.5"),从而提高task使用的内存比例。6、提高并行度 new SparkConf().set("spark.
转载
2023-10-08 11:49:04
139阅读
今天在练习Spark代码的时候遇到一个奇怪的现象： 这是我的原始数据，在idea中创建一个txt文件： 这是我的代码：val rdd: RDD[String] = sc.textFile("input/test.txt", 3) // 设置分区数为3
rdd.saveAsTextFile("output")结果出现了四个分区： 要想解决这个问题，首先应该明确两个点：分区数量到底是多少？每个分区到底
转载
2024-06-18 15:36:00
98阅读
默认的配置属性spark-submit脚本会自动加载conf/spark-defaults.conf文件中的配置属性，并传递给我们的spark应用程序 加载默认的配置属性，一大好处就在于，我们不需要在spark-submit脚本中设置所有的属性 比如说，默认属性中有一个spark.master属性，所以我们的spark-submit脚本中，就不一定要显式地设置--master，默认就是local
转载
2024-04-09 01:46:45
18阅读
Spark基础及安装环境(1) 概念: Spark是一站式大数据分析平台, Spark的计算速度在官网对比逻辑回归模型和Hadoop的对比, 其中spark比hadoop快100倍, Hadoop3.X比spark快10倍(仁者见仁智者见智)(2)为什么学习Spark? --> 对于Hadoop中的MapReduce计算仅仅支持一次计算模型, 但是对于图计算或者机器学习算法都需要迭代计算,
转载
2023-08-24 15:39:23
58阅读
