由于之前已经搭建好了，今天是看视频回顾下，然后做下记录。之前已经搭建好了Yarn集群，现在在Yarn集群上搭建spark。1、安装spark下载源码包：wget http://mirror.bit.edu.cn/apache/spark/spark-1.3.0/spark-1.3.0.tgz解压：tar zxvf spark-1.3.0.tgz配置：解压后进去conf文件夹c
转载
2023-06-21 11:53:10
302阅读
Spark的一些配置总结配置总结： 集群内存总量：(executor个数) * (SPARK_EXECUTOR_MEMORY+ spark.yarn.executor.memoryOverhead)+(SPARK_DRIVER_MEMORY+spark.yarn.driver.memoryOverhead)----------------------------------------------
转载
2023-08-26 12:57:00
118阅读
目录基本概念Yarn模式搭建1. 解压缩文件2.修改配置文件启动集群测试Spark中examples案例1. 提交应用2.Web 页面查看日志配置历史服务器1.具体步骤2.重新提交应用3.Web 页面查看日志 基本概念独立部署（Standalone）模式由Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是也要记住，Spark 主要是
转载
2023-08-05 00:46:12
108阅读
1 概述一个MapReduce作业（job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序，然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。MapReduce框架和HDFS是运行在一组相同的节点上的，也就是说，计算节点和存储节点通常在
转载
2023-06-20 09:37:26
279阅读
spark 配置yarn 在此博客文章中，我将解释YARN上Spark的资源分配配置，描述yarn-client和yarn-cluster模式，并包括示例。 Spark可以在YARN中请求两个资源：CPU和内存。 请注意，用于资源分配的Spark配置在spark-defaults.conf中设置，名称类似于spark.xx.xx。 其中一些具有客户端工具（例如spark-submit /
转载
2023-11-21 15:29:48
95阅读
本文针对在YARN上运行Spark的常用配置参数进行讲解1. 在yarn上启动spark application确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。这些configs用于写入HDFS并连接YARN ResourceManager。这个目录中包含的配置将被分发到YARN集群中，以便应用程序使用的所有容器使用相同的配置。如果配
转载
2023-09-07 23:00:35
121阅读
前言上次提交任务都是采用默认参数提交的，结果运行时查看计算机状况使用的，没有最大限度的使用到计算机资源，于是这次提交任务就简单的了解了一下参数设置方面的问题，做个简单的记录。本文spark是提交到yarn上执行的，所有仅限于spark on yarn 运行模式。问题查看spark官网，提交yarn任务命令如下；To launch a Spark application in cluster mod
转载
2023-10-30 13:27:58
103阅读
配置说明默认值SPARK_WORKER_CORES作业可用的CPU内核数量所有
原创
2022-11-02 09:53:23
124阅读
说明本文档主要介绍了通过elasticsearch-hadoop中的Spark访问ES时常见配置项意义。本文中的es-spark是elasticsearch-hadoop中和Spark相关联的包，用户通过自己的Spark集群读写ES集群，elasticsearch-hadoop基本上兼容了目前ES所有的版本版本号检测异常es-spark 运行时通常会自动检测ES集群的版本号，获取的版本号主要是用来
转载
2023-08-05 18:29:12
112阅读
spark 参数详解spark参数配置优先级：SparkConf > CLI > spark-defaults.conf > spak-env.sh查看Spark属性：在 http://<driver>:4040 上的应用程序Web UI在 Environment 标签中列出了所有的Spark属性。spark-defaults.conf:(1) spark.maste
转载
2023-09-16 14:13:59
596阅读
一、第一部分1、
spark2.1与hadoop2.7.3集成，
spark on yarn模式下，需要对hadoop的
配置文件yarn-site.xml增加内容，如下：<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
转载
2023-06-13 22:45:16
138阅读
1 spark 提交主要参数1.1 num-executors此数量代表 spark的executors数量， 所有的task在executor中运行。1.2 executor-cores 此数值代表每个 executor中可以并行运行的task数。 一般一个任务使用1核，此值等同于1个executor占用的CPU核心数。1.3 executor-memory此参数指定了每个
转载
2023-08-17 17:02:32
201阅读
一、重试次数和超时"es.http.timeout" -> "5m" "es.http.retries" -> "50" 这两个参数是控制http接口层面的超时及重试，覆盖读请求和写请求，默认值比较小，默认超时时间为1分钟，重试次数为3，建议调整为超时时间5分钟，重试次数50次。二、Spark节点访问ES集群权限配置"es.nodes.wan.only" -> "true" "e
转载
2023-09-10 19:41:35
1162阅读
Spark提供了三个位置来配置系统：Spark Properties（Spark 属性）控制大多数 application 参数，并且可以使用 SparkConf 对象设置通过配置每个节点上的 conf/spark-env.sh 脚本，可以配置每台机器的环境变量，如 ip 地址日志可以通过 log4j.properties 配置Spark 属性Spark属性控制 application 绝大多数配
转载
2023-08-31 21:57:54
101阅读
一、partitionByval inputRDD = sc.parallelize(Array[(Int,Char)] ((1, 'a'),(2,'b'),(3,'C') (4,'d'),(2,'e'),(3,'f'),(2,'g'),(1, 'h')),3)
val resultRDD = inputRDD.partitionBy(new HashPartitioner (2))//使用Ha
转载
2023-11-02 12:49:34
123阅读
背景本文基于SPARK 3.2.1 用来更好的理解spark shuffle中的点点滴滴分析我们直接从SortShuffleManager着手，因为这是个shuffle的纽带：override def registerShuffle[K, V, C](
shuffleId: Int,
dependency: ShuffleDependency[K, V, C]): Shuff
转载
2024-07-30 11:17:44
33阅读
前言Spark的Mllib机器学习工具包括两个扩展，一是Mllib，其算法都是围绕RDD这个数据结构来实现的；二是ML，其基于Pipeline提供了一整套建立在DataFrame上的高级API，将每一个操作定义为一个Stage，能够帮助用户创建和优化机器学习流程。本文关注ML扩展中的Pipeline，并就如何自定义Stage模型进行讨论。一、 Pipeline介绍Pipeline直译过来就是管道、
转载
2023-11-27 22:19:36
59阅读
问题如果一个源数据有1亿行, 对这个源数据分别做map()操作和flatMap()操作, 过程是下面描述的那种流程, 为什么? 1 每读1条数据, 顺次执行map()和flatMap(), 再读取下一条; 2 对
转载
2024-01-15 02:08:43
39阅读
第1章 Spark概述1.1 什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2 Spark历史 1.3 Spark内置模块 Spark Core：实现了Spar
转载
2023-07-14 14:00:41
220阅读
Spark config配置项 一览env配置序列化配置Rpc.Nettyyarn lib中的jar和用户自己的高版本jar 处理加载 先后顺序（spark程序jar与spark lib jar冲突，加载顺序）广播内存划分shuffleClassLoaderBlockMananger env配置SPARK_PRINT_LAUNCH_COMMAND -> true 表示在spark-subm
转载
2023-08-10 11:27:46
306阅读
