一、第一部分1、
spark2.1与hadoop2.7.3集成，
spark on yarn模式下，需要对hadoop的
配置文件yarn-site.xml增加内容，如下：<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
转载
2023-06-13 22:45:16
138阅读
假定我们需要计算大文本中每一行的长度，并且报告每个长度的行数。在HadoopMapReduce中，我们首先使用一个Mapper，生成为以行的长度作为key，1作为value的键值对。
public class LineLengthMapper extends
Mapper<LongWritable, Text, IntWritable, IntWritable> {
转载
2023-10-03 19:55:40
50阅读
向spark集群（standalone）提交作业,我们通常用如下命令./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://207.184.161.138:7077 \
--executor-memory 20G \
--total-executor-cores 100 \
转载
2024-08-14 19:51:35
163阅读
# Spark配置Hive2的完整指南
在大数据处理领域，Apache Spark与Apache Hive的结合利用了两者的优势，提供了强大的数据处理能力。如果你刚入行，可能会对如何配置Spark以使用Hive 2感到困惑。本文将分步骤详细介绍整个流程。
## 整体流程
我们将分几个步骤来完成Spark配置Hive2的工作。下面是步骤的简要表格：
| 步骤 | 描述
原创
2024-09-18 05:09:08
52阅读
转自doublexi: Spark其实是Hadoop生态圈的一部分，需要用到Hadoop的HDFS、YARN等组件。为了方便我们的使用，Spark官方已经为我们将Hadoop与scala组件集成到spark里的安装包，解压开箱即可使用，给我们提供了很大的方便。如果我们只是本地学习的spark，又不想搭建复杂的hadoop集群，就可以使用该安装包。spark-3.2.0-bin-hadoop3.2-
转载
2024-01-16 18:00:55
70阅读
我们在初始化SparkConf时，或者提交Spark任务时，都会有master参数需要设置，如下：conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)/bin/spark-submit \
--cluster cluster_name \
--mas
转载
2023-08-25 14:06:21
81阅读
2. Spark 集群搭建目标 从 Spark 的集群架构开始, 理解分布式环境, 以及 Spark 的运行原理 理解 Spark 的集群搭建, 包括高可用的搭建方式 2.1. Spark 集群结构目标 通过应用运行流程, 理解分布式调度的基础概念 Spark 如何将程序运行在一个集群中? Spark 自身是没有集群管理工具的, 但是如果想要管理数以千计台机器的集群, 没有一个集群管理工具还不太现实, 所以 Spark 可以借助外部..
原创
2022-01-27 14:08:27
572阅读
1 文档编写目的Fayson在前面的文章中介绍过什么是Spark Thrift，Spark Thrift的缺陷，以及Spark Thrift在CDH5中的使用情况，参考《0643-Spark SQL Thrift简介》。在CDH5中通过自己单独安装的方式运行Thrift服务现在已经调通并在使用的是如下版本组合：1.在CDH5中安装Spark1.6的Thrift服务，参考《0079-如何在CDH中启
转载
2023-08-24 23:00:24
93阅读
2. Spark 集群搭建目标 从 Spark 的集群架构开始, 理解分布式环境, 以及 Spark 的运行原理
原创
2021-08-27 15:35:55
694阅读
我有4台机器 其中hadoop1-hadoop3是cdh集群，而hadoop4是一台普通的机器。我通过一台不属于cdh集群的机器，通过远程的方式，让cdh集群进行运算，而我本机不参与运算。进行操作的流程如下:要想理解远程提交，我们从2个方面去学习 1.了解原理和思路 2.进行操作了解原理思路 首先，我们来了解spatk基础常识 spark提交
转载
2023-08-31 20:31:54
104阅读
由于之前已经搭建好了，今天是看视频回顾下，然后做下记录。之前已经搭建好了Yarn集群，现在在Yarn集群上搭建spark。1、安装spark下载源码包：wget http://mirror.bit.edu.cn/apache/spark/spark-1.3.0/spark-1.3.0.tgz解压：tar zxvf spark-1.3.0.tgz配置：解压后进去conf文件夹c
转载
2023-06-21 11:53:10
302阅读
目录基本概念Yarn模式搭建1. 解压缩文件2.修改配置文件启动集群测试Spark中examples案例1. 提交应用2.Web 页面查看日志配置历史服务器1.具体步骤2.重新提交应用3.Web 页面查看日志 基本概念独立部署（Standalone）模式由Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是也要记住，Spark 主要是
转载
2023-08-05 00:46:12
108阅读
本文针对在YARN上运行Spark的常用配置参数进行讲解1. 在yarn上启动spark application确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。这些configs用于写入HDFS并连接YARN ResourceManager。这个目录中包含的配置将被分发到YARN集群中，以便应用程序使用的所有容器使用相同的配置。如果配
转载
2023-09-07 23:00:35
121阅读
spark 配置yarn 在此博客文章中，我将解释YARN上Spark的资源分配配置，描述yarn-client和yarn-cluster模式，并包括示例。 Spark可以在YARN中请求两个资源：CPU和内存。 请注意，用于资源分配的Spark配置在spark-defaults.conf中设置，名称类似于spark.xx.xx。 其中一些具有客户端工具（例如spark-submit /
转载
2023-11-21 15:29:48
92阅读
1 概述一个MapReduce作业（job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序，然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。MapReduce框架和HDFS是运行在一组相同的节点上的，也就是说，计算节点和存储节点通常在
转载
2023-06-20 09:37:26
279阅读
Spark的一些配置总结配置总结： 集群内存总量：(executor个数) * (SPARK_EXECUTOR_MEMORY+ spark.yarn.executor.memoryOverhead)+(SPARK_DRIVER_MEMORY+spark.yarn.driver.memoryOverhead)----------------------------------------------
转载
2023-08-26 12:57:00
118阅读
简介：在我的CDH5.15.0集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.3版本，大告成功，这里做一下安装spark2.3版本的步骤记录。一. 安装准备所需软件②parc
转载
2023-08-04 15:15:53
60阅读
1. CDH官网Spark2的安装教程网址https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html2. 下载对应的Spark2版本1．查看CDH和Spark的对应版本列表（点击上述图片2中的地址即可跳转），在这里选择安装Spark的2.2和cloudera1版本，请注意，
转载
2023-07-31 16:11:39
86阅读
配置Hadoop Spark2开放算力
作为一名经验丰富的开发者，你可以帮助新手实现配置Hadoop Spark2开放算力。下面将详细介绍这个过程，并提供每个步骤的代码和相应的注释。
整个过程可以分为以下几个步骤：
1. 安装Hadoop和Spark2：首先需要安装Hadoop和Spark2。可以通过以下步骤来安装：
```
# 安装Hadoop
sudo apt-get install h
原创
2024-02-05 09:29:53
21阅读
1.上传spark-2.4.0-bin-hadoop2.6.tgz到/opt目录，并解压到/usr/localtar -zxf /opt/spark-2.4.0-bin-hadoop2.6.tgz -C /usr/local/ 进入/usr/local/spark-2.4.0-bin-hadoop2 ...
转载
2021-10-22 09:18:00
138阅读
2评论
