目录序言理论基础生态介绍安装和配置多节点部署交互SparkHBase目标单纯的hadoop，包括HDFS和MR等，可以解决一部分问题，但是还是有些麻烦。Spark的诞生是为了使得在某些场景下分布式数据的处理更便捷，效率更高。Hadoop和Spark不是两个对立或需要二选一的工具，而是两个相互补充，以完成更全面的工作的两个朋友。这一篇，我们会从安装部署Spark开始，介绍如何通过Spark做
转载
2023-09-06 20:45:32
65阅读
大数据中的数据量非常巨大，达到了PB级别。而且这庞大的数据之中，不仅仅包括结构化数据(如数字、符号等数据)，还包括非结构化数据(如文本、图像、声音、视频等数据)。这使得大数据的存储，管理和处理很难利用传统的关系型数据库去完成。在大数据之中，有价值的信息往往深藏其中。这就需要对大数据的处理速度要非常快，才能短时间之内就能从大量的复杂数据之中获取到有价值的信息。在大数据的大量复杂的数据之中，通常不
转载
2024-09-20 10:00:28
7阅读
1. 问题一：什么时候进行Shuffle的fetch操作？Shuffle是一边Mapper的Map操作同时进行Reducer端的Shuffle和Reduce操作吗？错误的观点:Spark是一边Mapper一边Shuffle的，而Hadoop的MapReduce是先完成Mapper然后才开始Reducer的Shuffle。事实是：Spark一定是先完成Mapper
# Spark on YARN Hadoop 配置指南
在大数据处理中，Apache Spark 是一个强大的数据处理引擎，YARN (Yet Another Resource Negotiator) 是 Hadoop 的资源管理器。结合这两者，可以实现高效的数据计算和处理。以下是如何配置 Spark 在 YARN 上运行的详细流程。
## 流程概览
| 步骤 | 描述 |
|------|
原创
2024-10-01 10:02:24
60阅读
文章目录0. Yarn的来源1. YARN概述2. YARN的重要组成部分2.1 ResourceManager（1）Application Manager 应用程序管理器（2）Scheduler 资源调度器2.2 NodeManager2.3 逻辑上的组件Application Master3. Container 资源池4. 小结 0. Yarn的来源 hadoop 1.x的时代，并没有Ya
转载
2023-09-17 12:10:14
93阅读
前言在之前的大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建，但是在使用hive进行数据查询的时候会非常的慢，因为hive默认使用的引擎是MapReduce。因此就将spark作为hive的引擎来对hbase进行查询，在成功的整合之后，我将如何整合的过程写成本篇博文。具体如下！事前准备在进行整合之前，首先确保Hive
转载
2023-07-13 16:50:10
45阅读
Spark on YARN without Hadoop 部署
在大数据领域中，Apache Spark 是一个非常强大的数据处理引擎。而YARN是Hadoop集群的资源管理器，用于调度和分配集群中的资源。通常情况下，Spark是在Hadoop集群上运行的，但有时候我们可能只需要Spark，而不需要整个Hadoop生态系统。本文将介绍如何在没有Hadoop的情况下，在YARN上部署Spark，并
原创
2024-01-03 07:02:29
90阅读
为了防止不必要的报错，部署之前请务必从开头开始看，切勿跳过其中一个部署模式，因为每一个部署模式都是从上一个模式的配置上进行的下载地址：https://archive.apache.org/dist/spark/本文所下载版本为：spark-3.3.0-bin-hadoop2环境:hadoop-2.7.5jdk1.8.0Scala安装&部署过程(Local)本地部署模式所谓的Local模式，
转载
2023-10-08 12:35:40
197阅读
先记录一下blog.csdn.net/weixin_44198965/article/details/89603788wget https://archive.apache.org/dist/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgzwget https://archive.apache.org/dist/hadoop/common/ha
原创
2022-03-10 17:57:45
491阅读
Kubernetes之高可用集群二进制部署（Runtime Containerd）Kubernetes（简称为：k8s）是Google在2014年6月开源的一个容器集群管理系统，使用Go语言开发，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效,Kubernetes提供了资源调度、部署管理、服务发现、扩容缩容、监控，维护等一整套功能，努力成为跨主
当涉及到大规模数据的存储和处理时，Hadoop 和 Flink 是两个非常受欢迎的工具。虽然它们都旨在处理大数据，但它们的实现方式、架构和优缺点略有不同。下面将更加详细地介绍 Hadoop 和 Flink 的特点及其适用性。一、HadoopHadoop 是一个由 Apache 软件基金会开发的开源分布式计算框架。Hadoop 的核心组件包括：HDFS：Hadoop 分布式文件系统，它可以在多个节点
转载
2023-08-01 16:05:47
122阅读
在Spark Standalone模式下，集群资源调度由Master节点负责。Spark也可以将资源调度交给YARN来负责，其好处是YARN支持动态资源调度。Standalone模式只支持简单的固定资源分配策略，每个任务固定数量的core，各Job按顺序依次分配资源，资源不够时排队等待。这种策略适用单用户的场景，但在多用户时，各用户的程序差别很大，这种简单粗暴的策略很可能导致有些用户总是分配不到资
转载
2023-10-09 05:48:54
0阅读
## YARN时间线服务和Spark应用程序数据追踪
### 什么是YARN时间线服务？
在Apache Hadoop生态系统中，YARN（Yet Another Resource Negotiator）是一个分布式计算框架，用于管理和调度大规模数据处理作业。YARN的时间线服务是一个组件，用于收集、存储和查询与应用程序相关的数据。
YARN时间线服务提供了一个有关作业、应用程序和容器的详细
原创
2023-07-27 06:02:58
479阅读
# 使用 Docker 搭建 Hadoop 集群和 Spark on YARN
在这篇文章中，我们将会学习如何使用 Docker 搭建一个 Hadoop 集群，并在其上运行 Spark on YARN。整个过程可以分为几个步骤，下面是流程概览：
| 步骤 | 描述 |
|------|------|
| 1 | 安装 Docker |
| 2 | 拉取 Hadoop 和 Spark
原创
2024-09-03 04:27:20
135阅读
每次提交Spark任务到yarn的时候，总会出现uploading resource（打包spark jars并上传）到hdfs上。 恶劣情况下，会在这里卡住很久。 解决： 在
原创
2022-05-17 20:48:57
716阅读
hadoop3.x
HDFS NameNode 内部通常端口：8020、9000、9820
HDFS NameNode 对用户的查询端口：9870
转载
2023-05-24 23:12:25
296阅读
实验内容和要求1．安装Hadoop和Spark 进入Linux系统，完成Hadoop伪分布式模式的安装。完成Hadoop的安装以后，再安装Spark（Local模式）。2．HDFS常用操作 使用hadoop用户名登录进入Linux系统，启动Hadoop，参照相关Hadoop书籍或网络资
转载
2024-08-02 11:13:08
60阅读
Spark-on-YARN1. 官方文档http://spark.apache.org/docs/latest/running-on-yarn.html2. 配置安装1.安装hadoop：需要安装HDFS模块和YARN模块，HDFS必须安装，spark运行时要把jar包存放到HDFS上。2.安装Spark：解压Spark安装程
转载
2024-08-14 18:10:09
33阅读
先抛出问题：Spark on Yarn有cluster和client两种模式，它们有什么区别？ 用Jupyter写Spark时，只能使用client模式，为什么？写一篇文章，搞清楚 Spark on Yarn 的运行原理，同时回答上面的问题。首先，把Spark和Yarn当做两个独立概念来看。单看Spark，不去管它底层依赖的存储结构，本质上讲，它就是个分布式计算的程序。程序的入口是一个叫做 Spa
转载
2023-10-14 00:16:47
138阅读
Point 1：资源管理与作业调度 Spark对于资源管理与作业调度可以使用Standalone(独立模式)，Apache Mesos及Hadoop YARN来实现。 Spark on Yarn在Spark0.6时引用，但真正可用是在现在的branch-0.8版本。Spark on Yarn遵循YARN的官方规范实现，得益于Spark天生支持多种Scheduler和Executor的良好设计，对
转载
2024-08-14 16:03:20
135阅读
