一、实现功能dataframe保存到指定路径，一般都是一个文件夹，具体保存文件是文件夹内部的 part-00000*文件。对于需要指定最终保存文件的场景，本身api无法实现。本文提供保存到指定文件夹内，并且指定最终文件名称的两种方法。二、方法1：直接使用hdfs的api实现修改文件名称1.实现思路首先，DataFrame先减少分区到1个，再转换为RDD，然后写入hdfs，因为DataFrame直接
转载
2023-08-07 00:42:10
599阅读
Spark作为大数据计算框架，主要的优势在于数据计算，但是因为自身不具备分布式文件系统，所以往往需要结合其他的文件系统和数据源来完成工作，这其中就包括HDFS。HDFS是Hadoop的分布式文件系统，Spark写数据到Hadoop，其实就是HDFS与Spark协同工作，那么这一过程要如何实现呢？ Spark框架不管是写数据还是读取数据，基于Hadoop集群，主要靠的就是HDFS。我们可以把这个过程
转载
2023-09-05 08:43:15
372阅读
Spark中加载本地(或者hdfs)文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件在正常调用过程中，难免需要对多个文件夹下的多个文件进行读取，然而之前只是明确了spark具备读取多个文件的能力。针对多个文件夹下的多个文件，以前的做法是先进行文件夹的遍历，然后再进行各个文件夹目录的读取，其实不必那么麻烦，因为spark原生就支持这样的能力
转载
2023-08-28 22:10:52
329阅读
1.写在前面在spark streaming+kafka对流式数据处理过程中，往往是spark streaming消费kafka的数据写入hdfs中，再进行hive映射形成数仓，当然也可以利用sparkSQL直接写入hive形成数仓。对于写入hdfs中，如果是普通的rdd则API为saveAsTextFile()，如果是PairRDD则API为saveAsHadoopFile()。当然高版本的sp
转载
2023-07-06 17:21:04
223阅读
Spark读取HDFS或者AFS等文件系统文件Spark读取文件有很多方法，我这里主要介绍一下读取非结构化的文件的两种方式，针对多文件读取，单文件读取也是一样的。方案一：spark的textFile方法，也是最简单的方案，支持通配符
转载
2023-08-31 09:35:33
195阅读
一、RDD算子
RDD被创建后是只读的，不允许修改。Spark提供了丰富的用于操作RDD的方法，这些方法被称为算子。一个创建完成的RDD只支持两种算子：转化（Transformation）算子和行动（Action）算子。二、准备工作（一）准备文件1、准备本地系统文件在/home目录里创建words.txt
2、把文件上传到HDFS将words.txt上传到HDFS系统的/park目录里
转载
2023-08-18 22:38:22
149阅读
# Spark与HDFS文件读取
在大数据处理领域，Apache Spark和Hadoop分布式文件系统（HDFS）是两个非常重要的技术。Spark是一个快速、通用的大规模数据处理引擎，而HDFS是一个高吞吐量、高容错性的分布式文件系统。本文将通过代码示例，介绍如何使用Spark读取存储在HDFS上的文件。
## Spark简介
Apache Spark是一个开源的分布式计算系统，它提供了一
原创
2024-07-18 03:50:10
76阅读
# Spark 读取 HDFS 文件指南
作为一名刚入行的开发者，你可能对如何使用 Apache Spark 读取存储在 Hadoop 分布式文件系统（HDFS）中的文件感到困惑。本文将为你提供一个详细的指南，帮助你理解整个过程，并提供必要的代码示例。
## 流程概览
首先，让我们通过一个表格来概览整个流程：
| 步骤 | 描述 | 代码示例 |
| --- | --- | --- |
|
原创
2024-07-17 03:57:21
371阅读
# 从Spark生成HDFS文件
在大数据领域，Spark是一个非常流行的分布式计算框架，而HDFS（Hadoop分布式文件系统）是Hadoop生态系统中的分布式文件系统。将Spark生成的数据保存到HDFS文件中是非常常见的操作，本文将介绍如何通过Spark生成HDFS文件，并提供相应的代码示例。
## Spark生成HDFS文件流程
在Spark中生成HDFS文件一般包括以下几个步骤：
原创
2024-06-09 03:27:08
65阅读
1.简述使用yarn的方式提交spark应用时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 看到输出的日志在输出Neither spark.yarn.jars nor spark.yarn.archive is set；一段指令后，会看到不停地上传本地jar到HDFS上，内容如下，这个过程会非常耗时。可以通过在spark-defaults.conf配置里添
转载
2024-05-07 12:10:15
187阅读
目录一.引言二.源码浅析1.RDD.saveAsTextFile2.TextOutputFormat 3.FileOutputFormat三.源码修改1.修改文件生成逻辑 - getRecordWriter2.允许目录存在 - checkoutputSpecs3.全部代码 - TextOutputFormatV2四.追加存储代码实战五.总结一.引言Output directory fil
转载
2023-08-01 23:58:21
90阅读
目录一、spark直接读取本地文件系统的文件（非常不方便，不建议使用）1、file前缀地址“file:///”二、本地文件系统的文件上传到HDFS系统1、put命令2、copyFromLocal命令三、spark读写HDFS文件一、spark直接读取本地文件系统的文件（非常不方便，不建议使用）1、file前缀地址“file:///”例1：绝对路径成功scala> val rdd=sc.tex
转载
2023-08-25 22:43:34
431阅读
云计算 - 2 - HDFS文件系统的基本操作目标1、使用命令行操作 HDFS 文件系统2、使用 java-api 操作 hdfs 文件系统遇到的问题 目标1、HDFS 文件系统命令行操作，包括加入、修改、更新和删除 HDFS 文件系统中的文件。 2、利用 Java 开发 HDFS 文件系统应用程序，使用 HDFS Java API 接口读写 HDFS 文件系统中的文件。1、使用命令行操作 HD
转载
2023-07-14 10:42:15
537阅读
# Spark HDFS文件合并教程
## 1. 简介
在Spark中，我们经常需要处理大量的数据，而这些数据经常分布在多个HDFS文件中。为了提高处理效率和降低资源消耗，我们通常需要将这些小文件合并成更大的文件。本教程将向你介绍如何使用Spark来合并HDFS文件。
## 2. 整体流程
下面是整个合并HDFS文件的流程，我们可以通过一个流程图来更清晰地展示：
```mermaid
f
原创
2023-11-16 16:33:21
223阅读
# Spark 写入 HDFS 文件的详解指南
在大数据处理的领域，使用 Apache Spark 将数据写入 HDFS（Hadoop 分布式文件系统）是一项很基础且重要的技能。对于刚入行的小白，我们将通过清晰的步骤和代码示例来展示整个流程。
## 整体流程概述
以下是使用 Spark 写入 HDFS 文件的基本流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 环境准
# Spark写HDFS文件
## 引言
Apache Spark是一个用于大规模数据处理的快速通用的计算引擎。它将数据存储在分布式文件系统中，如Hadoop Distributed File System（HDFS），并提供了一种简单而强大的方式来处理和分析这些数据。
本文将介绍如何使用Spark来写HDFS文件，包括代码示例和详细的说明。我们将使用Scala语言编写示例代码，并使用Apa
原创
2024-02-05 09:57:12
71阅读
最近遇见加载程序写入hdfs速度缓慢问题。经过长时间的分析后解决，这里写下思路和解决方案。实时数据写入kafka过慢，导致加载到多个存储组件的sparkstreaming延迟过高。其中hbase10ms，tsdb70ms，hdfs20s。第一次尝试，分离加载程序，独立写入hdfs单独加载。速度仍然缓慢。通过日志分析得到，程序的瓶颈在于写的过程，即：InputStream in = new Buf
转载
2023-06-05 12:48:08
449阅读
Hadoop学习——hdfs上传读取删除文件的过程namnode，名字节点，最主要管理HDFS的元数据信息。datanode，数据节点，存储文件块replication，文件块的副本，目的是确保数据存储的可靠性rack 机器Client 客户端。凡是通过指令或代码操作的一端都是客户端Client 的Read（从HDFS下载文件到本地）Client的Write（上传文件到HDFS上）从HDFS上读取
转载
2023-09-01 10:04:05
276阅读
文件存储 分区规则: /houseId=?/dayId=?/hourId=?/minutet=5(5分钟产生一个文件) 存在问题: 1.收敛参数coalesce失效,小文件特别多 不同houseId(区域)的数据差异很大(如北上广与新疆西藏订单数据),导致清洗产生大量小文件 100G原始文件,清洗后产生10万多个文件2.数据入库延迟大 因为kafka 不同分区流速差异大,HDFS数据有延迟几个小时
转载
2024-03-10 23:33:36
89阅读
Spark大数据分析与实战：HDFS文件操作一、安装Hadoop和Spark具体的安装过程在我以前的博客里面有，大家可以通过以下链接进入操作Linux基础环境搭建（CentOS7）- 安装HadoopLinux基础环境搭建（CentOS7）- 安装Scala和Spark二、启动Hadoop与Spark查看3个节点的进程masterslave1slave2Spark shell命令界面与端口页面三、
转载
2024-07-03 22:16:57
116阅读
