一、RDD算子
RDD被创建后是只读的，不允许修改。Spark提供了丰富的用于操作RDD的方法，这些方法被称为算子。一个创建完成的RDD只支持两种算子：转化（Transformation）算子和行动（Action）算子。二、准备工作（一）准备文件1、准备本地系统文件在/home目录里创建words.txt
2、把文件上传到HDFS将words.txt上传到HDFS系统的/park目录里
转载
2023-08-18 22:38:22
149阅读
Hadoop 系列之一：HDFS简介简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统。 HDFS有很多特点：① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。 ③ 适合大数据的处理
转载
2023-08-18 22:51:48
91阅读
# 如何将Spark保存到HDFS
## 整体流程
首先，我们需要明确整个流程，下面是保存Spark数据到HDFS的步骤表格：
| 步骤 | 操作 |
| --- | --- |
| 1 | 创建SparkSession |
| 2 | 读取数据 |
| 3 | 处理数据 |
| 4 | 保存数据到HDFS |
接下来，我们将详细说明每一步需要做什么，并给出相应的代码示例。
## 具体操
原创
2024-05-24 05:13:38
193阅读
# Spark读取Hive数据保存到HDFS
在大数据处理领域，Hadoop生态系统中的两个核心组件是Hive和Spark。Hive是一个基于Hadoop的数据仓库工具，可以通过类SQL语言(HiveQL)查询和分析数据。而Spark是一个用于大规模数据处理的快速通用计算引擎。
在实际项目中，我们经常需要将Hive中的数据进行处理后保存到HDFS中，以进行后续的分析和挖掘。本文将介绍如何使用S
原创
2024-01-24 05:40:38
135阅读
# Spark消费kafka保存hdfs
## 1. 引言
随着大数据时代的到来，越来越多的企业开始使用实时流数据处理来分析和处理海量数据。在这个过程中，Apache Kafka成为了非常重要的消息中间件，而Spark则成为了处理这些数据的首选框架之一。本文将介绍如何使用Spark消费Kafka中的数据，并将其保存到HDFS上。
## 2. 准备工作
在使用Spark消费Kafka之前，我
原创
2023-12-29 04:35:50
50阅读
Spark数据读取对于存储在本地文件系统或分布式文件系统（HDFS、Amazon S3）中的数据，Spark可以访问很多种不同的文件格式，比如文本文件、JSON、SequenceFileSpark SQL中的结构化数据源，包括JSON和Hive的结构化数据源数据库和键值存储，自带的库，联结HBase或其他JDBC源格式名称结构化备注文本文件否普通的文本文件，每行一条记录JSON半结构化每行一条记录
转载
2023-07-12 10:10:20
94阅读
可以带着下面问题来阅读文章问题：1.MapReduce在日志分析的作用思考：该如何架构kpi系统，需要考虑什么问题。
kpi：关键绩效指标法，即KPI绩效考核，是企业绩效考核的方法之一，其特点是考核指标围绕关键成果领域进行选取，均对关键绩效指标考核法的应用及其特点有所介绍。
前言 Web日志包含着网站最重要的信息，通过日志分析，我们可以知道网站的访问量，哪个网页访问人数最多，哪个网页最
转载
2024-10-12 11:22:57
32阅读
在分布式计算中，为了提高计算速度，数据本地性是其中重要的一环。 不过有时候它同样也会带来一些问题。一.问题描述在分布式计算中，大多数情况下要做到移动计算而非移动数据，所以数据本地性尤其重要，因此我们往往也是将hdfs和spark部署在相同的节点上，有些人可能会发现即使他已经这么做了，在spark的任务中的locality还是ANY，这说明所有的数据都是走的网络IO。在没有没有shuffle的情况
转载
2024-01-24 18:42:43
114阅读
Hadoop
部分参考《hadoop大数据实战手册-精英版》-有很多命令查找语句 详细： hadoop分为几大部分：yarn负责资源和任务管理、hdfs负责分布式存储、map-reduce负责分布式计算 YARN总体上仍然是master/slave（主从）结构Hdfs文件系统
HDFS 部分由NameNode、SecondaryNameNode和DataNode组成。 HDFS 文件的大小可以大
转载
2023-07-27 20:38:22
135阅读
Spark读取HDFS或者AFS等文件系统文件Spark读取文件有很多方法，我这里主要介绍一下读取非结构化的文件的两种方式，针对多文件读取，单文件读取也是一样的。方案一：spark的textFile方法，也是最简单的方案，支持通配符
转载
2023-08-31 09:35:33
195阅读
一、 基于终端指令的持久化存储保证爬虫文件的parse方法中有可迭代类型对象（通常为列表or字典）的返回，该返回值可以通过终端指令的形式写入指定格式的文件中进行持久化操作执行输出指定格式进行存储：将爬取到的数据写入不同格式的文件中进行存储：
scrapy crawl 爬虫名称 -o xxx.json
scrapy crawl 爬虫名称 -o xxx.xml
sc
转载
2024-10-21 18:41:37
64阅读
## 将查询结果保存至HDFS的流程
为了帮助你理解如何将Spark查询结果保存至HDFS，我将按照以下流程进行解释：
```mermaid
flowchart TD
A(创建SparkSession) --> B(读取数据源)
B --> C(执行查询)
C --> D(保存结果至HDFS)
```
下面我将详细介绍每个步骤需要做什么，并提供相应的代码注释。
##
原创
2023-11-10 09:11:13
201阅读
# Spark 清除 HDFS 数据
在使用 Spark 进行数据处理时，经常需要清除 HDFS 中的数据，以便重新运行任务或释放存储空间。本文将介绍如何使用 Spark 提供的 API 来清除 HDFS 数据，并提供相应的代码示例。
## HDFS 简介
HDFS（Hadoop Distributed File System）是 Hadoop 中的分布式文件系统，它能够以高容错性、高吞吐量
原创
2024-01-18 12:13:14
148阅读
Spark是目前最流行的分布式计算框架，而HBase则是在HDFS之上的列式分布式存储引擎，基于Spark做离线或者实时计算，数据结果保存在HBase中是目前很流行的做法。例如用户画像、单品画像、推荐系统等都可以用HBase作为存储媒介，供客户端使用。因此Spark如何向HBase中写数据就成为很重要的一个环节了。本文将会介绍三种写入的方式，其中一种还在期待中，暂且官网即可...代码在spark
转载
2023-08-02 14:29:52
343阅读
# HDFS 数据导入 Spark 的完整指南
在大数据生态系统中，HDFS（Hadoop Distributed File System）和Spark通常是组合使用的。对初学者而言，将HDFS中的数据导入到Spark中可能会显得复杂，但只需根据一定步骤进行操作，就能轻松实现。本文将指导你完成这一流程。
## 整体流程
下面的表格概述了整个流程：
| 步骤 | 说明
spark中saveAsTextFile如何最终生成一个文件一般而言，saveAsTextFile会按照执行task的多少生成多少个文件，比如part-00一直到part-0n，n自然就是task的个数，亦即是最后的stage的分区数。那么有没有办法最后只生成一个文件，而不是成百上千个文件了？答案自然是有办法。 在RDD上调用coalesce(1,true).saveAsTextFile()，意
转载
2023-12-28 16:15:07
141阅读
一、Spark实现sqoop功能：同步mysql数据到hive// scala 版
val df = spark.read.format("jdbc").option(
"url",
"jdbc:mysql://rr-bp1d22ltxgwa09g44720.mysql.rds.aliyuncs.com/" +
dbname +
"?useUnicode=true&
转载
2024-02-20 10:35:24
103阅读
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughp
转载
2023-08-26 02:08:41
71阅读
转载
2019-07-26 14:37:00
261阅读
2评论
一、文件操作介绍介绍编程主要是应用为王，例如：账单、游戏进度、配置文件等。学习Linux文件，主要关心的是如何使用代码来操作文件，例如用代码来实现文件的创建，打开，编辑等自动化执行。在windows手动修改文件主要有一下步骤：1.打开/创建文档2.编辑文档3.保存文档4.关闭文档那么Linux呢？需要用Linux的vi工具来编写，通过编程来实现这一操作。但Linux系统为我们提供了一系列的API：
