spark rddrdd(resilient distributed dataset, 弹性分布数据集)是一个容错的、并行的数据结构，可以让用户显式的将数据存储在磁盘和内存中，并且还能控制数据的分区。对于迭代式计算和交互式挖掘，rdd可以将中间计算的结果保存在内存中，若是后面计算中需要中间结果，则可以直接从内存中读取，从而极大的提高计算速度。rdd有五大特征：1.A list of partiti
转载
2024-05-16 04:52:57
99阅读
之前的Spark实时流处理的数据处理程序，要求把数据从kafka接收之后，分2路分别写入kafka和hdfs，写入kafka的部分之前已经有过总结，现在回过头来把之前的写入HDFS的地方重新总结一下，整个过程从头到尾有一个写入方式的优化，不过时间有点长啦，尽量描述完整( ˘ ³˘)♥。注意: 本文中使用的版本是spark2.2.1和2.6.0-cdh5.11.0背景在工作中，需要将从kafka收到
转载
2023-07-26 14:51:45
133阅读
[size=large]前提Spark集群已经搭建完毕,如果不知道怎么搭建
注意提交作业，需要使用sbt打包成一个jar，然后在主任务里面添加jar包的路径远程提交即可，无须到远程集群上执行测试，本次测试使用的是Spark的Standalone方式
sbt依赖如下：
[/size]
name := "spark-hello"
version
转载
2024-07-24 08:48:35
65阅读
注：SparkSQL+Hbase+HDFS实现SQL完全封装(二) 是在一的基础上做了一些优化。1.描述：通过读取SQL脚本文件内的SQL脚本，实现在大数据平台中的业务处理，对于没有JAVA或是语言基础的同学来说，通过封装完全可以只写SQL就能实现业务的处理。注： 优点：部署后团队其它人员只要会写SQL就行。 缺点：优
转载
2024-03-08 14:13:14
77阅读
# SparkSQL读取HDFS
## 引言
Apache Spark是一个快速的、通用的集群计算系统，它提供了内置的SparkSQL模块，用于处理结构化数据。同时，Hadoop Distributed File System (HDFS)是一个可扩展的分布式文件系统，常用于存储和处理大规模数据。本文将详细介绍如何使用SparkSQL读取HDFS上的数据，并给出相应的代码示例。
## 前提条
原创
2024-01-18 08:17:55
323阅读
HDFS文件系统 命令行操作一、HDFS概念二、HFDS命令行操作1、基本语法2、HDFS参数大全3、HDFS常用命令实操 一、HDFS概念HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。组成
转载
2024-02-19 07:12:28
58阅读
Flink通过org.apache.flink.core.fs.FileSystem类来抽象自己的文件系统，这个抽象提供了各类文件系统实现的通用操作和最低保证。此文件系统的可用操作非常有限，以支持广泛的其它文件系统，例如追加或者变更已有文件就不被支持。文件系统由其格式来区别，例如file://, hdfs://，等等。Implementations(实现)Flink使用以下文件系统方案直接实现其文
转载
2024-04-24 11:41:00
59阅读
文章目录1.1 hdfs为什么不能小文件过多？1.1.1 概念1.1.2 发生的问题1.1.3 hadoop的默认内存大小和预估能够存储的文件数量1.1.4 修改namenode datanode的内存1.2 flume、hive、 tez、 hbase、 spark、 flink 写数据到hdfs分别怎么解决小文件？1.2.1 flume1.2.2 hive1.2.3 tez1.2.4 hba
转载
2023-08-29 13:54:28
142阅读
之前的一篇博客说到，公司请的大数据培训师那简直一个差啊，就差直接说自己是骗子。忍无可忍之下，搭建了个环境，简单跑了一下，然后把HDFS的主要代码翻了一遍。不得不说，设计的真不错。不过据说当年的初期的版本代码啥的也很烂。 写了两份关于HDFS的培训文档，给研发部门培训了下。后面原准备接着来两次mapreduce和spark的培训，因为种种原因，一直耽搁下来。HDFS培训完针对同学提出的问题
在以hdfs为底层存储的大数据架构下，hive表底层文件数的多少直接影响hdfs的nameNode的稳定，以及拉取数据的效率。而以目前云厂商支持的对象存储而言，小文件的个数在一定程度上并不影响存储集群的稳定，只是对数据的拉取有一定的影响，文件读取的IO降低spark的效率。所以目前来讲小文件的合并还是有一定的意义的。在sparkJar任务重，我们可以通过repatition, Coalesce的方
转载
2023-08-16 05:56:50
78阅读
我们知道，在spark shell 中操作hdfs 上的数据是很方便的，但是操作也未免过于繁琐，幸好spark 还想用户提供另外两种操作 spark sql 的方式一 spark-sql启动方式也比较简单如果不添加 hive.metastore.warehouse.dir hiveconf 这个参数，则启动的spark sql 是基于本地文件的，默认为 file:/user/hive/w
转载
2023-07-13 11:16:12
33阅读
我们通过命令bin/hdfs dfs -cat /xxx.log查看一个文件的时候，对于NN、DN之间的操作我们是无感知的，具体中间都发生了什么，下面来简单描述一下。
读操作
转载
2023-07-12 08:39:18
58阅读
## 使用 SparkSQL 处理 JSON 数据的流程
在数据处理和分析的领域，Apache Spark 是一个流行的工具，而 SparkSQL 是它的一部分，用于处理结构化数据。今天，我们将一起探讨如何使用 SparkSQL 处理 JSON 数据。以下是整个流程的步骤概览：
| 步骤 | 描述 |
|---|---|
| 第一步 | 设置 Spark 环境 |
| 第二步 | 读取 JSO
原创
2024-09-19 03:39:15
31阅读
# SparkSQL流式处理类型指南
在大数据处理的领域中，流式处理越来越受到关注。Apache Spark作为一个快速而通用的数据处理引擎，在流式数据处理方面表现尤为出色。本文将介绍SparkSQL流式处理的基本概念及其实现方式，并通过代码示例展示如何进行基本的流式数据处理。
## 什么是流式处理？
流式处理是一种对数据流进行实时处理的计算模式。不同于批处理，流式处理能够处理实时产生的数据
原创
2024-09-20 06:47:39
84阅读
# SparkSQL读取HDFS数据返回LongWritable实现方法
## 简介
本文将介绍如何使用SparkSQL读取HDFS数据并返回LongWritable。首先，我们将以流程图的形式展示整个实现过程，然后详细介绍每一步需要做什么，并给出相应的代码示例。
## 流程图
```mermaid
flowchart TD
A[创建SparkSession] --> B[读取HDFS
原创
2024-01-13 04:06:44
135阅读
作者：杨俊俊 翻译引言在当前这个云计算蓬勃发展的时代，对于存储系统的思考热度也在逐渐升高。在众多的工具和存储系统中，如何进行选择，就变成了一个非常困惑人的问题。本篇将介绍常见的存储系统，希望可以解答大家在这方面的困惑。本手册将深度比较Ceph ，GlusterFS，MooseFS ， HDFS 和 DRBD。01 Ceph Ceph是一个强大的存储系统，它在同一个系统中同时提供了对象
转载
2024-05-09 22:03:42
24阅读
为了保证高效的数据移动，locality是大数据栈以及分布式应用程序所必须保证的性质，这一点在Spark中尤为明显。如果数据集大到不能保证完全放入内存，那就不能贸然使用cache()将数据固化到内存中。如果读取数据不能保证较好的locality性质的话，不论是对即席查询还是迭代计算都将面临输入瓶颈。而作为常用的分布式文件系统，HDFS承担着数据存储、一致性保证等关键问题。HDFS自开发之初就与
转载
2024-08-13 16:42:04
48阅读
一、spark的内存分布堆内内存：
在这使用堆内内存的时候，如果我们设置了堆内内存2个g的话，读取的数据也是两个g，此时又来两个g的数据，这样就会产生OOM溢出，因为处理完两个g的数据，并不会马上进行GC。
堆外内存：
这样我们就可以使用堆外内存，也就是物理内存，堆外内存可以精准的申请和释放空间，不需要Gc，性能比较高，提升了任务的效率。二、Spark的宽窄依赖宽依赖：
一个父RDD分区中的
转载
2024-06-20 10:02:08
18阅读
hdfs的小文件治理
1. 有没有问题
· NameNode存储着文件系统的元数据，每个文件、目录、块大概有150字节的元数据；
· 因此文件数量的限制也由NN内存大小决定，如果小文件过多则会造成NN的压力过大
转载
2023-07-12 08:38:07
130阅读
需要使用SQLContext对象来调用sql()方法，Spark SQL对数据查询分为两个分支SQL
原创
2022-09-13 15:24:27
147阅读
