Spark数据读取对于存储在本地文件系统或分布式文件系统（HDFS、Amazon S3）中的数据，Spark可以访问很多种不同的文件格式，比如文本文件、JSON、SequenceFileSpark SQL中的结构化数据源，包括JSON和Hive的结构化数据源数据库和键值存储，自带的库，联结HBase或其他JDBC源格式名称结构化备注文本文件否普通的文本文件，每行一条记录JSON半结构化每行一条记录
转载
2023-07-12 10:10:20
94阅读
1、HDFS 是做什么的 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来
转载
2024-05-23 11:04:57
0阅读
大数据技术之 Hadoop-HDFS概述1. HDFS 产出背景及定义2. HDFS 优缺点3. HDFS 组成架构4. HDFS 文件块大小 1. HDFS 产出背景及定义1）HDFS 产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文
转载
2024-03-22 20:58:58
26阅读
在分布式计算中，为了提高计算速度，数据本地性是其中重要的一环。 不过有时候它同样也会带来一些问题。一.问题描述在分布式计算中，大多数情况下要做到移动计算而非移动数据，所以数据本地性尤其重要，因此我们往往也是将hdfs和spark部署在相同的节点上，有些人可能会发现即使他已经这么做了，在spark的任务中的locality还是ANY，这说明所有的数据都是走的网络IO。在没有没有shuffle的情况
转载
2024-01-24 18:42:43
114阅读
目录1、概述1.1 文件系统协议1.2 区别2、HDFS常用命令2.1 hdfs文件系统命令2.1.1 文件夹路径增删改查2.1.2 空间大小查看2.1.3权限管理类2.1.4文件操作（上传下载复制）2.1.5 判断2.1.6 系统功能管理3、运维命令4、 mapreduce命令5、 hdfs系统检查工具fsck6、运行pipies作业1、概述1.1 文件系统协议HDFS Sh
转载
2023-07-13 16:55:54
64阅读
NameNode：NameNode 是 HDFS 的主节点，负责管理文件系统的元数据，包括文件和目录的结构、文件到数据
原创
2024-04-13 22:31:45
113阅读
Hadoop之HDFS1.Hdfs1.1 Hdfs的数据上传和读取过程1.1.1 hdfs写文件的步骤1.1.2 hdfs读文件的步骤1.2 JAVA如何读取HDFS1.3 HDFS上NameNode的fsimage和edits文件 说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权，请及时指出，我会立马停止该行为；如有不足之处，还请大佬不吝指教，以期
转载
2024-05-02 10:20:40
22阅读
上节完成了Spark的环境配置，集群配置，并且通过分发把服务分发到了别的服务器上等内容。本节我们对集群进行启动和测，可以看看这个logs。
原创
2024-08-20 10:47:42
83阅读
Hadoop
部分参考《hadoop大数据实战手册-精英版》-有很多命令查找语句 详细： hadoop分为几大部分：yarn负责资源和任务管理、hdfs负责分布式存储、map-reduce负责分布式计算 YARN总体上仍然是master/slave（主从）结构Hdfs文件系统
HDFS 部分由NameNode、SecondaryNameNode和DataNode组成。 HDFS 文件的大小可以大
转载
2023-07-27 20:38:22
135阅读
Spark读取HDFS或者AFS等文件系统文件Spark读取文件有很多方法，我这里主要介绍一下读取非结构化的文件的两种方式，针对多文件读取，单文件读取也是一样的。方案一：spark的textFile方法，也是最简单的方案，支持通配符
转载
2023-08-31 09:35:33
195阅读
一、RDD算子
RDD被创建后是只读的，不允许修改。Spark提供了丰富的用于操作RDD的方法，这些方法被称为算子。一个创建完成的RDD只支持两种算子：转化（Transformation）算子和行动（Action）算子。二、准备工作（一）准备文件1、准备本地系统文件在/home目录里创建words.txt
2、把文件上传到HDFS将words.txt上传到HDFS系统的/park目录里
转载
2023-08-18 22:38:22
149阅读
在大数据技术的学习当中，Hadoop和Spark是重中之重的两个部分，关于Hadoop，之前我们已经介绍过很多了，今天的主题是Spark。作为继Hadoop之后的又一代计算框架，Spark受到重用也是有原因的。今天的大数据开发学习分享，我们来对Spark系统架构做一个详细的介绍。 Spark性能优势的原因 Spark是UC Berkeley AMP lab所开源的类HadoopMapR
转载
2023-10-25 21:30:51
65阅读
上次，小编给大家介绍什么是大数据以及大数据产生的五大原因！那，大数据来了，作为程序员的我们如何迎接大数据的到来？那便只有学好大数据，其中的重中之重我觉得就是Spark ，那什么是spark呢？或者说Spark是干嘛的 ...上次，小编给大家介绍什么是大数据以及大数据产生的五大原因！那，大数据来了，作为程序员的我们如何迎接大数据的到来？那便只有学好大数据，其中的重中之重我觉得就是Spark 
转载
2024-01-14 13:21:38
34阅读
用spark，你仅仅只是调用spark的API肯定是很low的。今天来讲讲spark的原理，并且会针对部分源码进行讲解，如有不同意见请联系本人交流探讨。目前大数据生态主要部分是Hadoop软件框架和Spark内存级计算引擎。Hadoop包含四个项目：Hadoop common，HDFS，YARN和MapReduce。 Spark并不是要成为一个大数据领域的“独裁者” ， 一个人霸占大数据领域所有的
转载
2023-09-14 08:03:50
125阅读
JobTracker 分配工作给若干机器. TaskTracker: 负责监督 光纤交换机. 块的概念: 一个块 64M. 还可以是 128M. 大文件切割成这种小块, 然后分布存储在不同机器上. 当然也可以并行处理. 名称节点: 整个 HDFS 集群管家, 负责元数据的存储. (index 数据块
转载
2020-02-29 11:48:00
107阅读
2评论
什么是HDFS？HDFS（Hadoop Distribution File System）是基于谷歌发布的GFS论文设计的；出了具有其他文件系统具有的特性之后，hdfs
原创
精选
2023-12-28 09:59:56
263阅读
HDFS
原创
2022-01-12 15:58:30
99阅读
.每台服务器需要关闭防火墙
systemctl daemon-reload(masterJ节点)
systemctl stop firewalld
.删除文件夹
mkdir /opt/tmp
rm -fr /usr/hadoop/name
rm -fr /usr/hadoop/data
mkdir /usr/hadoop/name
mkdir
转载
2023-10-17 05:12:24
66阅读
hadoop 两大组件 mapreduce和hdfs用HDFS的目标避免硬件故障硬件故障是常态，而不是例外。一个HDFS实例可能包括数百或数千个服务器，存储文件系统的部分数据。事实上，有大量的组件，每个组件都有一个非平凡的失效概率意味着HDFS的一些组件总是非功能。因此，故障的快速检测，从自动的恢复是HDFS的一个核心构架目标。流式数据访问应用程序运行在HDFS需要流媒体访问他们的数据
转载
2024-05-06 12:33:48
52阅读
HDFS
原创
2022-04-22 10:32:09
97阅读
