## 实现Java Spark的Hadoop File
### 流程概述
- 首先，我们需要创建一个SparkContext对象，用于与Spark集群进行通信和交互。
- 然后，我们需要使用SparkContext对象的`hadoopFile`方法来读取Hadoop文件系统中的文件。
- 最后，我们可以对读取的数据进行进一步的处理和操作。
下面是实现Java Spark的Hadoop Fil
原创
2024-02-09 04:02:05
92阅读
1、概念HDFS是Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。2、优点适合大数据处理：能够处理百万规模以上的文件数量（ GB、TB、PB级数
转载
2023-08-18 19:06:05
63阅读
文章目录1.HDFS1.1 HDFS优点1.2 HDFS的关键元素1.2.1 block:1.2.2 namenode 和 datanode2. Map-Reduce2.1 MapReduce其处理过程主要分为两个步骤3. Hadoop经典案例4. Hadoop的局限性与不足5. 而spark相比hadoop有着更多的优点5.1 RDD的设计与运行原理5.2 RDD概念5.3 RDD特性5.4
转载
2023-07-12 11:24:37
40阅读
基于文件的数据结构
两种文件格式：
1、SequenceFile
2、MapFileSequenceFile1、SequenceFile文件是Hadoop用来存储二进制形式的<key,value>对而设计的一种平面文件(Flat File)。2、能够把SequenceFile当做一个容器，把全部文件打包到SequenceFile类中能够高效的对小文件进行存储和处理。3、Seque
转载
2023-05-24 14:13:04
143阅读
SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。目前，也有不少人在该文件的基础之上提出了一些HDFS中小文件存储的解决方案，他们的基本思路就是将小文件进行合并成一个大文件，同时对这些小文件的位置信息构建索引。不过，这类解决方案还涉及到Hadoop的另一种
转载
2023-10-23 14:11:50
44阅读
前一阵一直在使用hadoop集群，也积累了一些使用经验，本文分享一下hadoop的文件操作hadoop fs -touch [filepath] 在指定地方创建一个文件hadoop fs -get [filepath] [localpath] 将集群上的文件下载到本地hadoop fs -put [localfile] [filepath] 将本地文件上传到集群hadoop fs -cat [fi
转载
2012-01-14 20:41:00
89阅读
1.对于某些应用而言，需要特殊的数据结构来存储自己的数据。对于基于MapReduce的数据处理，将每个二进制数据的大对象融入自己的文件中并不能实现很高的可扩展性，针对上述情况，Hadoop开发了一组更高层次的容器SequenceFile。
2. 考虑日志文件，其中每一条日志记录是一行文本。如果想记录二进制
转载
2024-07-26 11:23:15
26阅读
简介： Hadoop Distributed File System (HDFS) — Apache Hadoop 项目的一个子项目 — 是一个高度容错的分布式文件系统，设计用于在低成本硬件上运行。HDFS 提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。本文探索 HDFS 的主要特性，并提供一个高级 HDFS 架构视图。 HDFS 是一个 Apache Software
转载
2023-09-14 13:50:47
49阅读
问题背景公司目前有两套Spark集群和一套Hadoop集群用来做 数据相关的存储和计算。Hadoop的版本是2.7，Spark两套集群，一个是2.1.0版本，一个是 2.4.3版本。但是两个Spark集群安装的Python版本都是一样的，都是3.6.8之前对大数据Spark了解不多，接手之后协助开发在提交 Python Spark任务的时候遇到问题。最终定位是因为Python版本的问题导致的。关于
转载
2023-08-01 15:58:44
35阅读
Spark扩展持久化RDD Cache缓存RDD CheckPoint 检查点缓存和检查点区别自定义分区存储与读取累加器广播持久化RDD Cache缓存RDD 通过 Cache 或者 Persist 方法将前面的计算结果缓存，默认情况下会把数据以缓存在 JVM 的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的 action 算子时，该 RDD 将会被缓存在计算节点的内存中，并供后面重用。// cache 操作会增加血缘关系，不改变原有的血缘关系println(wordToOneR.
原创
2022-03-23 10:21:17
998阅读
Spark 开发原则坐享其成要省要拖跳出单机思维 应用开发原则 ：坐享其成 : 利用 Spark SQL 优化能省则省、能拖则拖 : 节省数据量 , 拖后 Shuffle跳出单机思维 : 避免无谓的分布式遍历坐享其成设置好配置项，享受 Spark SQL 的性能优势，如钨丝计划、AQE、SQL functions钨丝计划：Tungsten 自定义了紧凑的二进制格式的数据结构，避免了 Java 对
转载
2024-01-28 01:18:02
100阅读
点赞
一、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因
转载
2023-07-12 09:57:21
445阅读
一、定义与特点定义
专为大规模数据处理而设计的快速通用的计算引擎，并形成一个高速发展应用广泛的生态系统。特点
速度快
内存计算下，Spark 比 Hadoop 快100倍易用性
80多个高级运算符跨语言：使用Java，Scala，Python，R和SQL快速编写应用程序。通用性
Spark 提供了大量的库，包括SQL、DataFrames、MLib、Gra
转载
2023-08-10 09:12:39
366阅读
1、Application application（应用）其实就是用spark-submit提交的程序。一个application通常包含三部分：从数据源（比方说HDFS）取数据形成RDD，通过RDD的transformation和action进行计算，将结果输出到console或者外部存储。2、Driver Spark中的driver感觉其实和yarn中Application Master的
转载
2023-11-02 10:32:42
202阅读
原创
2021-07-27 15:18:36
2164阅读
本编主要基于B站尚硅谷的视频及文档做出的一些改写和添加自己的
原创
2022-03-23 10:23:56
924阅读
概述Spark底层使用netty作为节点间通信的桥梁。其实现在common/network-common包中。common/network-common包主要是对netty进行了一层封装，主要是定义了一套消息格式，粘包拆包，链路生命周期对应方法实现等功能。我们首先来看一下network-common包的包结构：其中buffer包为实现Netty的ByteBuf和Java NIO的ByteBuffe
转载
2024-05-31 02:12:25
456阅读
相信很多人和我一样， 在控制台中总是可以看到会打印出如下的语句： INFO ExternalAppendOnlyMap: Thread 94 spilling in-memory map of 63.2 MB to disk (7 times so far) 经过查询一下，摘抄入下：AppendOnlyMap/ExternalAppendOnlyMap在spark被广泛使用，
转载
2023-08-03 19:38:11
120阅读
一：Spark SQL下的Parquet意义再思考1， 如果说HDFS是大数据时代分布式文件系统存储的事实标准的话，Parquet则是整个大数据时代文件存储格式的事实标准。2， 速度更快：从使用Spark SQL 操作普通文件CSV和Parquet文件的速度对比上来看，绝大多数情况下使用Parquet会比使用CSV等普通文件速度提升10倍左右（在一些普通文件系统无法再Spar
转载
2023-08-21 10:48:03
122阅读
Spark是什么？ Spark是一种通用的大数据计算框架，就像传统的大数据技术Hadoop的MapReduce，Hive以及Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架；比如Spark Core勇于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib 用于机器学习，Spark Gr
转载
2023-06-19 10:57:53
136阅读
