使用Spark读写HDFS中的parquet文件 文件夹中的parquet文件 build.sbt文件 Scala实现方法 df.show打印出来的信息，如果没放在一个case class中的话，name,url,info,summary这列信息会变成1,2,3,4 使用spark-shell查看写
转载
2017-04-18 14:54:00
242阅读
2评论
之前写了一篇如何让spark使用阿里云oss对象存储替代本地存储或者hdfs存储jar包，日志等 今天写一篇比较通用的，即spark对接aws s3或者其他厂商兼容s3接口的对象存储。环境spark环境：spark-3.1.3-bin-hadoop3.2hadoop源码：hadoop3.2添加
转载
2023-11-01 23:47:34
104阅读
[WARN] - I/O error constructing remote block reader.java.net.ConnectException: Connection timed out: no further information ...[WARN] - Connection failure: Failed to connect to /10.0.0.24...
原创
2021-08-31 13:49:13
2248阅读
一、客户端读流程简述1.跟namenode通信查询元数据，找到文件块所在的datanode服务器，HDFS客户端首先调用DistributedFileSystem.open方法打开HDFS文件，底层会调用ClientProtocal.open方法，返回一个用于读取的HdfsDataInputStream对象。2.从NameNode获取DataNode地址：在构造DFSInputStream的时候
转载
2023-11-10 11:57:57
48阅读
1、HDFS简介：Hadoop分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分布式文件系统。HDFS有三类节点，一类是NameNode，又名“名称节点/元数据节点”；另一类是DataCode(数据节点），还有一个是Secondary NameCode（第二名称节点）物理磁盘中有块的概念，磁盘的物理Block是磁盘操作最小的单元，读写操作均以Block为最小单元，一般为512 Byte。H
转载
2023-07-14 10:41:23
144阅读
MySQL + Atlas --- 部署读写分离 序章Atlas是360团队弄出来的一套基于MySQL-Proxy基础之上的代理，修改了MySQL-Proxy的一些BUG，并且优化了很多东西。而且安装方便。Atlas官方链接： https://github.com/Qihoo360/Atlas/blob/master/README_ZH.mdAtlas下载链接： https:
# Java Spark与HDFS
## 简介
Hadoop Distributed File System (HDFS) 是一个分布式文件系统，具有高容错性和高吞吐量的特点。它被广泛用于存储和处理大规模数据集。而Java Spark是一个快速的通用集群计算系统，可以对大数据进行分析和处理。本文将介绍如何使用Java Spark与HDFS进行数据处理，并提供相应的代码示例。
## Spark
原创
2023-12-22 05:05:49
67阅读
6）client开始传输block(先从磁盘读取数据存储到一个本地内存缓存)，以packet为单位（一
原创
2022-12-07 14:45:25
123阅读
一、HDFS 写数据流程写的过程： CLIENT（客户端）：用来发起读写请求，并拆分文件成多个 Block；NAMENODE：全局的协调和把控所有的请求，提供 Block 存放在 DataNode 上的地址；DATANODE：负责数据的存储，可以有很多个； 客户端想 NameNode 发出请求（包含 Blocksize 和 副本数）；NameNode 经
HDFS读写数据（流程+操作）一.文件上传(I/O流） 1）客户端通过DistributedFileSystem模块向namenode请求上传文件 namenode检查 (1)目标文件是否已经存在 (2)父目录是否存在 (3)是否有文件上传权限等 (4)如果检查没问题，则会发送允许上传的响应fs.create(new Path("/input/hadoop-2.7.3.tar.gz")) (1)创
转载
2024-03-21 22:38:08
154阅读
1.分布式文件系统理解 使用低配置电脑配置成集群，存储管理单台电脑不能处理的大型文件。 直观理解三个臭皮匠，顶个诸葛亮。 很多磁盘加一起就可以装超多电影。 类似于你出5毛，我出5毛，我们一起凑一块。2.hdfs优缺点 优点： a.高容错性：数据自动保存多个副本；通过增加副本的形式，提高容错性。一个副本丢失以后，它可以自动恢复。 b.适合处理大数据：数据规模达到GB、T
转载
2023-07-12 13:28:34
291阅读
Flink版本：1.4.2
目的：本文主要是了解Flink中DataSource是如何从HDFS中读取数据的。梳理一下大致流程： 在JobManager处，通过提交得来的JobGraph生成ExecutionGraph时，会将JobGraph中的每个JobVertex都转换成ExecutionJobVertex（注意ExecutionJobVertex和ExecutionVertex的区别，
转载
2023-07-11 17:03:17
527阅读
IO (文件读写)Input输入，Output输出信息需要永久保存（持久化），一般用文件的形式把信息保存到磁盘程序运行运行需要一些基本配置信息，这些配置信息也是保存在磁盘的文件中程序从磁盘上读取文件，就称为Imput，把文件写到磁盘，称为Output（参考位置是内存）java.io包下类的分类按输入和输出的方向划分：输入Input、Reader输出Output、Writer按数据格式分：字节流（二
转载
2023-06-11 16:01:28
57阅读
HDFS入门（四）—— HDFS的读写流程（图文详解步骤2021） 文章目录HDFS入门（四）—— HDFS的读写流程（图文详解步骤2021）4.1 HDFS 写数据流程4.1.1 剖析文件 写入4.1.2 网络拓扑- 节点 距离计算4.1.3 机架 感知 （副本 存储 节点 选择）1 ）机架感知说明2 ）Hadoop3.1.3 副本节点选择4.2 HDFS 读数据流程 4.1 HDFS 写数据流
转载
2024-02-02 09:55:19
114阅读
文章目录HDFS写数据流程图HDFS读数据流程图HDFS 元数据管理与checkpoint HDFS写数据流程图客户端会根据配置文件将需要写入的文件切分为多个block, 例如将 jdk.tar.gz 切分为 block1 和 block2客户端首先向NN发送写数据的请求， 当请求同意后，客户端会向NN发送请求写入block1，NN会告知客户端block1将被写入哪些DN（DN1, DN2, D
转载
2024-04-12 08:34:09
61阅读
Hadoop 和Spark完全分布式部署1. 配置相关服务器1.1 修改主机名hostname master1.2 修改/etc/hosts文件, 添加如下配置，方便通过主机名访问服务器127.0.0.1 localhost
master_ip master
worker1_ip worker01
worker2_ip worker021.3 配置ssh免密登录cd ~/.ssh
ssh-keyg
转载
2023-08-25 22:34:13
81阅读
# 使用Java API读写HDFS
## 概述
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一部分，是一个可扩展的、分布式的文件系统，适用于处理大规模数据集的应用。在Java开发中，我们可以使用Java API来读写HDFS。
本文将指导你如何使用Java API来读写HDFS，包括整个流程、每一步需要做什么以及相应的代码示例。让我们开始
原创
2023-08-09 03:19:33
84阅读
在这篇文章中，我们将探讨如何使用Java代码在HDFS中进行文件的读写操作。在大数据时代，HDFS（Hadoop Distributed File System）作为一个大规模的数据存储解决方案，得到了广泛的应用。但在实际的开发过程中，我们会面临许多技术挑战，比如性能的优化和数据的可靠性等问题。
### 背景定位
初始技术痛点主要集中在HDFS操作过程中对性能的依赖以及在不同场景下的灵活性需求
1、生成票据
1.1、创建认证用户
登陆到kdc服务器，使用root或者可以使用root权限的普通用户操作：
转载
2023-07-12 08:35:31
54阅读
1. HADOOP和spark的关系？如下图所示： Hadoop和 Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储, 也有计算处理的功能。Spark，则是一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。2.Hadoop主要包括哪些重要组
转载
2023-08-18 22:16:07
69阅读
