在《HDFS源码分析心跳汇报之整体结构》一文中，我们详细了解了HDFS中关于心跳的整体结构，知道了BlockPoolManager、BPOfferService和BPServiceActor三者之间的关系。那么，HDFS心跳相关的这些数据结构，都是如何被初始化的呢？本文，我们就开始研究HDFS心跳汇报之数据结构初始化。  
转载
2024-06-06 12:59:51
80阅读
关于hdfs源码的阅读，我这个小菜鸟觉得有这么两种方式去读，一是抓住它关键的数据结构，知道了他们是干什么用的，剩下的就是一些围着他们转的操作了；二是跟踪执行过程的流程式阅读，以mkdir为例，从client应用发出mkdir请求到传递给namenode，再在datanode上执行，这么一个过程详细地跟踪下来，就理解了一大片。两种路子没有孰优孰劣，配合使用或许更有效。本篇先从数据结构的角度分享一
转载
2024-03-16 22:35:15
126阅读
最近突然觉得， 很多掌握的都还是很浅的原理，需要更深入细粒度去了解整个分布式系统的运转机制。于是。。开始作死而又作死而又作死的源码之旅。 Hadoop包的功能总共有下列几类： tool:提供一些命令行工具，如DistCp,archive mapreduce，:Hadoop的Map/Reduce实现 filecache:提供HDFS文件的本地缓存，用于加快Map/Reduce的数据访问速
转载
2024-04-19 18:14:17
41阅读
HDFS 的特点 HDFS具有高容错性的特点（fault-tolterant）的特点，因为hadoop部署在 廉价的商用集群上，所以HDFS被设计成认为硬件是常态，具有高容错性。其提供高吞吐量（high throughput）的特性, 用来访问应用程序的数据，适合有超大数据集（large data set）的应用程序。HDFS放宽了对POSIX的要求，这样可以实
转载
2024-03-28 23:33:52
27阅读
Hadoop文件系统中有一个抽象的文件系统类，HDFS只是其中的一个实现。java抽象类org.apache.hadoop.fs.FileSystem 定义了Hadoop中一个文件系统接口，并且该抽象类有几个具体的实现，例如LocalFileSystem，hdfs.DistributeFileSystem等虽然我们关注的是HDFS的DistributedFileSystem但还是应该集成FileS
转载
2024-04-19 17:55:51
11阅读
HDFS读写文件是一个很重要的过程，然后本篇文章主要从源码角度讲解HDFS读写文件客户端的一系列操作，为了方便大家理解，我画了一张简要的流程图，方便大家理解。一段简要的读写代码如下：public static void main(String[] args) throws Exception {
String file = "/test/1111.txt";
Configuration
转载
2024-04-14 11:11:28
29阅读
作者 | 吴邪 大数据4年从业经验，目前就职于广州一家互联网公司，负责大数据基础平台自研、离线计算&实时计算研究编辑 | lily关于一门技术源码的解读是很令人头疼的一件事情，很多小伙伴都不知道从何入手，作为一名程序猿，我也是这样经历过来的，在没人指导的情况下不断碰壁，那种想入而不得的感觉相当难受，希望通过这篇文章能帮助同学们学会阅读源码的技巧。前面两篇文章《Had
转载
2023-09-14 22:06:29
96阅读
Hadoop源码分析（16）1、 RPC解析 在文档（15）中解析了实际进行远程调用client类的call方法。在该文档中提到的其本质是使用java的NIO与远端的服务器进行连接。并通过channel将需要执行的方法的数据发送过去，然后等待远端将执行结果返回给客户端。 hdfs的组件中很多都有RPC的server端，之前文档分析到namenode启动的时候会从journalnode中读取其存
转载
2023-08-18 19:33:15
41阅读
继续上一篇blog，进一步分析FileSystem的API，并完善类图3、write 数据FileSystem类有一系列的create方法，其中简单的方法就是给定一个Path对象，然后返回一个用于写入数据的输出流：public FSDataOutputStream create(Path f) throws IOExceptioncreate方法的多个重载版本中主要是允许我们指定是否需要覆盖已有的
转载
2024-08-02 13:01:15
0阅读
目录HDFS写数据流程宏观流程图解描述流程微观流程流程 HDFS写数据流程宏观流程图解描述写数据就是将客户端的数据上传到HDFS流程1、 客户端向HDFS发送写数据请求hdfs dfs -put user.txt /data/2、 filesystem通过rpc远程调用namenode的create方法NN 会检查要创建的文件是否已经存在，创建者是否有权限进行操作。权限有：NN会针对这个文件创建
转载
2024-10-12 12:04:26
70阅读
其实我很害怕阅读源代码，不过得克服自己的恐惧感，所以打算开始阅读HDFS的源码，学习它主要有需要两个方法配合使用一是阅读源码，找到入口函数，然后根据一步步的跳转和关键数据结构的学习来了解 二是运行源码，然后设置断点跟踪执行流程，比如说client端发出ls 命令，然后跟踪此命令执行过程都调用了哪些函数，执行了什么任务，就一目了然了。HDFS的框架结构，在上一篇日志中已经给出来了，这里就不再重复了。
转载
2024-01-14 14:41:12
43阅读
HDFS读写流程分析结合《Hadoop权威指南》 + Hadoop源码 + 《Hadoop 2.X HDFS源码剖析》，对HDFS读写流程和源代码做了总结内容提要HDFS读写流程源代码分析和真实生产环境debug案例1. HDFS读流程《Hadoop权威指南》：HDFS读操作，一般是客户端通过RPC 调用namenode以确定问价按块起始位置，对于每一个块，namenode返回保存该块副本的dat
转载
2023-11-15 13:03:17
76阅读
作者 | 吴邪 这篇文章我们分享HDFS读取数据的流程，相对于写数据流程来说，读数据的流程会简单不少，写完这一篇之后，对HDFS的核心代码剖析算是告一段落了，这一系列包含了NameNode的初始化、DataNode的初始、元数据管理、HDFS写数据流程、HDFS读数据流程五个核心部分，毕竟HDFS是一个百万行级别代码的技术架构，内容非常多，所以本系列只选取HDFS关键且核心的功能点来剖
转载
2024-04-19 16:31:54
32阅读
刚开始学习HDFS源码，写篇博客加深下印象在写这篇博客之前，我们先参考董西成的文章http://dongxicheng.org/mapreduce-nextgen/how-to-read-hadoop-code-effectively/，先了解下前人在阅读hadoop源码时积攒下的经验。根据个人学习的感受，比较赞同董西成的看法，学习hadoop源码应分为以下三个阶段。源码阅读准备阶段-----从参
转载
2024-05-07 14:13:12
48阅读
前言 在linux文件系统中，i-node节点一直是一个非常重要的设计，同样在HDFS中，也存在这样的一个类似的角色，不过他是一个全新的类，INode.class，后面的目录类等等都是他的子类。最近学习了部分HDFS的源码结构，就好好理一理这方面的知识，帮助大家更好的从深层次了解Hadoop分布式系统文件。HDFS文件相关的类设计 在HDFS中与文件相关的类主要有这么几个 1.INode--这个
转载
2024-05-24 22:54:08
21阅读
HDFS写入文件的重要概念HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk（默认512Byte）组成。Chunk是进行数据校验的基本单位，对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。在写入一个block的时候，数据传输的基本单位是packet，每个pa
原创
2013-06-04 16:51:40
571阅读
一、前言想必每次去面试都复习这样一道题：HDFS 的读写流程，自然是先百度一番，复制一下答案，1 2 3 4 5 6 点，背一背完事。面试完，还是不了解 HDFS 究竟是怎么设计这个写数据流程的。其实这个里面也有很多我们值得学习的东西，比如既然写数据到 DataNode，如何保障数据一致性，如何保障数据在写的时候不丢失，重试如何做的，如何做三备份的？那么这次咱就趴一趴 HDFS 的写数据流程吧。二
转载
2024-05-09 11:38:17
145阅读
1、HDFS 介绍 Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是Luene项目的一部分。Aa
转载
2023-06-05 09:09:52
76阅读
1、大数据源码解读思路（1）掌握其网络通信架构（2）场景驱动方式HDFS：namenode datanode启动写数据得流程更新原数据流程读数据流程2、Hadoop RPC的Demo详述含义：远程过程调用，即不同进程的方法的调用。2.1、创建pom依赖<dependency>
<groupId>org.apache.hadoop</groupId>
<
转载
2024-03-25 16:16:20
66阅读
&nbs
转载
2024-04-30 20:17:29
32阅读
