51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 24年11月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
# Hadoop HDFS

NameNode任务线程之FSNamesystem$ReplicationMonitor

前面我已经讲了许多关于NameNode的后台任务线程：HeartbeatMonitor、DecommissionManager$Monitor、LeaseManager$Monitor、PendingReplicationMonitor等，今天终于可以讲一讲ReplicationMonitor ，它在FSNamesystem中可算是大家伙了。那么，NameNode$FSNamesystem到底

职场
休闲
hadoop
HDFS
ReplicationMonitor后台
转载 精选 2012-01-09 10:38:11 1040 阅读

NameNode任务线程之FSNamesystem$ReplicationMonitor

前面我已经讲了许多关于NameNode的后台任务线程：HeartbeatMonitor、DecommissionManager$Monitor、LeaseManager$Monitor、PendingReplicationMonitor等，今天终于可以讲一讲ReplicationMonitor ，它在FSNamesystem中可算是大家伙了。那么，NameNode$FSNamesystem到底

职场
休闲
hadoop
hdfs
ReplicationMonitor线程
转载 精选 2012-01-09 09:42:11 767 阅读

NameNode任务线程之PendingReplicationBlocks$PendingReplicationMonitor

在前面我已经详细的讲到了一些NameNode的后台工作线程，但是关于PendingReplicationBlocks$PendingReplicationMonitor和FSNamesystem$ReplicationMonitor，它们俩实在是让我很纠结，因为我真的不知道应该先讲哪一个。经过好几天的思量之后。还是决定先讲一讲PendingReplicationMonitor吧！  

职场
休闲
Hadoop
HDFS
PendingReplicationMo
转载 精选 2012-01-06 16:23:13 1383 阅读

NameNode任务线程之LeaseManager$Monitor

在本地文件系统中，一个文件可以允许被多个进程同时同时打开并写入数据，但最后文件的内容是什么，谁也无法预测。请注意，我这里所说的这种文件能同时被多个进程写的操作是被操作系统中的文件系统所允许的，但是，我们通常在写程序对某个文件进行写操作的时候，总是额外地想法设法对操作的文件加一个独占锁，以此来保证文件的正确性和一致性。那么，HDFS中的文件是否像本地文件系统那样允许同时被多个用户写呢？答案是否定

职场
休闲
Monitor
HADOOP
HDFS
转载 精选 2012-01-06 16:21:05 641 阅读

NameNode任务线程之FSNamesystem$HeartbeatMonitor

在前面的文章里面我已经讲过了，DataNode节点在注册时候就开始定期向NameNode节点发送心跳包，以此来告知NameNode节点自己当前还是可用的，同时从NameNode节点那里得到对自己的控制命令并执行之(这一点本文不表)。显然，当一个DataNode节点没有按时向NameNode节点发送心跳包时，NameNode就然为这个数据节点已经不可用了，清除与之相关的数据信息(比如在改数据节点

职场
休闲
HADOOP
HDFS
HeartbeatMonitor
转载 精选 2012-01-06 16:19:42 1018 阅读

Hadoop源码分析之RPC机制

  1.       客户端RPC调用过程   图1 使用java动态代理 2.       客户端调用动态代理过程 图2 客户端调用RPC动态代理 说明： 1)       客户端程序

职场
RPC
休闲
Hadoop
HDFS
原创 2012-01-06 14:39:39 923 阅读

Hadoop源代码分析之DatanodeProtocol（sendHeartbeat方法的调用）

1、心跳机制 心跳的机制大概是这样的： 1) master启动的时候，会开一个ipc server在那里。 2) slave启动时，会连接master，并每隔3秒钟主动向master发送一个“心跳”，将自己的状态信息告诉master，然后master也是通过这个心跳的返回值，向slave节点传达指令。 2、找到心跳的代码 拿namenode和datan

休闲
Hadoop
HDFS
DatanodeProtocol
sendHeartbeat
转载 精选 2012-01-06 14:28:12 5243 阅读 1点赞 1评论

ClientProtocol协议之上定义的方法

  1.       概述 该内容主要设计基于ClientProtocol协议之上的方法，对其中的一些方法做出解释 2.       getBlockLocations 函数原型：public LocatedBlocks getBlockLocatio

职场
休闲
hadoop
HDFS
ClientProtocol
原创 2012-01-05 15:00:24 1938 阅读

DatanodeDescriptor说明

DatanodeDescriptor类记录了Datanode的使用情况，如capacity，used等统计信息，DatanodeDescriptor是Namenode内部的数据结构，并不是通过RPC通信从Datanode向Namenode通信时候使用。Namenode从DatanodeDescriptor中读取Datanode统计信息，并显示在jsp页面上，这就是在网页上面显示的统计信息的来源。

职场
休闲
hadoop
DatanodeDescriptor
转载 精选 2012-01-05 11:12:18 10000+阅读

Google搜索引擎工作原理简介

实在是写不出来高质量的原创文章，今天再次转载一篇网络上看到的文章吧，叫Google搜索引擎工作原理简介，其中比较详细的介绍和分析了google搜索引擎相关工作机制，下面是原文内容： 这篇文章是基于Google创始人Lawrence Page和Sergey Brin一篇早期的论文翻译整理简化而成。尽管Google一直在修正不同因素对网页的权重影响以期排除作弊网站对搜索结果的干扰和获得最好的搜索结果

职场
google
原理
休闲
转载 精选 2012-01-05 09:21:10 3158 阅读

Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯