Hadoop之MapTask工作机制目录并行度决定机制MapTask工作机制1. 并行度决定机制问题引出 maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度。那么，mapTask并行任务是否越多越好呢？MapTask并行度决定机制一个job的map阶段MapTask并行度（个数），由客户端提交job时的切片个数决定，如下图所示。2. MapTask工作机制MapT
转载
2023-11-03 07:21:20
40阅读
继上篇文章验证Cloudera RM HA功能后，现在开始分析Cloudera RM HA的原理。 设计目标主要目的是为了解决两种问题 计划外的机器挂掉 计划内的如软件和硬件升级等. 架构流程：两个RM, 启动的时候都是standby, 进程启动以后状态未被加载, 转换为active后才会加载相应的状态并启动服务. RM的状态通过配置可以存储在zookeeper, HDFS上。Standby转换到
转载
2023-07-31 17:30:53
34阅读
HDFS 中心缓存管理 中心缓存管理器（CacheManager）和缓存块监控服务（CacheReplicationMonitor）适用场景、中心缓存管理的原理、命令使用。1.HDFS 缓存适用场景公共资源文件短期临时的热 数据文件2.HDFS 缓存的结构设计  
转载
2023-08-25 10:52:45
63阅读
Hadoop HA 机制架构、要点、原理： 需要的机器（规划）： 至少三台机器
原创
2021-07-22 17:01:53
936阅读
HadoopHadoop的介绍Hadoop有什么优点Hadoop发展史（了解）Hadoop三大发行版本Hadoop的组成Hadoop组成一：HDFSHadoop组成二：MapReduceHadoop组成三：Yarn Hadoop的介绍(1) Hadoop是什么？1.狭义：Hadoop是一个有Apache基金会所开发的分布式系统（软件）基础架构 2.广义：Hadoop通常是指一个更广泛的概念——H
转载
2023-07-12 12:52:40
44阅读
基本概念首先我们要明确ZKFC 是什么，有什么作用：zkfc是什么？ ZooKeeperFailoverController 它是什么？是Hadoop中通过ZK实现FC功能的一个实用工具。 主要作用：作为一个ZK集群的客户端，用来监控NN的状态信息。 谁会用它？每个运行NN的节点必须要运行一个zkfc有啥功能？ 1.Health monitoring zkfc定期对本地的NN发起heal
可以只用一行代码来运行MapReduce作业：JobClient.runJon(conf)，Job作业运行时参与的四个实体：
1.JobClient 写代码，配置作业，提交作业。
2.JobTracker:初始化作业，分配作业，协调作业运行。这是一个java程序，主类是Job
1. JobTracker 暂无容错机制，挂掉之后，需要人工介入，重启。 用户可以通过配置一些参数，以便JobTracker重启后，让所有作业恢复运行。用户配置若干参数后，JobTracker重启前，会在history log中记录各个作业的运行状态，这样在JobTracker关闭
转载
2023-10-12 22:20:36
63阅读
一、Hadoop的RPC通信机制 1.什么是RPC l RPC（Remote Procedure Call）远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模
转载
2017-07-29 13:02:00
126阅读
2评论
# Hadoop 存储机制
Hadoop 是一个开源的分布式存储和计算框架，其中的存储机制是其核心之一。Hadoop 使用一种称为 HDFS（Hadoop Distributed File System）的分布式文件系统来存储数据，以实现高可靠性和高容量的数据存储。
## HDFS 架构
HDFS 采用主从架构，由一个 NameNode 和多个 DataNode 组成。NameNode 负责
1.前沿 hadoop环境是cdh5.13 ，使用yarn作为资源管理器 2. 步骤详情 2.1 作业提交当调用job.submit()/job.waitForCompletion() 时，向资源管理器请求一个应用ID,作为MapReduce作业ID根据程序配置的输入路径，计算作业的分片大小（该分片大小决定了map个数，map个数以及redu
转载
2023-07-24 10:38:37
35阅读
背景概述 单 NameNode 的架构使得 HDFS 在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NameNode 进程使用的内存可能会达到上百 G，NameNode 成为了性能的瓶颈。因而提出了 namenode 水平扩展方案-- Federation。 Federation 中文意思为联邦,联盟，是 NameNode 的 Federation,也就是会有多个NameNode。
首先：我们先来了解RPC协议具体的内容(1):是远程方法的调用。一台计算机可以访问到另一台计算机的程序，但是我们却不需要去关注底层内容的实现（2）：hadoop之间进程的交互使用的都是RPC,比如NameNode和DataNode，JobTracker和TaskTracker之间的通信2:RPC所用到的知识点（1），动态代理（2），反射（3）,序列化（4），非阻塞IO(NIO)3，RPC机制（1）
一、HDFS 动态扩容和缩容上篇文章对 HDFS 的文件存储策略进行了讲解，本篇文章继续学习 HDFS 的动态扩容和缩容，下面是上篇文章地址：动态扩容：已有HDFS集群容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的DataNode节点。动态缩容：旧的服务器需要进行退役更换，暂停服务，需要在当下的集群中停止某些机器上HDFS的服务。在进行扩容和缩容前，先看下当前的 HDFS 集群结
用户命令distcp 用于大规模集群内部和集群之间拷贝的工具， 使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成 把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝 命令行中可以指定多个源目录： bash$ hadoop distcp hdfs://nn1:8020/foo/a \ hdfs://nn1:8020/foo/b \ hdfs:
转载
2023-07-11 14:47:31
62阅读
文不打算对这部分代码进行全面的解读，而是先对几个主要类的职能进行概述，然后再罗列一些有价值的重要细节。本文原文连接： 转载请注明出处！
第一部分：HBase Security 概述
HBase Security主要是基于User和User Group（Role）对表（或是更细粒度的Family、Qualifer）进行安全检查（目前HBase Security暂不支持基于行的安
转载
2023-08-25 10:24:51
96阅读
此处是本人对官方文档的理解，如有不足请指正（官方文档位置在下图）HDFS存在的问题 NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统扩展性 解决HDFS 1.0中单点故障和内存受限问题。解决单点故障 HDFS HA：通过主备NameNode解决 如果主NameNode发生故障，则切换到备NameNode上 解决内存受限问题 HDFS
转载
2023-07-23 23:40:14
12阅读
1. RPC概述 1.1 RPC简介 RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。R
转载
2023-07-20 20:38:56
662阅读
Hadoop 安全背景共享集群按照业务或应用的规则划分资源队列，并分配给特定用户HDFS上存放各种数据，包括公共的、机密的重要概念安全认证：确保某个用户是自己声称的那个用户安全授权：确保某个用户只能做他允许的那些操作User：Hadoop用户，可以提交作业，查看自己作业状态，查看HDFS上的文件Service：Hadoop中的服务组件，包括namenode,resourcemanager,data
转载
2023-07-24 13:59:07
139阅读
Hadoop1.0 单namenode架构局限性NameSpace（命名空间的限制） 由于Namenode在内存中存储所有的元数据（metadata）。NN在管理大规模的命名空间时，单个Namenode所能存储的对象（文件+块）数目受到Namenode所在JVM的堆【内存大小的限制】。 随着数据的飞速增长，存储的需求也随之增长。50G的heap能够存储20亿个对象—>4000个datan
