在Hadoop生态当中，HDFS作为分布式文件系统，主要负责数据存储任务的完成，而越是大规模的数据存储，就需要考虑到高可用性，才能为整个系统框架提供更稳固的底层支持。今天的大数据开发学习分享，我们就来讲讲，Hadoop HDFS是如何保证高可用性的。 从不同的层面来说，HDFS都是为系统的高可用做了相应的准备的，具体来说：1、数据存储故障容错 磁盘介质在存储过程中受环境或者老化影响，
转载
2023-09-14 14:18:02
47阅读
# Hadoop 高扩展性的理解与实际应用
## 引言
在大数据时代，数据量的激增给数据存储和处理带来了巨大的挑战。Hadoop作为一种开放源代码的框架，广泛应用于大数据处理领域。其高扩展性使得它成为企业用户的首选方案。本文将深入理解Hadoop的高扩展性，并通过一个实际问题的解决方案来展示如何运用Hadoop。
## 什么是高扩展性？
高扩展性指的是系统能够通过增加硬件资源（如CPU、内
java高扩展
原创
2022-11-17 10:32:42
61阅读
笔者的hadoop在不间断的写文件的过程中报了如下错误 经查看发现是hadoop所在服务器的磁盘空间不足导致的。 好了，知道问题后笔者需要配置相关参数来避免该问题1、与mapred.local.dir相关的参数 * mapred.local.dir.minspacestart：在mapreduce运行任务之前，检查temporary 目录下是否还有该选项配置的空闲空间，如果少于该配置，则m
转载
2023-10-31 15:30:26
95阅读
因业务需要，对原有集群四台服务器做动态扩容为8台服务器的集群。原有集群为HA配置，所以对集群做节点增加时需要两个重要的步骤要做。1、hdfs-site.xml配置文件的修改。2、同步journal文件到新节点的每一台机器的dfs目录中。（在这之前需要对新节点的集群做同版本的hadoop软件的安装及配置文件的同步，包括hdfs-site.xml文件的修改）3、JournalNode进程及journa
转载
2023-08-18 19:46:40
151阅读
1.添加白名单白名单：表示在白名单的主机IP地址可以，用来存储数据。企业中：配置白名单，可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下（1）在hadoop-3.1.3/etc/hadoop目录下分别创建whitelist 和blacklist文件 1）创建白名单vim whitelist，在whitelist中添加如下主机名称  
转载
2023-09-25 20:53:37
5阅读
通俗的讲，集群启动时DataNode会向NameNode上报所有的Block块信息，每个块（无论大小）对象约占150byte，而Nam
原创
2023-06-20 10:41:33
132阅读
put），每秒查询率QPS（Query Per Secon...
转载
2022-12-22 00:20:35
294阅读
在hadoop1中，namenode存在单点故障，每一个集群中只有一个namenode，如果namenode所在的机器出现了故障，那么将导致整个集群无法利用主要在两方面影响了HDFS的可用性：1）、在不可预测的情况下，如果namenode所在的机器崩溃了，整个集群将无法利用，直到namenode被重新启动； 2）、在可预知的情况下，比如namenode所在的机器硬件出错，将导致集群宕机。HDFS的
转载
2023-09-22 19:34:36
59阅读
横向扩展（scale out）也叫水平扩展，指用更多的节点支撑更大量的请求。例如1台机器支撑10000TPS，两台机器是否能支撑20000TPS？纵向扩展（scale up）也叫垂直扩展，扩展一个点的能力支撑更大的请求。通常通过提升硬件实现，例如把磁盘升级为SSD。横向扩展通常是为了提升吞吐量，响应时间一般要求不受吞吐量影响即可。因为本身在访问量比较小的时候，响应时间就是可接受的范围，例如去分布式
1.添加白名单、黑名单设置白名单和黑名单后，只有白名单上的主机节点允许访问 NameNode；不在白名单上的主机节点都会从集群中退出。在黑名单上的主机节点也会从集群中退出，黑名单一般用来退役主机节点。同一个主机节点不能同时配置在白名单和黑名单中* 步骤（1）在目录/opt/module/hadoop-3.1.3/etc/hadoop下，创建文件 whitelist 和 blacklist（文件名
转载
2023-09-01 08:46:30
54阅读
一、搭建规划： hadoop 高可用集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群 ，这里总共准备了八台主机(可按实际规划，不一定要这么多台)，分别是 hadoop01，hadoop02，hadoop03，hadoop04， hadoop05，zk01，zk02，zk03。其中 hadoop01 和 hadoop02 做 namenode 的主备切换，hadoop
转载
2023-07-14 15:21:59
504阅读
什么是高可用性？高可用集群是指以减少服务中断时间为目的的服务器集群技术。高可用性HA（HighAvailability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。高可用性（HA）的功能：1、软件故障监测与排除2、备份和数据保护 - 3、管理站能够监视各站点的运行情况，能随时或定时报告系统运行状况，故障
转载
2024-01-10 22:17:12
67阅读
高可用（high availability，HA）指的是若当前工作中的机器宕机了，系统会自动处理异常，并将工作无缝地转移到其他备用机器上，以保证服务的高可靠性与可用性。而Zookeeper是一个分布式协调服务，Zookeeper即可用来保证Hadoop集群的高可用性。通过zookeeper集群与Hadoop2.X中的两个NameNode节点之间的通信，保证集群中总有一个可用的NameNode（即
转载
2023-09-22 12:59:01
174阅读
序Hadoop高可用全流程讲解since：2021年5月22日 21:36auth：Hadi前言玩hadoop玩了这么久，又快忘记hadoop到底是个啥了，所以继续以写代回忆，重新梳理一下Hadoop高可用的原理以及实现原理。背景在Hadoop 2.0之前，在HDFS集群中时存在NameNode的单点故障的，当NameNode由于各种原因出现故障的时候，将会导致整个集群无法使用，直到这个NameN
转载
2023-08-04 10:30:00
291阅读
一、HA概述1）所谓HA（high available），即高可用（7*24小时不中断服务）。
2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA
机制：HDFS的HA和YARN的HA。
3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。
4）NameNode主要在以下两个方面影响HDFS集群
NameNode机器发生意外，如宕机
转载
2023-07-12 12:00:59
83阅读
什么是高可用性？高可用集群是指以减少服务中断时间为目的的服务器集群技术。高可用性HA（HighAvailability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可用性。高可用性（HA）的功能：1、软件故障监测与排除2、备份和数据保护-3、管理站能够监视各站点的运行情况，能随时或定时报告系统运行状况，故障能及时报告和告警，并有必要的控制手
转载
2023-07-21 21:55:18
113阅读
HA概述所谓HA（high available），即高可用（7*24小时不中断服务）。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启
转载
2023-09-22 12:58:31
55阅读
什么是HA？HA是High Availability的简写,即高可用，指当当前工作中的机器宕机后，会自动处理这个异常，并将工作无缝地转移到其他备用机器上去，以来保证服务的高可用。（简言之，有两台机器，一台工作，一台备用，当工作机挂了之后，备用机自动接替。）HAdoop的HA模式是最常见的生产环境上的安装部署方式。Hadoop HA包括NameNode HA 和 ResourceManager HA
转载
2023-05-24 14:32:56
302阅读
1评论
文章目录hadoop高可用架构搭建准备环境HDFS-HA 集群配置配置 core-site.xml 文件配置 hdfs-site.xml配置 yarn-site.xml启动 HDFS-HA 集群1、启动zookeeper集群2、启动journalnode3、格式化HDFS（仅第一次启动执行）4、格式化ZKFC（仅第一次启动执行）5、启动HDFS6、测试HDFS7、启动YARN8、测试yarn-H
转载
2023-09-01 08:10:11
195阅读
