学习目录一、Hadoop基本介绍二、HDFS架构概述三、YARN架构概述四、MapReduce架构概述五、大数据生态体系 一、Hadoop基本介绍（1）Hadoop是什么？Hadoop是一个由Apache基金会所开发的分布式系统基础框架，主要用于解决海量数据的存储和分析计算问题。（2）Hadoop的优势高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也
转载
2023-08-18 20:39:50
66阅读
OPPO 大数据中心在 2019 年初承接了接入某业务线核心数据的重要任务：一期目标是建立一个能提供准实时大数据查询服务的数据仓库。我们选用了之前从未在公司大规模正式使用过的 TiDB 作为核心数据库引擎。本文记录这次吃螃蟹的一些经验和教训，供大家参考。前期工作核心挑战经过需求调研阶段，我们发现面临以下核心的挑战：大数据能力支持。从业务数据量看，当前虽然尚在 TB 级别，但增长速度非常快，业务本身
Hadoop组成： 1.HDFS（Hadoop Distributed File System）： 说明：分布式文件系统。 作用：存储海量数据 特点：高容错、高数据吞吐量 2.MapReduce： 说明：并行处理大数据集的Yarn基本系统。 作用：计算海量数据 3.Yarm： 作用：资源管理和任务调度的一个框架 4.Common： 作用：支撑其他模块。Hadoop特点： 1.高可扩展性。 说明：h
转载
2023-07-12 10:55:22
93阅读
Hadoop知识点归纳版本 hadoop1：是由hdfs 和MapReduce hadoop2：是由hdfs，MapReduce，yarn三部分构成hadoop四大组件 hadoop common 功能:用于支持其他模块和其他工具的接口HDFS 功能： 1.管理存储文件 2.文件数据的读写架构：主从 主：NameNode 功能： 1.接受客户端的请求 2.负责管理所有的从节点 3.负责管理所有的元
转载
2023-07-12 11:10:00
81阅读
1：Zookeeper是一个集群 zoned节点：具有文件和文件夹的特性 每个服务器承担如下三个角色： Leader：集群的领导者 1-lendeer是集群的核心，集群内部各个服务器的调度者 2-Leader负责进行投票选举 3-处理事务性写操作 4-参与集群投票 Follower：跟随者 1-Follower用于接收客户端请求并向客户端返回结果 2-处理客户端非事务（读操作）请求 3-转发事务请
转载
2023-09-05 10:21:31
52阅读
文章目录1. 概述2. HDFS3. Kafka4. HBase5. Redis 推荐阅读：redis系列之——高可用（主从、哨兵、集群）1. 概述首先需要明确，什么时候需要实现 HA（高可用）？只有当出现 单点故障问题 的时候，例如：HDFS：客户端请求写文件时，需要请求 NameNode 返回元数据，但 NameNode 只有一个，假如宕机就需要切换到备用的 NameNodeKafka：使用
转载
2023-07-13 14:50:31
89阅读
1.为什么要搭建HA？ 在hadoop2.x之前，在HDFS集群中NameNode存在单点故障(SPOF：ASinglePointofFailure)。对于只有一个NameNode的集群，如果NameNode机器出现故障(比如宕机或是软件、硬件升级)，那么整个集群将无法使用，必须等到NameNode重新启动，之后才能对外提供服务，这个方式在生成环境中是绝对不允许出现的。&em
原创
2019-01-11 13:55:08
801阅读
向导HA简介HA工作要点1.准备环境2.配置ssh，同步时间3.安装JDK4.安装Zookeeper5.安装Hadoop6.群起集群7.验证 HA简介所谓HA（High Available），即高可用（7*24小时不中断服务）。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。Hadoop2.0之前，在HDFS集群中NameNode存在
转载
2023-06-14 21:14:20
131阅读
搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试前置工作配置host文件在每个节点的/etc/hosts
原创
2022-04-20 16:21:35
1545阅读
点赞
一、概述之前的博客写了搭建hadoop集群环境，今天写一写搭建高可用（HA）环境。Hadoop-HA模式大致分为两个(个人在学习中的理解)：namenode 高可用yarn 高可用1、Namenode HANamenode在HDFS中是一个非常重要的组件，相当于HDFS文件系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模式就体现出作用了。 nam
转载
2023-07-25 00:01:00
173阅读
此处是本人对官方文档的理解，如有不足请指正（官方文档位置在下图）HDFS存在的问题 NameNode单点故障，难以应用于在线场景 NameNode压力过大，且内存受限，影响系统扩展性 解决HDFS 1.0中单点故障和内存受限问题。解决单点故障 HDFS HA：通过主备NameNode解决 如果主NameNode发生故障，则切换到备NameNode上 解决内存受限问题 HDFS
转载
2023-07-23 23:40:14
49阅读
HA概述：所谓HA（High Available），即高可用（7*24小时服务不中断）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFS集群：
NameNode机器发生意外，如宕机，集群将无法使用，直到管理
转载
2023-07-12 15:08:58
10阅读
HDFS存在的问题①NameNode单点故障，难以应用于在线场景②NameNode压力过大，且内存受限，影响系统扩展性尤其是当这个namenode节点只有一个时，一旦发生故障，就算是立即重启也需要较长时间，那么这一段时间内系统无法工作；而且，单个namenode节点内存有限，使得datenode无法扩展。Hadoop HA（High Available），为解决单点故障问题，提出Hadoop HA
转载
2023-08-10 09:32:26
84阅读
目录结构1.Hadoop概述 1.1 Hadoop简介 1.2 Hadoop发展史 1.3 Hadoop特点2.Hadoop核心 2.1 分布式文件系统——HDFS 2.2 分布式计算框架——MapReduce 2.3 集群资源管理器——YARN3.Hado
转载
2023-07-31 17:35:29
492阅读
YARNResourceManager的高可用与HDFSNameNode的高可用类似，但是ResourceMa
原创
2022-12-07 14:44:57
68阅读
1.说明System Version:Red Hat Enterprise Linux Server release 6.5 (Santiago)
Hadoop Version:2.6.0SSH免密需namenode1到所有节点，namenode2到所有节点。（重要）ssh-keygen -t&nb
原创
2015-08-21 13:16:21
387阅读
hadoopha部署环境主机名ipos配置硬盘hpmaster172.16.50.111CentOSLinuxrelease7.5.1804(Core)2核8G10Ghpmaster1172.16.50.135CentOSLinuxrelease7.5.1804(Core)2核8G10Ghpslave1172.16.50.118CentOSLinuxrelease7.5.1804(Core)2核8
原创
2018-10-12 11:45:11
553阅读
点赞
HA概述所谓HA（HighAvailable），即高可用（7*24小时不中断服务）实现高可用最关键的策略是消除单点故障，HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HAHadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启NameNo
原创
2019-09-08 22:35:57
1076阅读
点赞
HDFS HA架构
转载
2021-01-14 21:44:12
559阅读
一 、Hadoop Ha 安装准备工作
1.zookeeper集群
master
slave1
slave2
Hadoop集群
master Namenode1 ResourceManager1 Journalnode1
slave1 Namenode1 ResourceManager2 Journalnode2
slave2 DataNode1
slave3 DataNode2
2
原创
2017-11-21 16:29:03
655阅读
