一 Hadoop HA 概述1)所谓HA(High Availablity),即可用(7*24小时不中断服务)。2)实现可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。3)Hadoop2.0之前,在HDFS集群中NameNode存在单点故障SPOF(Single Points Of Failure)。4)NameNode主要在以下两个方面
10.1 概念它通常以百分比表示:表明它不是绝对的,只有相对更高的可用性。100%的可用性是不可能达到的。可用性的“9”规则是表示可用性目标最普遍的方法。“5个9”表示99.999%的正常可用时间。换句话说,每年只允许5min的宕机时间。10.2 宕机原因最运行环境中,最普遍的原因是磁盘空间耗尽。在性能问题中,最普遍的原因是运行了糟糕的SQL,但也不一定全是如此,有可能是服务器bug或错误的行为。
                               网络可用性 1.多网
原创 2012-04-06 11:50:13
704阅读
 可用性 一 路由器链路 1 浮动静态路由 浮动静态路由是一种特殊的静态路由,通过配置一个比主路由的管理距离更大的静态路由,保证网络中主路由失效的情况下,提供备份路由。但在主路由存在的情况下它不会出现在路由表中。浮动静态路由主要用于拔号备份.   ############################### R1 int e0 ip addre
原创 2012-04-01 13:32:11
1024阅读
3点赞
6评论
目录一、Hadoop 2.0 改进与提升二、YARN资源管理框架1、YARN体系结构(1)ResourceManager(2)NodeManager(3)ApplicationMaster2、YARN工作流程三、HDFS的可用1、HDFS的可用架构四、Hadoop可用集群的搭建1、部署集群节点五、配置可用集群1、修改 hadoop-env.sh 文件2、修改 core-site.xml 文
1、概述从本篇文章开始,我们将向读者介绍几种Redis的可用负载集群方案。除了介绍Redis 3.X版本中推荐的原生集群方案外,还会介绍使用第三方组件搭建Redis集群的方法。本文我们会首先介绍Redis的可用集群方案。2、Redis可用方案Redis提供的可用方案和我们介绍过的很多软件的可用方案类似,都是使用主从节点的思路。即是有一个Master节点在平时提供服务,另外一个或多个Sl
最近发现redis的内存空间不够实用了,发现是服务器太旧了导致乱七八糟的都占了不少存储和内存。而且服务器的性能也比较差。但是服务器还是蛮多的(5台左右),如果说换新的又可惜。所以找了一种redis集群的搭建方式来部署redis可用集群环境。以下就是搭建的过程。给自己做一个总结和笔记。准备环境1.redis-6.0.5 2.三台服务器 10.172.246.231、10.172.246.232、1
vSphere Cluster简介 Cluster就是把所有的ESX/ESXi组织起来,形成一个大的资源池,所有的虚拟机可在池中的任意主机上自由移动,并且Cluster可做到快速扩容和HA故障冗余;所以Cluster是服务器虚拟化通往数据中心的必备功能。 通俗点说就是将多台esx物理服务器组成一个集群,在这个集群中某台服务器出现故障时,这台服务器上运行的虚拟机可用自动迁移到其他可用的esx服务
推荐 原创 2012-05-15 21:29:37
3754阅读
3点赞
3评论
只有两个节点的可用集群又称为双机热备,即使用两台服务器互相备份。当一台服务器出现故障时,可由另一台服务器承担服务任务,从而在不需要人工干预的 情况下,自动保证系统能持续对外提供服务。双机热备只是可用集群的一种,可用集群系统更可以支持两个以上的节点,提供比双机热备更多、更高级的功能, 更能满足用户不断出现的需求变化。
翻译 2017-09-19 10:05:06
10000+阅读
2点赞
基于上面的MYSQL集群,可以达到MYSQL数据库完整的备份及同时可读可写,现在我们要实现可用,通过一个IP可以同时访问各个节点的MYSQL。实现真正的可用。上面是两台数据节点和SQL节点上做LVS + heartbeat 来实现可用!分别在两台服务器上面安装ipvsadm heartbeat 。我这里采用yum源来安装!1,配置两台服务器/etc/hosts文件 我的如下127.0.0.
原创 2021-08-01 19:29:04
275阅读
在centos中配置可用性集群一、概述:系统:Centos5.0集群软件:Heartbeat节点1IP(主):192.168.1.105节点2IP(从):192.168.1.106virtual IP:192.168.1.102  在节点1上使用uname -n 结果必须是node01,在节点2上同样使用uname -n结果也必须是node02。IP 192.168.1.102是一个虚
原创 2009-10-12 22:53:30
1099阅读
1点赞
在大数据并发场景下,单个 Redis 实例往往会显得捉襟见肘。首先体现在内存上,单 个 Redis 的内存不宜过大,内存太大会导致 rdb 文件过大,进一步导致主从同步时全量同 步时间过长,在实例重启恢复时也会消耗很长的数据加载时间,特别是在云环境下,单个实 例内存往往都是受限的。其次体现在 CPU 的利用率上,单个 Redis 实例只能利用单个核 心,这单个核心要完成海量数据的存取和管理工作压...
原创 2021-07-07 13:47:47
482阅读
首先是对于可用性的整体概述,对于业务系统的可用性,实际上包括了可靠,高性能和扩展三个方面的内容。而且三方面相互之间还存在相互的依赖和影响关系。对于高可靠来说,传统的HA架构,冗余设计都可以满足高可靠性要求,但是并不代表系统具备了高可靠性能和可扩展性能力。反过来说,当系统具备了扩展性的时候,一般我们在设计扩展性的时候都会考虑到同时兼顾冗余和可靠,比如我们常说的集群技术。对于高性能和
 网络可用性 ********************** 文章目录: Linux服务器方向: 1.Linux下双网卡绑定 网络设备可用性(链路) 1. standby interface备份中心 2.ppp多路捆绑 3.链路聚合(端口汇聚) 网络设备可用性(路由) 1.浮动静态路由 2.路由冗余(VRRP,HSRP)   *****
原创 2012-04-06 10:06:47
1575阅读
1点赞
2评论
一,可用性概述 可用性H.A.(High Availability)指的是通过尽量缩短因日常维护操作(计划)和突发的系统崩溃(非计划)所导致的停机时间,以提高系统和应用的可用性。它与被认为是不间断操作的容错技术有所不同。HA系统是目前企业防止核心计算机系统因故障停机的最有效手段。 随着IT信息系统的不断发展,数据在企业的应用越来越广,如何提高IT系统的可用性成为建设稳健的计算机算系统的
原创 2012-09-09 17:12:48
588阅读
可用性网络 前言 随着网络的快速普及和应用的日益深入,各种增值业务在网络上得到了广泛部署,网络带宽也以指数级增长,网络短时间的中断就可能影响大量业务,造成重大损失。作为业务承载主体的基础网络,其可用性(High Availablity,HA)也因此日益成为关注的焦点。
原创 2015-08-31 15:24:01
1846阅读
Oracle的三种可用集群方案 发表于: Linux, Oracle, UNIX, 服务器架构, 集群与负载均衡 | 作者: 谋万世全局者 标签: oracle,方案,集群,可用 快速浏览了一下Oracle官方的网页以及非官方的ppt,简单了解了一下Oracle提供的可用方案。 主要有三种: 1. RAC RAC,  Real Applicatio
转载 精选 2012-02-05 21:58:38
1067阅读
可用性网络 Linux服务器方向: 例如:1.Linux双网卡绑定实现 2.服务器群集 网络设备(路由)方向: 例如:1.VRRP HSRP在企业网中的应用(用在LAN中) 2.浮动静态路由(WAN) 网络设备(链路)方向: 例如:1.standby interface备份中心 (WAN)  2.链路捆绑 (WAN)  3.链路聚合 (端口汇聚,
原创 2012-09-09 18:07:45
613阅读
  例如:1.Linux双网卡绑定实现 2.服务器群集 网络设备(路由)方向: 例如:1.VRRP HSRP在企业网中的应用(用在LAN中) 2.浮动静态路由(WAN) 网络设备(链路)方向: 例如:1.standby interface备份中心 (WAN) 2.链路捆绑 (WAN) 3.链路聚合 (端口汇聚,用在LAN中) WAN中高可用性网络 案例 1.浮动
原创 2012-09-14 12:10:08
511阅读
  • 1
  • 2
  • 3
  • 4
  • 5