系统环境: RHEL6.5 selinux and iptables is disabled Hadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件 软件版本：hadoop-2.7.3.tar.gz &nbs
配置项优化原理推荐值dfs.namenode.handler.countNameNode中用于处理RPC调用的线程数，默认为10。对于较大的集群和配置较好的服务器，可适当增加这个数值来提升NameNode RPC服务的并发度。64dfs.datanode.handler.countDataNode中用于处理RPC调用的线程数，默认为3。可适当增加这个数值来提升DataNode RPC服务的并发度。
转载
2024-04-23 16:06:12
35阅读
5分钟深入浅出 HDFSHDFS架构HDFS Client大家还记得我们如何向 Hadoop cluster 提交任务吗？是通过 Hadoop client 进行的。同样，我们和 HDFS 打交道也是通过一个 client library. 无论读取一个文件或者写一个文件，我们都是把数据交给 HDFS client，它负责和 Name nodes 以及 Data nodes 联系并传输数据。Nam
刚上线不久的一台主机，由于监控组没有加入监控，dba在上去操作的时候，发现其中一个分区的磁盘空间利用率满了。当其上将内容粘贴出来时，发现了一个问题，该挂载点给分配了58G的大小，实际使用了55G，结果就报空间使用100%了。 [oracle@361way oracle]$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda1 20
前言Linux的字符命令界面中我们可以通过指令查看当前主机分区的使用率，并且可以当达到预设警值时通过字符终端、邮件等进行警告。主机环境：CentOS 6.8 、 VMware® Workstation 12 Pro正文① df 命令使用 df 命令来检查当前linux服务器的文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。df -h 列出当前主机磁
转载
2024-03-19 10:19:56
278阅读
MMM（Master-MasterreplicationmanagerforMySQL）是一套支持双主故障切换和双主日常管理的脚本程序。优点：高可用性，扩展性好，出现故障自动切换，对于主主同步，在同一时间只提供一台数据库写操作，保证的数据的一致性。当主服务器挂掉以后，另一个主立即接管，其他的从服务器能自动切换，不用人工干预。master1ip地址：192.168.60.135master2ip地址
原创
2018-09-10 22:29:58
1716阅读
点赞
Memcached的特点：1.在Memcached中可以保存的item数据量是没有限制的，只要内存足够；2.Memcached单进程最大使用内存为2GB，要使用更多内存，可以分别在不同端口启动多个Memcached进程；3.Memcached是一种无阻塞的socket通信方式的服务，基于libevent库，由于无阻塞通信，对内存读写速度非常之快；4.Memcached分为服务器和客户端，可以配置多
原创
2018-08-07 23:26:50
1006阅读
点赞
MHA高可用集群文章目录一、MHA简介：二、部署MHA：第一步：三台主从服务器安装mysql第二步：修改mysql的主配置文件：/etc/my.cnf，注意三台服务器的server-id不能一样第三步：三台服务器启动mysql服务第四步：配置Mysql主从同步（一主两从）第五步：安装MHA第六步：启动MHA一、MHA简介：MHA（MasterHighAvailability）（1）简介目前在MyS
原创
2019-12-17 13:39:08
491阅读
点赞
Memcache高可用群集实验环境：主服务器192.168.45.132Telnet、libevent、memcached、keepalived、magent从服务器192.168.45.131Telnet、libevent、memcached、keepalived测试机192.168.45.135Telnet实验目的：实现存储内容的主从备份实验搭建：一、主服务器：1、挂载软件包，#挂载软件包mo
原创
2019-12-24 18:51:46
523阅读
高可用群集：在同一时刻只有一台机器处于活动状态，另一台处于备份状态
通常采用下图做法，将director做成高性能群集，使任何时候都有一台处于活动状态；将下层的服务器做成负载均衡群集使请求交与多台服务器进行处理
实现方法：
1.heartbeat ：比较常用 版本 v1 v2 v3
2.rhcs ：redhat 集群套件--redhat cluster suite 图形界面，实现方便，
原创
2012-10-12 00:00:35
1067阅读
点赞
MMM概述MMM（Master-MasterreplicationmanagerforMySQL）是一套支持双主故障切换和双主日常管理的脚本程序。MMM使用Perl语言开发，主要用来监控和管理MySQLMaster-Master（双主）复制，可以说是mysql主主复制管理器。虽然叫做双主复制，但是业务上同一时刻只允许对一个主进行写入，另一台备选主上提供部分读服务，以加速在主主切换时刻备选主的预热，
原创
2019-12-25 18:51:03
669阅读
Memcache高可用群集实验环境：实验目的：实现存储内容的主从备份实验搭建：一、主服务器：1、挂载软件包#挂载软件包mount.cifs//192.168.100.3/lzp/mnt#创建目录mkdir/opt/magent#解压必要安装包cd/mnt/memtarzxvfmagent-0.5.tar.gz-C/opt/magent/tarzxvflibevent-2.1.8-stable.ta
原创
2019-12-25 20:08:01
492阅读
@toc1、LVS+Keepalived高可用群集1、LVSLinux虚拟服务器(LinuxVirtualServer)LVS实际上相当于基于IP地址的虚拟化应用，为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法2、Keepalived1、支持故障自动切换（Failover）2、支持节点健康状态检查（HealthChecking）判断LVS负载调度器、节点服务器的可用性，当maste
推荐
原创
2022-01-20 16:15:15
4020阅读
Keepalived高可用群集1、LVSLinux虚拟服务器(LinuxVirtualServer)LVS实际上相当于基于IP地址的虚拟化应用，为基于IP地址和内容请求分发的负载均衡提出了一种高效的解决方法2、Keepalived1、支持故障自动切换（Failover）2、支持节点健康状态检查（HealthChecking）判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切
原创
2022-01-23 16:22:47
245阅读
高可用方案初探高可用方案CAP计算高可用对称式高可用非对称式高可用存储高可用架构模式双机热备主备主从双主集群和数据分区集群模式数据分区异地多活 高可用方案单点系统可能会由于断电，宕机等情况，使得系统不可用，在行业竞争激烈的情况下，系统的可用性会影响公司获客能力及口碑。高可用分为计算高可用和存储高可用。CAPCAP分布式理论，C：一致性，A：可用性，P：分区容错性。 C：站在用户角度看，读操作能够
转载
2024-09-27 12:58:35
45阅读
简介：Memcached主主复制是指在任意一台Memcached服务器修改数据都会被同步到另外一台，但是MemcachedAPI客户端是无法判断连接到哪一台Memcached服务器的，所以需要设置VIP地址，提供给MemcachedAPI客户端进行连接。可以使用keepalived产生的VIP地址连接主Memcached服务器，并且提供高可用架构。Memcached架构图：案例环境：三台CentO
原创
2018-09-27 15:53:28
1877阅读
点赞
1.概述 (1) 所谓HA（high available），即高可用（7*24小时不中断服务）。 (2) 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 (3) Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 (4) NameNode主要在以下两个方面影响HD
转载
2024-05-26 17:10:29
118阅读
文章中记录了问题发现和解决的过程，单纯为了解决问题的伙伴请到最后一段。目录发现问题什么是Non DFS Used解决发现问题入职到公司后，维护集群时有一项日常不是很频繁的任务就是清理集群数据。我们公司的Hadoop（CDH 5.x）集群大概不到50台的样子，总DN容量在450T左右。这个数据量对于大的互联网公司可能不算什么，但我之前一直也没遇到过如此多的数据，百T级别的容量都要清理空间，感觉公司的
转载
2024-04-24 13:11:03
267阅读
目录： HDFS中dfs.datanode.du.reserved系统预留容量详解(一) HDFS中dfs.datanode.du.reserved系统预留容量详解(二) 使用hadoop版本为2.8.4，查看小结可以直接跳转到结尾
转载
2024-03-31 21:44:50
290阅读
Hadoop HA（High Available）通过同时配置两个处于Active/Passive模式的Namenode来解决上述问题，分别叫Active Namenode和Standby Namenode. Standby Namenode作为热备份，从而允许在机器发生故障时能够快速进行故障转移，同时在日常维护的时候使用优雅的方式进行Namenode切换。Namenode只能配置一主一备，不能多
转载
2024-04-05 18:56:47
26阅读
