目前zookeeper获取监控指标已知的有两种方式：1、通过zookeeper自带的 four letter words command 获取各种各样的监控指标2、通过JMX Client连接zookeeer对外提供的MBean来 获取监控指标 （需要修改启动脚本，使其支持远程JMX连接）上述两种方式获取的指标大体上是一致的。通过下列命令来获取这些监控信息 echo commands
转载
2023-07-12 13:40:52
38阅读
常用Spark监控Tab最近用Spark做任务，中间来回配置集群环境，查看配置后的效果，以及监测程序运行过程中的运行进度等，需要频繁查看WebUI的几个Tab。各个tab功能不一，从不同方面显示了Spark的各方面性能参数和运行进度。特意记录一下，方便以后用得到的时候能够快速回顾知识点。HDFS配置概览第一个tab是在配置好Hadoop之后就可以查看的。在这之前要先运行start-dfs.sh开启
转载
2023-07-21 14:42:24
193阅读
Hadoop负载均衡均衡器（balancer）是一个Hadoop守护进程，它将块从忙碌的datanode移到相对空闲的datanode，从而重新分配块。同时坚持块副本放置策略，将副本分散到不同机架，以降低数据损坏率。它不断移动块，直到集群达到均衡，即每个datanode的使用率（该节点上已使用的空间与空间容量之间的比率）和集群的使用率（集群中已使用的空间与集群的空间容量之间的比率）非常接近，差距不
转载
精选
2016-05-11 22:45:36
416阅读
Hadoop负载均衡均衡器（balancer）是一个Hadoop守护进程，它将块从忙碌的datanode移到相对空闲的datanode，从而重新分配块。同时坚持块副本放置策略，将副本分散到不同机架，以降低数据损坏率。它不断移动块，直到集群达到均衡，即每个datanode的使用率（该节点上已使用的空间与空间容量之间的比率）和集群的使用率（集群中已使用的空间与集群的空间容量之间的比率）非常接近，差距不
原创
2016-05-11 22:44:18
742阅读
监控指标大致如下： default.shuffleInput
dfs.datanode
jvm
mapred.shuffleOutput
rpc
metricssystem dfs.datanode.blockChecksumOp_avg_time 块校验平均时间 dfs.datanode.blockChecksumOp_num_ops 块检
转载
2023-12-11 22:44:50
76阅读
目录第1章 Zabbix入门1.1 Zabbix概述1.2 Zabbix 基础架构第2章 Zabbix部署2.1 集群规划2.2 准备工作2.3 配置Zabbix yum源（3台节点）2.4 安装Zabbix2.5 配置Zabbix第4章 Zabbix使用4.1 Zabbix术语4.2 Zabbix实战 第1章 Zabbix入门1.1 Zabbix概述Zabbix是一款能够监控各种网络参数以及服
转载
2023-07-12 15:21:32
224阅读
说到对Hadoop和HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。玩的深一些的，会用zenoss之类的。这些工具确实不错，也能发挥很大的作用，但时间长了总感觉监控粒度还是比较粗，不够详细。毕竟是第三方的监控，即便Hadoop自带了ganglia的接口，也还是觉得不够。其实Hadoop本身是带有监控接口的，各公司的发行版还有自己
转载
2024-04-24 07:17:08
16阅读
Ganglia架构简介： Ganglia 是一款为HPC(高性能计算) 集群设计的可扩展性的分布式监控系统，它可以监视和显示集群中节点的各种状态信息，它由运行在各个节点上的守护进程gmond 采集 CPU、内存、磁盘利用率、I/O负载、网络流量情况等方面的数据，然后汇总到守护进程gmetad下，使用rrdtool存储数据，然后将历史数据以曲线方式通过PHP页面呈现，通过曲线很容易见到每个节点的工
转载
2023-12-04 17:42:47
93阅读
全篇主要依赖下面文章http://quenlang.blog.51cto.com/4813803/1571635一 资源下载ganglia-3.6.0.tar.gzganglia-web-3.6.2.tar.gznagios : http://sourceforge.net/projects/nagios/files/nagios-4.x/nagios-4.1.1/nagios-4.1.
摘要： 以下基于上篇Hadoop2.6与HBase1.0集群架构： http://lizhenliang.blog.51cto.com/7876557/1665130 http://lizhenliang.blog.51cto.com/7876557/1661354 Hadoop集群基本部署完成，接下来就需要有一个监控系统，能及时发现性能瓶颈，给故障排除提供有力依据。以下环境
转载
2023-09-25 16:37:27
149阅读
一、简介
zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。
zabbix能监视各种服务器和网络参数，保证服务器系统的安全运营；
并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。
zabbix由2部分构成:
zabbix server
可选组件zabbix agent。
zabbix serve
转载
2023-09-01 15:12:46
133阅读
作用：分担server的集中式压力解决多机房之间的网络延迟问题环境准备：服务器1：zabbix-server 服务器2：zabbix-proxy 服务器3：zabbix-agent 关系：zabbix-agent发送数据到代理，代理汇总数据发送到server操作步骤：1.关闭某些设置关闭server中的自动发现关闭server中的自动注册 在配置—动作中（没设置自动注册）2.server服务端无需
转载
2024-01-27 19:21:31
135阅读
前言 监控hadoop的框架有不少，如CDH的CM组件和Ambari都可以监控他们自己的hadoop，但是它不能监控apache的hadoop，如果你是使用原生的Apache Hadoop，那么也没关系，原生的Hadoop天生就提供了非常详细的对接Ganglia的jmx接口，里面包含了各个核心组件metrics获取功能，这一点你可以查看hadoop和hbase包括spark的conf下
转载
2023-07-25 20:22:09
203阅读
文章目录简介安装（使用本地源）安装ambari server修改主机名称和host文件关闭防火墙和selinuxssh免密安装JDK和Mysql安装JDK安装mysql时钟同步安装ambari-server搭建HDP本地源 简介Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、Map
转载
2023-08-29 11:02:58
118阅读
Hadoop 安装：一、集群规划
Hadoop 集群采用主从模式设计
主节点（master）：负责分配任务
从节点（slave1，slave2）：负责执行任务
1. 检查每个节点的主机名是否正确
hostname
修改主机名编辑 /etc/hostname 后 reboot
二、配置网络
1. 关闭所有节点的防火墙，并禁止开机启动
systemctl stop
通用监控指标对于每个RPC服务应该监控RpcProcessingTimeAvgTime(PRC处理的平均时间)通常hdfs在异常任务突发大量访问时，这个参数会突然变得很大，导致其他用户访问hdfs时，会感觉到卡顿，从而影响任务的执行时间CallQueueLength(RPC Call队列的长度)如果callqueue队列数值一直处于较高的水平，例如对于NN来说CallQueue的长度等于handl
转载
2024-04-08 17:30:29
178阅读
在Hadoop中为了方便集群中各个组件之间的通信，它采用了RPC，当然为了提高组件之间的通信效率以及考虑到组件自身的负载等情况，Hadoop在其内部实现了一个基于IPC模型的RPC。关于这个RPC组件的整体情况我已绍经在前面的博文中介绍过了。而在本文，我将结合源代码详细地介绍它在客户端的实现。 先来看看与RPC客户端相关联的一些类吧！ 1.Client
转载
2023-07-19 15:49:18
224阅读
1. Hadoop文件系统的数据完整性1.1 关于checksum学习计算机组成原理什么的，一般都会提到数据校验以保证数据的完整性检测数据是否损坏的常见操作：数据第一次写入系统时，对数据计算校验和（checksum），数据和checksum一起存入系统之后读取数据时，重新计算数据的checksum，将计算出来的checksum与系统存储的checksum做比较如果checksum不一致，则认为数据
转载
2023-07-13 17:08:13
116阅读
HA解决了HDFS的NameNode的单点问题；Federation解决了整个HDFS集群中只有一个名字空间，并且只有单独的一个NameNode管理所有DataNode的问题。 一、HA机制（High Availability）1.HA集群 HDFS 的高可用性（HA, High Availability）是为了解决集群不
转载
2023-09-20 17:23:56
140阅读
1. 介绍Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而
转载
2024-03-11 16:50:51
67阅读
