监控指标大致如下： default.shuffleInput
dfs.datanode
jvm
mapred.shuffleOutput
rpc
metricssystemdfs.datanode.blockChecksumOp_avg_time 块校验平均时间 dfs.datanode.blockChecksumOp_nu
添加Linux主机准备另外一台我们的agent端服务器。安装部署zabbix-agent2服务声明：agent端不限制操作系统（这里依然使用linux版本做实验）rpm -Uvh https://repo.zabbix.com/zabbix/6.0/rhel/8/x86_64/zabbix-release-6.0-2.el8.noarch.rpm
dnf clean all
dnf -y inst
转载
2024-06-18 08:44:21
68阅读
常用Spark监控Tab最近用Spark做任务，中间来回配置集群环境，查看配置后的效果，以及监测程序运行过程中的运行进度等，需要频繁查看WebUI的几个Tab。各个tab功能不一，从不同方面显示了Spark的各方面性能参数和运行进度。特意记录一下，方便以后用得到的时候能够快速回顾知识点。HDFS配置概览第一个tab是在配置好Hadoop之后就可以查看的。在这之前要先运行start-dfs.sh开启
转载
2023-07-21 14:42:24
193阅读
目前zookeeper获取监控指标已知的有两种方式：1、通过zookeeper自带的 four letter words command 获取各种各样的监控指标2、通过JMX Client连接zookeeer对外提供的MBean来 获取监控指标 （需要修改启动脚本，使其支持远程JMX连接）上述两种方式获取的指标大体上是一致的。通过下列命令来获取这些监控信息 echo commands
转载
2023-07-12 13:40:52
38阅读
Hadoop负载均衡均衡器（balancer）是一个Hadoop守护进程，它将块从忙碌的datanode移到相对空闲的datanode，从而重新分配块。同时坚持块副本放置策略，将副本分散到不同机架，以降低数据损坏率。它不断移动块，直到集群达到均衡，即每个datanode的使用率（该节点上已使用的空间与空间容量之间的比率）和集群的使用率（集群中已使用的空间与集群的空间容量之间的比率）非常接近，差距不
原创
2016-05-11 22:44:18
742阅读
一、简介
zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。
zabbix能监视各种服务器和网络参数，保证服务器系统的安全运营；
并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。
zabbix由2部分构成:
zabbix server
可选组件zabbix agent。
zabbix serve
转载
2023-09-01 15:12:46
133阅读
监控指标大致如下： default.shuffleInput
dfs.datanode
jvm
mapred.shuffleOutput
rpc
metricssystem dfs.datanode.blockChecksumOp_avg_time 块校验平均时间 dfs.datanode.blockChecksumOp_num_ops 块检
转载
2023-12-11 22:44:50
76阅读
Ganglia架构简介： Ganglia 是一款为HPC(高性能计算) 集群设计的可扩展性的分布式监控系统，它可以监视和显示集群中节点的各种状态信息，它由运行在各个节点上的守护进程gmond 采集 CPU、内存、磁盘利用率、I/O负载、网络流量情况等方面的数据，然后汇总到守护进程gmetad下，使用rrdtool存储数据，然后将历史数据以曲线方式通过PHP页面呈现，通过曲线很容易见到每个节点的工
转载
2023-12-04 17:42:47
93阅读
目录第1章 Zabbix入门1.1 Zabbix概述1.2 Zabbix 基础架构第2章 Zabbix部署2.1 集群规划2.2 准备工作2.3 配置Zabbix yum源（3台节点）2.4 安装Zabbix2.5 配置Zabbix第4章 Zabbix使用4.1 Zabbix术语4.2 Zabbix实战 第1章 Zabbix入门1.1 Zabbix概述Zabbix是一款能够监控各种网络参数以及服
转载
2023-07-12 15:21:32
224阅读
说到对Hadoop和HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。玩的深一些的，会用zenoss之类的。这些工具确实不错，也能发挥很大的作用，但时间长了总感觉监控粒度还是比较粗，不够详细。毕竟是第三方的监控，即便Hadoop自带了ganglia的接口，也还是觉得不够。其实Hadoop本身是带有监控接口的，各公司的发行版还有自己
转载
2024-04-24 07:17:08
16阅读
Hadoop负载均衡均衡器（balancer）是一个Hadoop守护进程，它将块从忙碌的datanode移到相对空闲的datanode，从而重新分配块。同时坚持块副本放置策略，将副本分散到不同机架，以降低数据损坏率。它不断移动块，直到集群达到均衡，即每个datanode的使用率（该节点上已使用的空间与空间容量之间的比率）和集群的使用率（集群中已使用的空间与集群的空间容量之间的比率）非常接近，差距不
转载
精选
2016-05-11 22:45:36
416阅读
复制数据rsync -r spark-1.6.1 root@10.161.20.93:/mnt/sd02scp -r spark-1.6.1 root@10.161.20.93:/mnt/sd02 1.修改IP第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中
转载
2024-04-29 16:46:40
69阅读
1、检查网络状况Dos命令：ping ip地址,同时，在Linux下通过命令：ifconfig可以查看ip信息2、修改虚拟机的ip地址 打开linux网络连接，在桌面右上角，然后编辑ip地址，修改ip地址后，重启网络服务：service network restart,如果网络重启失败，可以在虚拟机网络设置中心删除网络连接，然后重新启动Linux，接着在网络设置
转载
2023-07-14 19:17:18
720阅读
全篇主要依赖下面文章http://quenlang.blog.51cto.com/4813803/1571635一 资源下载ganglia-3.6.0.tar.gzganglia-web-3.6.2.tar.gznagios : http://sourceforge.net/projects/nagios/files/nagios-4.x/nagios-4.1.1/nagios-4.1.
摘要： 以下基于上篇Hadoop2.6与HBase1.0集群架构： http://lizhenliang.blog.51cto.com/7876557/1665130 http://lizhenliang.blog.51cto.com/7876557/1661354 Hadoop集群基本部署完成，接下来就需要有一个监控系统，能及时发现性能瓶颈，给故障排除提供有力依据。以下环境
转载
2023-09-25 16:37:27
149阅读
我们数据组通过三周的努力，整个集群都变成了可压缩各种模式。具体操作：hbase的数据迁移，hive的数据迁移首先说说hbase的数据迁移，数据采用了Gz的压缩模式并且rowkey进行了调整后，整个hbase集群region的分布更加合理，主要是从以下几个方面：1、磁盘空间利用率提高了，现在压缩后，占用300多个GB的空间2、region大小更加均衡（不会出现之前的有些region大小几个GB，有些
转载
2023-12-21 10:55:55
39阅读
一、前言最近业余时间主要研究音视频开发这块，前面的文章写了好多种视频监控内核，一旦将这些内核搞定以后，视频监控的相关功能水到渠成。做视频监控系统，绕不过onvif这玩意，这玩意主要就是为了统一一个大概的标准，能够对各个厂家的监控设备进行常用的一些操作，比如搜索、获取信息、云台控制、事件订阅、抓拍图片等，如果没有这个规范，那么各个厂家都各自为政，需要用私有的sdk去处理，这样就很麻烦很
转载
2024-05-27 19:06:14
148阅读
1.为什么使用lzo?2.如何安装配置lzo？3.如何使用lzo？Hadoop经常用于处理大量的数据，如果期间的输出数据、中间数据能压缩存储，对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split，目前lzo是最好的选择。LZO（LZO是Lempel-Ziv-Oberhumer的缩写）是一种高压缩比和解压速度极快的编码，它的特点是解压缩速度非常快，无损压缩，压缩后的数据能准确还原，
转载
2023-07-25 19:29:45
66阅读
无线水星路由器设置用IP:192.168.1.1八步搞定 水星无线路由器以物美价廉的高性价比走进了好多家庭，但是很多人都不会设置，那么怎么设置呢？下面为大家介绍水星无线路由器设置，连接并登陆路由器水星无线路由器设置第一步：将家里的internet网入口网线与路由器的WAN口连接，再用事先准备好的网线将电脑与路由器的LAN口连接(如下图所示)。 无线水星路由器设置用IP:192.
转载
2024-04-13 12:21:29
1305阅读
这次我们说说TP-link(普联)路由器的设置教程! 首先，我们还是采用老规矩，用无线设置方法。手机同样道理，不用插线。 第一步：连接到需要设置的路由器WIFI信号。 TP-LINK(普联)路由器的名称是：TP-LINK ***** (随机数字)。新的路由器是没有密码的，所以我们选择一个没有密码的wifi信号最好的连接。 第二步：连接上WIFI信号之后，我们打
转载
2024-04-13 12:23:07
957阅读
