说到对Hadoop和HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。玩的深一些的，会用zenoss之类的。这些工具确实不错，也能发挥很大的作用，但时间长了总感觉监控粒度还是比较粗，不够详细。毕竟是第三方的监控，即便Hadoop自带了ganglia的接口，也还是觉得不够。其实Hadoop本身是带有监控接口的，各公司的发行版还有自己
帮朋友维护他那个网站的服务器，最近突然流量大涨，服务器压力也陡增。上去看了一下nginx日志，有大量的POST某几个特定php请求，一个IP一秒钟就POST四五个。基本都是什么reg.php,login.php,article_add.php这一类的。明显是一群装了自动发帖机的肉鸡或者个人机在进行攻击。 说好听点，也就是发点广告贴，说不好了，挂点木马什么的也是难说的。虽然说这个网站的论坛和后台的
一直以来都是在写hadoop，很少写nginx和php相关的东西了。网上绝大多数文章是优化linux系统参数，优化nginx，php的配置参数等等，尝试写个不同视角的，跟具体技术点关系太大的，主要是思路。 从编译安装nginx和php开始捋一下。 编译nginx和php一个最基本的原则是，尽可能编译更少的附加模块，nginx和ph
今天集群神秘崩溃，影响范围较大，分析故障原因比较有趣，特此记录一下。之前也发生过类似的事情，不过没想起写blog，今天正好抓出log来写了。 当时的状况是，下午16点左右，集群处于比较繁忙的状态，突然集群数台服务器崩溃，已经无法ssh远程连接服务器，只好找ops重启服务器，然后就是正常的重启datanode和tasktracker。先恢复起来，再去看log，但是去看hadoop log的时候就心
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
