51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号

Hadoop运维记录系列(七)

这段时间一直在搞Hadoop集群迁移，最近Hadoop也没出什么大问题，就没更新运维系列。这次的运维系列也跟Hadoop自己的故障无关，主要是自动化运维。不过我确实犯了一个严重的错误，在迁移新集群的时候，为了安装部署方便，我把hbase打成了rpm包的方式进行部署。在编写spec文件的时候，一个变量少写了一对花括号，结果把操作系统的文件给删掉了。而我恰恰是在新集群的生产环境下去编译rpm，后果就是

记录
运维
hadoop
故障分析
原创 2013-07-05 12:42:16 5375 阅读 2点赞 4评论

如何自己开发一套服务器管理系统

现在easyhadoop用户逐渐多了，对技术架构和实现感兴趣的人也多了，看到easyhadoop这套管理平台以后会问，我们公司没有这个东西，我想用，或者我已经用了，然后我也想自己用java或者其他语言尝试实现一套类似easyhadoop这样的工作系统，都有什么需要了解的技术关键点？我在这里写一下几个关键点，一来算解答问题了，二来也算是对自己工作的一个回顾。表面上看，是一套基于B/S方式实现的分布式

管理
开发
平台
分布式
easyhadoop
原创 推荐 2013-06-05 17:28:14 9302 阅读 9点赞 8评论

基于嵌入式webserver的服务器状态监控

其实也是在easyhadoop做第二次重构的时候用到了这个嵌入式的webserver去做服务器状态的监控，可以单独摘出来写个东西。思路主要是用python脚本获取linux服务器的各种状态信息，然后用webserver的方式，以json数据发给http，主控节点去读取webserver返回的json，生成系统监控报表。代码简单，开发和部署都很方便。用到的主要东西是python的第三方嵌入式web模

监控
运维
python
自动化
原创 推荐 2013-05-23 14:42:11 3516 阅读 1点赞 3评论

Hadoop运维记录系列(六)

这两天有业务部门反馈，总有hive跑某天的log失败。看了一下log，虽然各种报错不一样，但基本都是OOM，追了一下午，终于追出来原因了，特此记录一下。这个问题很诡异，map阶段oom，按说map的时候一个map对应一个数据块，最大也就占用128M内存，怎么会溢出呢，通常都应该是reduce溢出才对。先看看各个hadoop节点的tasktracker报的错误log。节点一2013-05-08 20

运维
hadoop
故障分析
原创 推荐 2013-05-08 22:44:47 10000+阅读 4点赞 11评论

python加shell快速部署集群

最近痛感在集群里逐台部署ganglia, cacti这些监控的东西很麻烦，就写了个小程序去批量自动部署。原理是通过python的pexpect用ssh去复制文件和执行系统命令，我用它来部署ganglia等，但是其他的东西也可以通过这个脚本来批量部署，只要自己编写部署脚本就可以了。主要是提出一个解决思路，看对大家是否有所帮助。先约定一个概念，我们把放置python和脚本的服务器叫做主控节点或者ser

部署
shell
集群
python
expect
原创 推荐 2013-05-08 20:08:56 10000+阅读 10点赞 2收藏 7评论

Hadoop和HBase集群的JMX监控

说到对Hadoop和HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。玩的深一些的，会用zenoss之类的。这些工具确实不错，也能发挥很大的作用，但时间长了总感觉监控粒度还是比较粗，不够详细。毕竟是第三方的监控，即便Hadoop自带了ganglia的接口，也还是觉得不够。其实Hadoop本身是带有监控接口的，各公司的发行版还有自己

监控
运维
jmx
hadoop
hbase
原创 推荐 2013-04-16 13:31:50 10000+阅读 7点赞 2收藏 10评论

记一次与自动论坛发帖机的斗争

帮朋友维护他那个网站的服务器，最近突然流量大涨，服务器压力也陡增。上去看了一下nginx日志，有大量的POST某几个特定php请求，一个IP一秒钟就POST四五个。基本都是什么reg.php,login.php,article_add.php这一类的。明显是一群装了自动发帖机的肉鸡或者个人机在进行攻击。 说好听点，也就是发点广告贴，说不好了，挂点木马什么的也是难说的。虽然说这个网站的论坛和后台的

freebsd
运维
nginx
ip封锁
ipfw
原创 推荐 2013-04-11 14:20:27 10000+阅读 14点赞 11评论

nginx和php性能优化相关

  一直以来都是在写hadoop，很少写nginx和php相关的东西了。网上绝大多数文章是优化linux系统参数，优化nginx，php的配置参数等等，尝试写个不同视角的，跟具体技术点关系太大的，主要是思路。     从编译安装nginx和php开始捋一下。   编译nginx和php一个最基本的原则是，尽可能编译更少的附加模块，nginx和ph

php
优化
nginx
原创 推荐 2013-04-07 18:14:21 9081 阅读 6点赞 6评论

Hadoop运维记录系列(五)

今天集群神秘崩溃，影响范围较大，分析故障原因比较有趣，特此记录一下。之前也发生过类似的事情，不过没想起写blog，今天正好抓出log来写了。 当时的状况是，下午16点左右，集群处于比较繁忙的状态，突然集群数台服务器崩溃，已经无法ssh远程连接服务器，只好找ops重启服务器，然后就是正常的重启datanode和tasktracker。先恢复起来，再去看log，但是去看hadoop log的时候就心

记录
运维
hadoop
故障分析
原创 推荐 2013-04-03 22:52:33 10000+阅读 7点赞 6评论

基于arm架构单片机的hadoop服务器尝试

之前听说了百度用arm服务器搭建了webserver和网盘之类的东西，然后又看到有人用android电视棒里面装ubuntu，于是就有了用arm尝试做hadoop服务器的想法。但是目前arm 64位的cpu还没有出货，所以这只是个前奏性质的尝试。 从淘宝上面买了一个arm的单片机，上面有一颗基于ARMv7架构的单核cpu，1G内存，4G存储。但是最主要的，是上面有网卡接口，虽然是100M的，但这

服务器
测试
arm
性价比
hadoop
原创 推荐 2013-03-28 15:30:28 10000+阅读 17点赞 26评论

Hadoop运维记录系列(四)

记录一下，可能算是个比较典型的故障，磁盘满导致的task tracker无法启动。 故障是一台tasktracker挂了，怎么也起不来，报错信息如下。   2013-03-26 17:34:57,620 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start&nb

运维
hadoop
故障分析
原创 推荐 2013-03-26 19:04:00 9822 阅读 4点赞 4评论

hadoop，hive启用lzo压缩和创建lzo索引

启用lzo压缩对于小规模集群还是很有用的，压缩比率大概能达到原始日志大小的1/3。同时解压缩速度也比较快，Hadoop原生是支持gzip和bzip2压缩的，这两种压缩虽然压缩比率比lzo更大，但是在做map reduce解压缩的时候，慢的不能忍，所以通常不会用gzip或者bzip2。相同数据量，gzip的mr速度大概是lzo的1.5-2倍，而bzip2是lzo的3-4倍。 不过lzo不比gzip

压缩
hadoop
hive
lzo
lzop
原创 推荐 2013-03-25 18:07:24 10000+阅读 10点赞 34评论

Hadoop周边生态软件和简要工作原理(一)

基本都是在群里讨论的时候，别人问的入门问题，以后想到新的问题再补充进来。但是其实入门问题也很重要，对原理的理解决定了学习能够深入的程度。本篇不讨论Hadoop，只介绍周边软件。Hive：这个是我被人问的最多的软件，可见它在hadoop周边生态里的利用率也是最高的。Hive到底是什么？如何来严格的定义Hive确实不是太容易，通常我们为了非Hadoop专业人士容易理解，往往称它为数据仓库。但是，从技术

hadoop
hbase
hive
zookeeper
生态
原创 推荐 2013-03-09 00:09:16 5596 阅读 6点赞 1评论

大数据能做什么

Hadoop和大数据是这两年最火的词儿们之一，越来越多的公司对这个东西感兴趣，但是我接触到的大多数公司里的人，无论是技术人员还是老板。都不知道怎么能把这些东西用于改善自己公司的业务。在解答的过程中，提炼出几个要点，记录一下。   大数据和云是不是一回事？ 这是最容易混淆的概念之一，我个人认为这是两回事，云服务，无论是云主机还是云存储还是云的其他应用，都是向用户提供一个接口，但这个接

问答
Hadoop
大数据
原创 推荐 2013-03-01 11:22:31 10000+阅读 31点赞 21评论

Hadoop运维记录系列(三)

Hive 0.10发布了，修正了一些bug，搞了一些新特性，对提高工作效率很有帮助，于是尝试升级了一下，然后遇到了一些问题，记录一下。 主要是看上了下面几个feature，打算换上看看。   1. Allow SELECT <col> without a mapreduce job

运维
hadoop
故障分析
原创 推荐 2013-01-30 15:06:36 10000+阅读 2点赞 2评论

那些年，我玩过的操作系统

因为父辈工作的关系，很早就见过电脑了，但是那会太小，啥也不懂。见过的第一个电脑应该是PDP-11那种摆半间屋子的电脑，编程和存储数据是用一大卷打了眼的纸带。小时候的玩具就是打眼的纸卡和8寸软盘，80后应该就都没见过这些东西了。后来上小学6年级，脑袋被门夹了，一时气不过，走上了编程的道路。直到现在，还未能摆脱这场噩梦。小时候脑袋被门夹一下，一辈子智商都受影响。   APPLE II:

DOS
操作系统
回忆
原创 推荐 2013-01-29 14:00:53 7338 阅读 32点赞 34评论

Hadoop配置项整理(mapred-site.xml)

续上篇name value Descriptionhadoop.job.history.locationjob历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹下。hadoop.job.history.user.location用户历史文件存放位置io.sort.factor30这里处理流合并时的文件排序数，我理解为排序时打开的文件数io.sort.mb60

配置
运维
hadoop
大数据
mapred-site
原创 2012-12-26 20:48:11 10000+阅读 4点赞 1收藏 3评论

Hadoop配置项整理(hdfs-site.xml)

续上篇整理一下hdfs相关的配置项      name  value Description  dfs.default.chunk.view.size

配置
hadoop
hdfs
大数据
原创 2012-12-26 17:50:03 10000+阅读 2点赞 3评论

Hadoop配置项整理(core-site.xml)

记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分 以hadoop 1.x配置为例 core-site.xml    name value  Description 

配置
hadoop
大数据
core-site
原创 推荐 2012-12-26 15:36:19 10000+阅读 1评论

2012博客大赛获奖记录

这些日子一直在写新版EasyHadoop的代码，疏于写博，好在终于赶在耶稣出生之前之前把1.1.1版本的发布代码提交到了github，可以轻松一下了，抽时间写个东西，算是补作业吧。 其实我也不是一个特别会写东西的人，今年能在51cto获此殊荣，对我来说的确是受宠若惊。 关于坚持： 总结下来，厚着脸皮自夸的说算是个厚积的过程吧。我是个老程序员了，当我去参加阿里云大赛得知获奖选手中最年轻的孩子是

记录
感言
博客大赛
原创 推荐 2012-12-24 21:15:35 3118 阅读 12点赞 13评论

Hadoop运维记录系列(二)

下周准备去某地做Hadoop相关的技术培训，主要负责讲解Hadoop的安装部署和运维部分，赶制了一份PPT，将平时工作中遇到的问题也提取了一下，希望能对Hadoop运维相关人员有所帮助，算是个补上的运维记录吧，错误数据均来自以前日常工作中的Hadoop日志。 也有一点点跟Hadoop相关的非保密数据，拿出来晒晒。 目前公司的数据规模如下，相比大公司不算是很大的数据量，但是也不是很小。 &nb

运维
hadoop
故障分析
原创 推荐 2012-12-09 01:56:50 10000+阅读 6点赞 1收藏 5评论

phpHiveAdmin软件开发和知识整理

该整理一下phpHiveAdmin好玩的知识点了。   访问Hive接口有thrift，这没有太多可说的，只要调用封装好的方法就行了。之前因为Socket的阻塞问题，经常会发生Hive接口读取超时，修改一下Thrift里面的TSocket.php就好了。修改方法参看之前的php开发Hive web查询，跟网上的其他相关文章还是略有区别。   数据库的管理方面主要就是获取

知识点
整理
hadoop
hive
phpHiveAdmin
原创 推荐 2012-11-26 20:47:22 4290 阅读 2点赞 2评论

谈Hadoop平民化(infoq访谈)

原文地址

采访
hadoop
infoq
easyhadoop
phpHiveAdmin
原创 推荐 2012-11-15 11:43:38 5493 阅读 4点赞 3评论

EasyHadoop软件开发总结和知识点整理

之前一直忙于写代码，也没有整理一下思路来做一个技术点的分享，也该整理一下技术相关的东西。分两篇吧，一篇太长了也不利于阅读，废话写多了，大家看着困。当然我的技术水平也很烂，懂行的不要见笑就好了。第一篇写EasyHadoop，第二篇写phpHiveAdminEasyHadoop最早只是一个hadoop的安装Shell脚本，这就没有什么可说的了，界面化的分布式安装还有有些知识点可以总结和分享下的，或许能

知识点
hadoop
技术分享
EasyHadoop
phpHiveAdmin
原创 推荐 2012-11-14 18:05:31 5095 阅读 3点赞 1评论

阿里云开发者大赛记事

2012年11月7日去杭州参加了阿里云开发者大赛，凭借EasyHadoop和phpHiveAdmin十分幸运的从数千名参赛者中脱颖而出获得了二等奖中的最佳创意奖。之前是一个同事告诉我，阿里云在搞开发者大赛，于是就报名参加了一下。之后再也没有上去看过，直到有一天，突然接到阿里云打来的电话，说我的作品成功入围20强，问我是否有时间去杭州参加颁奖，于是就订了11月7日赴杭州的机票。这里不得不说，阿里云的

大赛
Hadoop
阿里云
EasyHadoop
phpHiveAdmin
原创 推荐 2012-11-12 17:35:13 4516 阅读 17点赞 20评论

Hadoop运维记录系列（一）

这两天参加了51CTO举办的云计算架构师峰会，办的非常好，很多干货。确实比一些名不副实的所谓大数据实际都是厂商推销产品的会议要强得多。但是其实这事跟Hadoop运维没关系，但是这两天集群发生的故障影响了我听报告。说起来很奇幻，集群里面有三台服务器需要升级CPU，这本无可厚非。但是不多不少，恰恰是三台，符合Hadoop集群配置的replication数量。之间运维人员没有提前跟我们进行沟通，基本就是

运维
hadoop
故障分析
原创 推荐 2012-10-26 22:06:25 10000+阅读 15点赞 3收藏 18评论

使用thrift快速开发接口工具

最近看了看thrift接口工具，感觉还是不错的。可以用来快速的开发基于Socket的接口工具。简单的说，就是可以让人快速的写Socket Server和Client。其实不用thrift开发socket也不难，那么为什么要用thrift开发呢？主要有两个原因，一个是因为thrift本身帮你封装了很多基本的东西，你不需要自己去写socket里面的bind，accept之类的，以及他们的逻辑。可以很快

接口
socket
框架
thrift
跨语言
原创 推荐 2012-09-26 13:01:13 10000+阅读 5点赞 3评论

开源项目第二蛋EasyHadoop

继phpHiveAdmin之后，推出第二个开源项目：EasyHadoop。和phpHiveAdmin一样，EasyHadoop也是个为懒惰而生的项目。简而言之，就是在一个网页上对Hadoop集群进行安装，重启，修改配置文件，查看log等功能。后续还会加入hive，hbase，pig之类的。当然，Cloudera Manager是个不错的选择，不过一旦集群数量超过50，当然仍然可以使用hadoop，

php
easy
云计算
hadoop
一键部署
原创 推荐 2012-09-04 20:53:49 7361 阅读 10点赞 17评论

easy-hiphop一键安装hiphop脚本

github上面fork了一个老外的脚本，修改了一些bug和功能做的分支版本。支持操作系统ubuntu 12.04，别的系统暂时不支持。安装方法：$sudo su -#apt-get install git-core#git clone git://github.com/xianglei/easy-hiphop.git#cd easy-hiphop/hiphop-php#chmod +x inst

php
安装
使用
高性能
hiphop
原创 推荐 2012-08-17 16:21:28 3643 阅读 4点赞 4评论

高性能网站，HipHop php使用说明

这里的HipHop，不是嘻哈乐，我不喜欢嘻哈。HipHop是Facebook开源的php编译器，可以将php转换成C++再编译成可执行文件，用以提高php的执行效率。安装过程比较复杂，依赖的东西很多。Boost，Onigumura，tbb，icu，mysql，flex，re2c等等，还有facebook补丁版的libevent和curl。其实facebook开源两大网站利器，hiphop和scri

php
C++
编译
高性能
hiphop
原创 推荐 2012-08-13 18:57:14 10000+阅读 4点赞 13评论

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区