51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号

基于异构arm硬件的Hadoop集群测试

3月份的时候做了单机版的hadoop on arm的测试，最近又买了一个新的arm板子，就考虑把他们串起来组一个hadoop集群。而且由于产品更新换代的问题，硬件上是异构的。 基于arm架构单片机的hadoop服务器尝试 namenode是cubieboard一代，采用单核arm v7架构，1G内存，4G板载flash ROM datanode采用cubietruck，双核armv7，2G内

集群
成本
arm
hadoop
原创 推荐 2013-12-22 21:15:17 10000+阅读 9点赞 20评论

2013 China Hadoop Summit杂记

China Hadoop Summit的前身叫Hadoop In China，后来跟中科院计算所分开，分成两个大会，一个叫CHS，一个叫BDTC。今年哥们作为主持人兼演讲嘉宾参加了CHS大会，这次大会举办的十分隆重和成功，请到了业界很多的大牛，包括Hortonworks的CTO Jeff，HBase的committer Ted Yu等等，介绍了目前Hadoop 2.0上面的很多新鲜玩意，还请到了S

China
Hadoop
2013
Summit
原创 2013-11-30 15:12:55 3680 阅读 6点赞 7评论

Hadoop运维记录系列(十二)

从公司离职有几天了，今天回去看同事，想一起吃饭，没成想摊上大事了。说下午hadoop集群的机房停电了，然后集群就启动不了了，几个人从下午4点多折腾到8点多还没搞定，有几台服务器找不到硬盘，还有内网ping不通的。反正是有10来台服务器起不来datanode和tasktracker了。于是在原公司蹭了个饭，花了20分钟解决了一下。由于这几台服务器挂机，namenode没有达到有效数据块的阀值所以一直

故障
记录
运维
hadoop
宕机
原创 推荐 2013-10-30 00:01:37 9437 阅读 16点赞 16评论

Hadoop运维记录系列(十一)

记录一些Hive的优化点，和能够提升的效率差异。Hive是目前应用最多最广的SQL on Hadoop工具，近期很多专业的大数据公司推出了很多新的，基于列式或者内存热数据的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中，淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些，大概95%以上

系统
性能
调优
hadoop
hive
原创 推荐 2013-09-12 18:19:35 10000+阅读 2点赞 2收藏 3评论

Open×××的路由问题一则

前两天因为集群网段问题，登录管理不便，hivefans就在集群的一台服务器上搭了一个openvpn的server。遇到了一些问题，记录一下。他只搭了一台openvpn，并没有在集群的其他服务器上安装ovpn，他想完成的目标是将集群的内网网段通过ovpn做路由，通过公司可以访问外部机房集群的内网地址。集群的内网地址是192.168.1.0 mask 255.255.0.0，ovpn的server地址

linux
路由
操作系统
openvpn
原创 推荐 2013-09-06 13:15:55 7196 阅读

Hadoop运维记录系列(十)

昨天同事遇到一个hadoop故障，找了半天没看出问题，问到我这里，花了一会解决了一下，估计这是我给暴风的集群解决的最后的故障了，以后就不定给谁解决问题去了。只截下来了Namenode的报错Log，Datanode的刷屏刷过去了，不过都差不多。2013-09-03 18:11:44,021 WARN org.apache.hadoop.hdfs.StateChange: BLOCK* NameSys

记录
运维
hadoop
故障分析
原创 推荐 2013-09-04 16:31:43 9368 阅读 4点赞 5评论

Hadoop运维记录系列(九)

Linux操作系统针对Hadoop的参数和命令调优。对于Hadoop本身的参数调优，写的已经不少了，操作系统方面的不多，记录一下我用的系统参数。先写一点，想起哪个再往里面加。 一、系统内核参数调优sysctl.conf net.ipv4.ip_forward = 0 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.default.acce

系统
记录
运维
调优
hadoop
原创 2013-07-22 12:51:52 10000+阅读 2点赞 1评论

Hadoop周边生态软件和简要工作原理(二)

接着Hadoop周边生态软件和简要工作原理(一)Sqoop：sqoop在hadoop生态系统中也是应用率比较高的软件，主要是用来做ETL工具，由yadoo研发并提交给Apache。Hadoop整个生态圈里面，大部分的应用都是Yadoo研发的，贡献非常大。Yahoo里面出来两拨人，分别组建了Cloudera和Hortonworks。所谓ETL，就是数据的抽取(extract)加载(load)转换(t

hadoop
mahout
sqoop
生态
pig
原创 推荐 2013-07-19 16:58:15 4113 阅读 3点赞 1评论

Hadoop运维记录系列(八)

新部署了几个接收服务器，因为以前的老业务都是nginx接收的，没法迁移到scribe或者fluentd上。所以，只能在这些服务器上部署hadoop的client，用fs -put的方法把nginx生成的NCSA日志定时放到HDFS里。也就是在nginx服务器上需要部署hadoop的client。hadoop部署好了之后交给别人做日志的put脚本，然后一会报告我，put失败。而且是一会成功一会失败，

记录
运维
hadoop
故障分析
原创 推荐 2013-07-17 18:56:11 5262 阅读 1点赞 3评论

Apache BigTop试用感想

Bigtop是去年apache基金会推出的一个对Hadoop及其周边生态进行打包，分发和测试的工具。推出的时间不长，加上官方的文档很简单，只告诉你如何用bigtop安装hadoop，其他都不讲。这两天深入的玩了一下，就个人体会来说，Bigtop算是个比较有趣的玩具。实用价值不大，尤其是对准备在hadoop本身上做文章的公司和个人来说，是一个看上去很美，但实际部署是很值得商榷的玩意。Bigtop，本

运维
hadoop
bigtop
生态系统
原创 推荐 2013-07-06 17:55:23 10000+阅读 1点赞

Hadoop运维记录系列(七)

这段时间一直在搞Hadoop集群迁移，最近Hadoop也没出什么大问题，就没更新运维系列。这次的运维系列也跟Hadoop自己的故障无关，主要是自动化运维。不过我确实犯了一个严重的错误，在迁移新集群的时候，为了安装部署方便，我把hbase打成了rpm包的方式进行部署。在编写spec文件的时候，一个变量少写了一对花括号，结果把操作系统的文件给删掉了。而我恰恰是在新集群的生产环境下去编译rpm，后果就是

记录
运维
hadoop
故障分析
原创 2013-07-05 12:42:16 5373 阅读 2点赞 4评论

如何自己开发一套服务器管理系统

现在easyhadoop用户逐渐多了，对技术架构和实现感兴趣的人也多了，看到easyhadoop这套管理平台以后会问，我们公司没有这个东西，我想用，或者我已经用了，然后我也想自己用java或者其他语言尝试实现一套类似easyhadoop这样的工作系统，都有什么需要了解的技术关键点？我在这里写一下几个关键点，一来算解答问题了，二来也算是对自己工作的一个回顾。表面上看，是一套基于B/S方式实现的分布式

管理
开发
平台
分布式
easyhadoop
原创 推荐 2013-06-05 17:28:14 9301 阅读 9点赞 8评论

基于嵌入式webserver的服务器状态监控

其实也是在easyhadoop做第二次重构的时候用到了这个嵌入式的webserver去做服务器状态的监控，可以单独摘出来写个东西。思路主要是用python脚本获取linux服务器的各种状态信息，然后用webserver的方式，以json数据发给http，主控节点去读取webserver返回的json，生成系统监控报表。代码简单，开发和部署都很方便。用到的主要东西是python的第三方嵌入式web模

监控
运维
python
自动化
原创 推荐 2013-05-23 14:42:11 3513 阅读 1点赞 3评论

Hadoop运维记录系列(六)

这两天有业务部门反馈，总有hive跑某天的log失败。看了一下log，虽然各种报错不一样，但基本都是OOM，追了一下午，终于追出来原因了，特此记录一下。这个问题很诡异，map阶段oom，按说map的时候一个map对应一个数据块，最大也就占用128M内存，怎么会溢出呢，通常都应该是reduce溢出才对。先看看各个hadoop节点的tasktracker报的错误log。节点一2013-05-08 20

运维
hadoop
故障分析
原创 推荐 2013-05-08 22:44:47 10000+阅读 4点赞 11评论

python加shell快速部署集群

最近痛感在集群里逐台部署ganglia, cacti这些监控的东西很麻烦，就写了个小程序去批量自动部署。原理是通过python的pexpect用ssh去复制文件和执行系统命令，我用它来部署ganglia等，但是其他的东西也可以通过这个脚本来批量部署，只要自己编写部署脚本就可以了。主要是提出一个解决思路，看对大家是否有所帮助。先约定一个概念，我们把放置python和脚本的服务器叫做主控节点或者ser

部署
shell
集群
python
expect
原创 推荐 2013-05-08 20:08:56 10000+阅读 10点赞 2收藏 7评论

Hadoop和HBase集群的JMX监控

说到对Hadoop和HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。玩的深一些的，会用zenoss之类的。这些工具确实不错，也能发挥很大的作用，但时间长了总感觉监控粒度还是比较粗，不够详细。毕竟是第三方的监控，即便Hadoop自带了ganglia的接口，也还是觉得不够。其实Hadoop本身是带有监控接口的，各公司的发行版还有自己

监控
运维
jmx
hadoop
hbase
原创 推荐 2013-04-16 13:31:50 10000+阅读 7点赞 2收藏 10评论

记一次与自动论坛发帖机的斗争

帮朋友维护他那个网站的服务器，最近突然流量大涨，服务器压力也陡增。上去看了一下nginx日志，有大量的POST某几个特定php请求，一个IP一秒钟就POST四五个。基本都是什么reg.php,login.php,article_add.php这一类的。明显是一群装了自动发帖机的肉鸡或者个人机在进行攻击。 说好听点，也就是发点广告贴，说不好了，挂点木马什么的也是难说的。虽然说这个网站的论坛和后台的

freebsd
运维
nginx
ip封锁
ipfw
原创 推荐 2013-04-11 14:20:27 10000+阅读 14点赞 11评论

nginx和php性能优化相关

  一直以来都是在写hadoop，很少写nginx和php相关的东西了。网上绝大多数文章是优化linux系统参数，优化nginx，php的配置参数等等，尝试写个不同视角的，跟具体技术点关系太大的，主要是思路。     从编译安装nginx和php开始捋一下。   编译nginx和php一个最基本的原则是，尽可能编译更少的附加模块，nginx和ph

php
优化
nginx
原创 推荐 2013-04-07 18:14:21 9078 阅读 6点赞 6评论

Hadoop运维记录系列(五)

今天集群神秘崩溃，影响范围较大，分析故障原因比较有趣，特此记录一下。之前也发生过类似的事情，不过没想起写blog，今天正好抓出log来写了。 当时的状况是，下午16点左右，集群处于比较繁忙的状态，突然集群数台服务器崩溃，已经无法ssh远程连接服务器，只好找ops重启服务器，然后就是正常的重启datanode和tasktracker。先恢复起来，再去看log，但是去看hadoop log的时候就心

记录
运维
hadoop
故障分析
原创 推荐 2013-04-03 22:52:33 10000+阅读 7点赞 6评论

基于arm架构单片机的hadoop服务器尝试

之前听说了百度用arm服务器搭建了webserver和网盘之类的东西，然后又看到有人用android电视棒里面装ubuntu，于是就有了用arm尝试做hadoop服务器的想法。但是目前arm 64位的cpu还没有出货，所以这只是个前奏性质的尝试。 从淘宝上面买了一个arm的单片机，上面有一颗基于ARMv7架构的单核cpu，1G内存，4G存储。但是最主要的，是上面有网卡接口，虽然是100M的，但这

服务器
测试
arm
性价比
hadoop
原创 推荐 2013-03-28 15:30:28 10000+阅读 17点赞 26评论

Hadoop运维记录系列(四)

记录一下，可能算是个比较典型的故障，磁盘满导致的task tracker无法启动。 故障是一台tasktracker挂了，怎么也起不来，报错信息如下。   2013-03-26 17:34:57,620 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start&nb

运维
hadoop
故障分析
原创 推荐 2013-03-26 19:04:00 9822 阅读 4点赞 4评论

hadoop，hive启用lzo压缩和创建lzo索引

启用lzo压缩对于小规模集群还是很有用的，压缩比率大概能达到原始日志大小的1/3。同时解压缩速度也比较快，Hadoop原生是支持gzip和bzip2压缩的，这两种压缩虽然压缩比率比lzo更大，但是在做map reduce解压缩的时候，慢的不能忍，所以通常不会用gzip或者bzip2。相同数据量，gzip的mr速度大概是lzo的1.5-2倍，而bzip2是lzo的3-4倍。 不过lzo不比gzip

压缩
hadoop
hive
lzo
lzop
原创 推荐 2013-03-25 18:07:24 10000+阅读 10点赞 34评论

Hadoop周边生态软件和简要工作原理(一)

基本都是在群里讨论的时候，别人问的入门问题，以后想到新的问题再补充进来。但是其实入门问题也很重要，对原理的理解决定了学习能够深入的程度。本篇不讨论Hadoop，只介绍周边软件。Hive：这个是我被人问的最多的软件，可见它在hadoop周边生态里的利用率也是最高的。Hive到底是什么？如何来严格的定义Hive确实不是太容易，通常我们为了非Hadoop专业人士容易理解，往往称它为数据仓库。但是，从技术

hadoop
hbase
hive
zookeeper
生态
原创 推荐 2013-03-09 00:09:16 5596 阅读 6点赞 1评论

大数据能做什么

Hadoop和大数据是这两年最火的词儿们之一，越来越多的公司对这个东西感兴趣，但是我接触到的大多数公司里的人，无论是技术人员还是老板。都不知道怎么能把这些东西用于改善自己公司的业务。在解答的过程中，提炼出几个要点，记录一下。   大数据和云是不是一回事？ 这是最容易混淆的概念之一，我个人认为这是两回事，云服务，无论是云主机还是云存储还是云的其他应用，都是向用户提供一个接口，但这个接

问答
Hadoop
大数据
原创 推荐 2013-03-01 11:22:31 10000+阅读 31点赞 21评论

Hadoop运维记录系列(三)

Hive 0.10发布了，修正了一些bug，搞了一些新特性，对提高工作效率很有帮助，于是尝试升级了一下，然后遇到了一些问题，记录一下。 主要是看上了下面几个feature，打算换上看看。   1. Allow SELECT <col> without a mapreduce job

运维
hadoop
故障分析
原创 推荐 2013-01-30 15:06:36 10000+阅读 2点赞 2评论

那些年，我玩过的操作系统

因为父辈工作的关系，很早就见过电脑了，但是那会太小，啥也不懂。见过的第一个电脑应该是PDP-11那种摆半间屋子的电脑，编程和存储数据是用一大卷打了眼的纸带。小时候的玩具就是打眼的纸卡和8寸软盘，80后应该就都没见过这些东西了。后来上小学6年级，脑袋被门夹了，一时气不过，走上了编程的道路。直到现在，还未能摆脱这场噩梦。小时候脑袋被门夹一下，一辈子智商都受影响。   APPLE II:

DOS
操作系统
回忆
原创 推荐 2013-01-29 14:00:53 7337 阅读 32点赞 34评论

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
开源基础软件社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区