51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号

Hadoop配置项整理(mapred-site.xml)

续上篇name value Descriptionhadoop.job.history.locationjob历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹下。hadoop.job.history.user.location用户历史文件存放位置io.sort.factor30这里处理流合并时的文件排序数，我理解为排序时打开的文件数io.sort.mb60

配置
运维
hadoop
大数据
mapred-site
原创 2012-12-26 20:48:11 10000+阅读 4点赞 1收藏 3评论

Hadoop配置项整理(hdfs-site.xml)

续上篇整理一下hdfs相关的配置项      name  value Description  dfs.default.chunk.view.size

配置
hadoop
hdfs
大数据
原创 2012-12-26 17:50:03 10000+阅读 2点赞 3评论

Hadoop配置项整理(core-site.xml)

记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分 以hadoop 1.x配置为例 core-site.xml    name value  Description 

配置
hadoop
大数据
core-site
原创 推荐 2012-12-26 15:36:19 10000+阅读 1评论

2012博客大赛获奖记录

这些日子一直在写新版EasyHadoop的代码，疏于写博，好在终于赶在耶稣出生之前之前把1.1.1版本的发布代码提交到了github，可以轻松一下了，抽时间写个东西，算是补作业吧。 其实我也不是一个特别会写东西的人，今年能在51cto获此殊荣，对我来说的确是受宠若惊。 关于坚持： 总结下来，厚着脸皮自夸的说算是个厚积的过程吧。我是个老程序员了，当我去参加阿里云大赛得知获奖选手中最年轻的孩子是

记录
感言
博客大赛
原创 推荐 2012-12-24 21:15:35 3116 阅读 12点赞 13评论

Hadoop运维记录系列(二)

下周准备去某地做Hadoop相关的技术培训，主要负责讲解Hadoop的安装部署和运维部分，赶制了一份PPT，将平时工作中遇到的问题也提取了一下，希望能对Hadoop运维相关人员有所帮助，算是个补上的运维记录吧，错误数据均来自以前日常工作中的Hadoop日志。 也有一点点跟Hadoop相关的非保密数据，拿出来晒晒。 目前公司的数据规模如下，相比大公司不算是很大的数据量，但是也不是很小。 &nb

运维
hadoop
故障分析
原创 推荐 2012-12-09 01:56:50 10000+阅读 6点赞 1收藏 5评论

phpHiveAdmin软件开发和知识整理

该整理一下phpHiveAdmin好玩的知识点了。   访问Hive接口有thrift，这没有太多可说的，只要调用封装好的方法就行了。之前因为Socket的阻塞问题，经常会发生Hive接口读取超时，修改一下Thrift里面的TSocket.php就好了。修改方法参看之前的php开发Hive web查询，跟网上的其他相关文章还是略有区别。   数据库的管理方面主要就是获取

知识点
整理
hadoop
hive
phpHiveAdmin
原创 推荐 2012-11-26 20:47:22 4290 阅读 2点赞 2评论

谈Hadoop平民化(infoq访谈)

原文地址

采访
hadoop
infoq
easyhadoop
phpHiveAdmin
原创 推荐 2012-11-15 11:43:38 5487 阅读 4点赞 3评论

EasyHadoop软件开发总结和知识点整理

之前一直忙于写代码，也没有整理一下思路来做一个技术点的分享，也该整理一下技术相关的东西。分两篇吧，一篇太长了也不利于阅读，废话写多了，大家看着困。当然我的技术水平也很烂，懂行的不要见笑就好了。第一篇写EasyHadoop，第二篇写phpHiveAdminEasyHadoop最早只是一个hadoop的安装Shell脚本，这就没有什么可说的了，界面化的分布式安装还有有些知识点可以总结和分享下的，或许能

知识点
hadoop
技术分享
EasyHadoop
phpHiveAdmin
原创 推荐 2012-11-14 18:05:31 5097 阅读 3点赞 1评论

阿里云开发者大赛记事

2012年11月7日去杭州参加了阿里云开发者大赛，凭借EasyHadoop和phpHiveAdmin十分幸运的从数千名参赛者中脱颖而出获得了二等奖中的最佳创意奖。之前是一个同事告诉我，阿里云在搞开发者大赛，于是就报名参加了一下。之后再也没有上去看过，直到有一天，突然接到阿里云打来的电话，说我的作品成功入围20强，问我是否有时间去杭州参加颁奖，于是就订了11月7日赴杭州的机票。这里不得不说，阿里云的

大赛
Hadoop
阿里云
EasyHadoop
phpHiveAdmin
原创 推荐 2012-11-12 17:35:13 4516 阅读 17点赞 20评论

Hadoop运维记录系列（一）

这两天参加了51CTO举办的云计算架构师峰会，办的非常好，很多干货。确实比一些名不副实的所谓大数据实际都是厂商推销产品的会议要强得多。但是其实这事跟Hadoop运维没关系，但是这两天集群发生的故障影响了我听报告。说起来很奇幻，集群里面有三台服务器需要升级CPU，这本无可厚非。但是不多不少，恰恰是三台，符合Hadoop集群配置的replication数量。之间运维人员没有提前跟我们进行沟通，基本就是

运维
hadoop
故障分析
原创 推荐 2012-10-26 22:06:25 10000+阅读 15点赞 3收藏 18评论

使用thrift快速开发接口工具

最近看了看thrift接口工具，感觉还是不错的。可以用来快速的开发基于Socket的接口工具。简单的说，就是可以让人快速的写Socket Server和Client。其实不用thrift开发socket也不难，那么为什么要用thrift开发呢？主要有两个原因，一个是因为thrift本身帮你封装了很多基本的东西，你不需要自己去写socket里面的bind，accept之类的，以及他们的逻辑。可以很快

接口
socket
框架
thrift
跨语言
原创 推荐 2012-09-26 13:01:13 10000+阅读 5点赞 3评论

开源项目第二蛋EasyHadoop

继phpHiveAdmin之后，推出第二个开源项目：EasyHadoop。和phpHiveAdmin一样，EasyHadoop也是个为懒惰而生的项目。简而言之，就是在一个网页上对Hadoop集群进行安装，重启，修改配置文件，查看log等功能。后续还会加入hive，hbase，pig之类的。当然，Cloudera Manager是个不错的选择，不过一旦集群数量超过50，当然仍然可以使用hadoop，

php
easy
云计算
hadoop
一键部署
原创 推荐 2012-09-04 20:53:49 7358 阅读 10点赞 17评论

easy-hiphop一键安装hiphop脚本

github上面fork了一个老外的脚本，修改了一些bug和功能做的分支版本。支持操作系统ubuntu 12.04，别的系统暂时不支持。安装方法：$sudo su -#apt-get install git-core#git clone git://github.com/xianglei/easy-hiphop.git#cd easy-hiphop/hiphop-php#chmod +x inst

php
安装
使用
高性能
hiphop
原创 推荐 2012-08-17 16:21:28 3642 阅读 4点赞 4评论

高性能网站，HipHop php使用说明

这里的HipHop，不是嘻哈乐，我不喜欢嘻哈。HipHop是Facebook开源的php编译器，可以将php转换成C++再编译成可执行文件，用以提高php的执行效率。安装过程比较复杂，依赖的东西很多。Boost，Onigumura，tbb，icu，mysql，flex，re2c等等，还有facebook补丁版的libevent和curl。其实facebook开源两大网站利器，hiphop和scri

php
C++
编译
高性能
hiphop
原创 推荐 2012-08-13 18:57:14 10000+阅读 4点赞 13评论

Hive官方手册翻译(Getting Started)

翻译Hive官方文档系列，文中括号中包含 注: 字样的，为我自行标注的，水平有限，翻译不是完美无缺的。如有疑问，请参照Hive官方文档对照查看。内容列表 Cloudera制作的Hive介绍视频 安装与配置 系统需求 安装Hive发行版 从Hive源码编译 运行Hive 配置管理概览 运行时配置 Hive, Map-Reduce 与本地模式 错误日志 DDL 操作 元数据存储 DM

手册
hadoop
hive
翻译 精选 2012-07-23 16:18:12 10000+阅读 9点赞

用cacti监控php-fpm的工作状态

cacti搞运维的人不会陌生，可能是现在使用最多的监控工具了。跟互联网相关的公司可能多少都会用到cacti来监控服务器运行状态和一些软件的负载情况。现在网站用的最多的后端技术可能就是php了，无论nginx还是lighttpd，如今的负载能力都非常强，在很多牛人的努力下，负载几万到十万并发的都屡见不鲜。但是，这是在完全静态的情况下，加上php就会效率大减。所以其实一个动态网站的负载能力的瓶颈往往都

监控
snmp
cacti
nginx
php-fpm
原创 推荐 2012-06-16 20:21:50 8011 阅读 8点赞 8评论

使用FreeBSD的ports安装hadoop

3月初写过FreeBSD下安装hadoop的文章，那会hadoop还没有进入FreeBSD的ports，刚写完没多久，3月27日。FreeBSD的ports树就引入了hadoop，安装就太方便了。怎么更新ports树就略过了，直接跳到安装hadoop#cd /usr/ports/devel/hadoop#make install clean等着完事就行了。都是编译安装，非常优化，而且自动解决依赖关

安装
配置
FreeBSD
ports
hadoop
原创 推荐 2012-06-11 16:26:54 2037 阅读 1点赞 1评论

Hadoop配置机架感知(python脚本)

昨天QQ群里提了一个hadoop运行效率分配的问题，总结一下，写个文章。集群使用hadoop-1.0.3有些hadoop集群在运行的时候，不完全是绝对平均的分配，不过需要尽可能平均的分配任务，避免某一台或者某几台服务器任务过重，其他服务器无事可做。这个，一方面是需要用到balancer，一个就是机架感知了。通常，balancer是自动启动的。而机架感知则需要单独配置和编写脚本。不过，机架感知，不是

优化
集群
Python
hadoop
机架感知
原创 推荐 2012-06-08 15:40:20 8502 阅读 2点赞 6评论

Hadoop 2.0.0-alpha尝鲜安装和hello world

仅供测试学习的文章，不推荐在生产环境使用2.0，因为2.0采用YARN，hive，hbase，mahout等需要map/reduceV1的可能无法使用hadoop 2.0或者会出现意外情况。 5月23日，apache发布了hadoop 2.0的测试版。正好跟家呆着没事干，小小的体会了一下map/reduce V2。环境，virtual box虚拟机ubuntu server 12.04，open

2.0
hadoop
大数据
MRv2
yarn
原创 推荐 2012-06-01 23:32:00 10000+阅读 3点赞 12评论

技术，管理，和境界问题

昨晚上吃饭，聊了聊技术，管理和核心业务的问题，两个不成功的人，对中国的互联网公司痛批了一顿，然后回家睡觉。在互联网环境里，似乎管理和技术是矛盾的，管理严格，可以提高公司的运作效率，但是会扼杀人的创造力。互联网是个以创新作为生命力的环境，没有创新就没有生存能力。对于这个问题，我是这样看的，过于注重管理的公司，注定只能是个实业公司，而不会是互联网公司。互联网的信息快速爆炸的性质决定必须以创新来求生存，

技术
价值
管理
矛盾
原创 推荐 2012-05-18 15:38:46 9247 阅读 8点赞 2评论

视频：easyhadoop聚会hive和phpHiveAdmin部分

2012-04-14，在北航主南203，第二次easyhadoop开发者聚会核心主题:Hadoop高可用和性能调优和Hadoop相关软件发布. 网站:www.easyhadoop.com EasyHadoop 交流群:930869301.Hadoop 国内外应用,带EasyHadoop v2.0 介绍 [暴风-xiaojun] 2.Hadoop系统监控和Hive负载均衡,带phpHive

云计算
hive
phphiveadmin
hadoop.easyhadoop
原创 2012-04-15 02:07:52 2749 阅读 2点赞 1评论

FreeBSD下安装配置Hadoop集群(性能调优)

hadoop的性能调优是个比较艰难的事情，由于这个系统的整个环境比较复杂，对于接触时间不长的人来说，配置都很难，更别说找出性能优化的点了。性能优化涉及的方面很广，操作系统，网络配置，配置文件，调度器等等，抓出几点来说，但不敢说这几点就是别人所遇到的性能瓶颈，抛砖引玉而已。应用场景不同，优化配置肯定是各不相同的。对于操作系统和网络环境的调优，这个需要讲的东西就太多了，无法在一篇文章里赘述。集中于几个

配置
优化
freebsd
hadoop
调度器
原创 推荐 2012-04-01 17:26:52 2994 阅读 2点赞 1评论

FreeBSD下安装配置Hadoop集群(Hive)

接以前hadoop安装的文章，Hive是什么就不介绍了，网上一大堆。主要介绍在FreeBSD下的安装配置和跟Linux的异同以及几种Metastore的配置方式。   Hive在FreeBSD的安装配置上，跟Linux的差别不是很大，主要要注意一个shell的问题，FreeBSD下默认是没有bash的，所以需要先安装一个bash上去才可以正常的使用Hive。  

安装
配置
设置
FreeBSD
Hive
原创 推荐 2012-03-30 19:58:03 3851 阅读 2点赞 2评论

phpHiveAdmin是如何通过Hive/Hadoop工作的

一、用户的查询和管理需求通过浏览器提交给phpHiveAdmin。二、phpHiveAdmin将HQL请求发送给HAproxy负载的Hive server集群。三、phpHiveAdmin读取Metadata的数据，注意这里是只读，并不存在对Metadata的读写。因为元数据非常重要，涉及到底层数据的正确性，所以不能随意修改。四、phpHiveAdmin目前可以通过Fuse-DFS的方式浏览HDF

云计算
hadoop
hive
架构图
phpHiveAdmin
原创 2012-03-27 18:54:38 2964 阅读

phpHiveAdmin开发两个月记录

从2012-01-29开始提交到github开始算，现在phpHiveAdmin已经开发了接近两个月。很多是业余时间在写，上班也会写写，但主要工作还是维护hadoop集群，hive集群，跟各部门的数据需求进行对接和偶尔编写一些map/reduce脚本，其实map/reduce脚本写的已经少了，大部分都是我的同事在写。帮我分担了不少工作压力，很感谢他们，也很感谢我的上级，全力支持我做这么一个公司项目

php
记录
admin
漫谈
hive
原创 推荐 2012-03-24 01:58:47 5741 阅读 6点赞 8评论

Ganglia汇总监控搭建和配置详解

致linuxidc.com和linuxso.com与其他复制粘贴的编辑，我作为一个开源世界的爱好者和贡献者，本着开源的精神，并不反对你们转载我的文章，既然写出来就是想与大家分享和交流知识。但是，希望你们也能本着开源的精神，在转载的时候写明原作者和出处，请不要将版权写上来源是Linux公社，即使是Linux的GPL协议也是有版权保护的。我相信你们不会把Linux kernel源代码写上来源是Linu

linux
监控
集群
高可用
ganglia
原创 推荐 2012-03-18 00:24:43 10000+阅读 15点赞 14评论

FreeBSD下安装配置Hadoop集群(四)

前面说过了NameNode，DataNode的配置方法，这次说Secondary的配置方法。hadoop为实现高可用，支持配置失效备份的Namenode，这样当主的Namenode挂掉了之后，可以从Secondary把数据恢复回去。可以理解为Mysql的Master和Slave，但是不同的是，hadoop的Secondary不能直接当Namenode使用，更多的时候是用它当namenode的数据恢

安装
配置
FreeBSD
hadoop
HDFS
原创 2012-03-14 16:43:41 1231 阅读

HAProxy+Hive构建高可用数据挖掘集群

Hive是facebook开源的一个非常伟大的工具，可以将hadoop中的数据用sql方式进行查询，比自己写map/reduce程序要方便很多。但是在实际使用中发现hive其实不够稳定，极少数情况会出现端口不响应或者进程丢失的问题，所以考虑将hive做成负载均衡的方式。或者更严格的说，叫做失效备份，避免出现某台个别的服务器连接数过大造成的端口不响应或者服务器故障造成无法查询。前提是有2-3台服务器

集群
高可用
hadoop
haproxy
hive
原创 推荐 2012-03-12 14:23:44 10000+阅读 4点赞 5评论

FreeBSD下安装配置Hadoop集群(三)

先给自己做个广告：开源Hive管理工具phpHiveAdmin今日更新0.05 beta2ChangeLog：1. sql查询页全部重写，复杂查询现在可以用异步非阻塞的方式实时的查看map/reduce进度，简单的带limit查询，仍然采用thrift方式。2. 改变查询结果获取方式，为防止大数据导致的php内存溢出，非limit结果的数据集将直接下载，仅提供30条预览，全部数据可通过下载链接获取

配置
xml
freebsd
hadoop
node
原创 推荐 2012-03-09 19:26:06 2483 阅读 1点赞 1评论

FreeBSD下安装配置Hadoop集群(二)

上次说到FreeBSD下搭建伪分布式，很简单，但是hadoop集群入门最难的可能就是集群的搭建和配置了，配置文件复杂，概念抽象，我尽可能简单描述真实集群的搭建和配置。hadoop集群从启动进程上来说，分为四种进程，四种，不是四个。在实际应用中，通常每台服务器只启动两种进程。首先是主节点和任务跟踪器。以下统称为NameNode和JobTracker主节点在hadoop中叫namenode。负责管理调

FreeBSD
集群
Hadoop
原创 推荐 2012-03-06 18:59:06 3089 阅读 1点赞 1评论
  • 1
  • 2

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
开源基础软件社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区