51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号

Hive官方手册翻译(Getting Started)

翻译Hive官方文档系列，文中括号中包含 注: 字样的，为我自行标注的，水平有限，翻译不是完美无缺的。如有疑问，请参照Hive官方文档对照查看。内容列表 Cloudera制作的Hive介绍视频 安装与配置 系统需求 安装Hive发行版 从Hive源码编译 运行Hive 配置管理概览 运行时配置 Hive, Map-Reduce 与本地模式 错误日志 DDL 操作 元数据存储 DM

手册
hadoop
hive
翻译 精选 2012-07-23 16:18:12 10000+阅读 9点赞

用cacti监控php-fpm的工作状态

cacti搞运维的人不会陌生，可能是现在使用最多的监控工具了。跟互联网相关的公司可能多少都会用到cacti来监控服务器运行状态和一些软件的负载情况。现在网站用的最多的后端技术可能就是php了，无论nginx还是lighttpd，如今的负载能力都非常强，在很多牛人的努力下，负载几万到十万并发的都屡见不鲜。但是，这是在完全静态的情况下，加上php就会效率大减。所以其实一个动态网站的负载能力的瓶颈往往都

监控
snmp
cacti
nginx
php-fpm
原创 推荐 2012-06-16 20:21:50 8010 阅读 8点赞 8评论

使用FreeBSD的ports安装hadoop

3月初写过FreeBSD下安装hadoop的文章，那会hadoop还没有进入FreeBSD的ports，刚写完没多久，3月27日。FreeBSD的ports树就引入了hadoop，安装就太方便了。怎么更新ports树就略过了，直接跳到安装hadoop#cd /usr/ports/devel/hadoop#make install clean等着完事就行了。都是编译安装，非常优化，而且自动解决依赖关

安装
配置
FreeBSD
ports
hadoop
原创 推荐 2012-06-11 16:26:54 2041 阅读 1点赞 1评论

Hadoop配置机架感知(python脚本)

昨天QQ群里提了一个hadoop运行效率分配的问题，总结一下，写个文章。集群使用hadoop-1.0.3有些hadoop集群在运行的时候，不完全是绝对平均的分配，不过需要尽可能平均的分配任务，避免某一台或者某几台服务器任务过重，其他服务器无事可做。这个，一方面是需要用到balancer，一个就是机架感知了。通常，balancer是自动启动的。而机架感知则需要单独配置和编写脚本。不过，机架感知，不是

优化
集群
Python
hadoop
机架感知
原创 推荐 2012-06-08 15:40:20 8502 阅读 2点赞 6评论

Hadoop 2.0.0-alpha尝鲜安装和hello world

仅供测试学习的文章，不推荐在生产环境使用2.0，因为2.0采用YARN，hive，hbase，mahout等需要map/reduceV1的可能无法使用hadoop 2.0或者会出现意外情况。 5月23日，apache发布了hadoop 2.0的测试版。正好跟家呆着没事干，小小的体会了一下map/reduce V2。环境，virtual box虚拟机ubuntu server 12.04，open

2.0
hadoop
大数据
MRv2
yarn
原创 推荐 2012-06-01 23:32:00 10000+阅读 3点赞 12评论

技术，管理，和境界问题

昨晚上吃饭，聊了聊技术，管理和核心业务的问题，两个不成功的人，对中国的互联网公司痛批了一顿，然后回家睡觉。在互联网环境里，似乎管理和技术是矛盾的，管理严格，可以提高公司的运作效率，但是会扼杀人的创造力。互联网是个以创新作为生命力的环境，没有创新就没有生存能力。对于这个问题，我是这样看的，过于注重管理的公司，注定只能是个实业公司，而不会是互联网公司。互联网的信息快速爆炸的性质决定必须以创新来求生存，

技术
价值
管理
矛盾
原创 推荐 2012-05-18 15:38:46 9247 阅读 8点赞 2评论

视频：easyhadoop聚会hive和phpHiveAdmin部分

2012-04-14，在北航主南203，第二次easyhadoop开发者聚会核心主题:Hadoop高可用和性能调优和Hadoop相关软件发布. 网站:www.easyhadoop.com EasyHadoop 交流群:930869301.Hadoop 国内外应用,带EasyHadoop v2.0 介绍 [暴风-xiaojun] 2.Hadoop系统监控和Hive负载均衡,带phpHive

云计算
hive
phphiveadmin
hadoop.easyhadoop
原创 2012-04-15 02:07:52 2749 阅读 2点赞 1评论

FreeBSD下安装配置Hadoop集群(性能调优)

hadoop的性能调优是个比较艰难的事情，由于这个系统的整个环境比较复杂，对于接触时间不长的人来说，配置都很难，更别说找出性能优化的点了。性能优化涉及的方面很广，操作系统，网络配置，配置文件，调度器等等，抓出几点来说，但不敢说这几点就是别人所遇到的性能瓶颈，抛砖引玉而已。应用场景不同，优化配置肯定是各不相同的。对于操作系统和网络环境的调优，这个需要讲的东西就太多了，无法在一篇文章里赘述。集中于几个

配置
优化
freebsd
hadoop
调度器
原创 推荐 2012-04-01 17:26:52 2996 阅读 2点赞 1评论

FreeBSD下安装配置Hadoop集群(Hive)

接以前hadoop安装的文章，Hive是什么就不介绍了，网上一大堆。主要介绍在FreeBSD下的安装配置和跟Linux的异同以及几种Metastore的配置方式。   Hive在FreeBSD的安装配置上，跟Linux的差别不是很大，主要要注意一个shell的问题，FreeBSD下默认是没有bash的，所以需要先安装一个bash上去才可以正常的使用Hive。  

安装
配置
设置
FreeBSD
Hive
原创 推荐 2012-03-30 19:58:03 3851 阅读 2点赞 2评论

phpHiveAdmin是如何通过Hive/Hadoop工作的

一、用户的查询和管理需求通过浏览器提交给phpHiveAdmin。二、phpHiveAdmin将HQL请求发送给HAproxy负载的Hive server集群。三、phpHiveAdmin读取Metadata的数据，注意这里是只读，并不存在对Metadata的读写。因为元数据非常重要，涉及到底层数据的正确性，所以不能随意修改。四、phpHiveAdmin目前可以通过Fuse-DFS的方式浏览HDF

云计算
hadoop
hive
架构图
phpHiveAdmin
原创 2012-03-27 18:54:38 2964 阅读

phpHiveAdmin开发两个月记录

从2012-01-29开始提交到github开始算，现在phpHiveAdmin已经开发了接近两个月。很多是业余时间在写，上班也会写写，但主要工作还是维护hadoop集群，hive集群，跟各部门的数据需求进行对接和偶尔编写一些map/reduce脚本，其实map/reduce脚本写的已经少了，大部分都是我的同事在写。帮我分担了不少工作压力，很感谢他们，也很感谢我的上级，全力支持我做这么一个公司项目

php
记录
admin
漫谈
hive
原创 推荐 2012-03-24 01:58:47 5741 阅读 6点赞 8评论

Ganglia汇总监控搭建和配置详解

致linuxidc.com和linuxso.com与其他复制粘贴的编辑，我作为一个开源世界的爱好者和贡献者，本着开源的精神，并不反对你们转载我的文章，既然写出来就是想与大家分享和交流知识。但是，希望你们也能本着开源的精神，在转载的时候写明原作者和出处，请不要将版权写上来源是Linux公社，即使是Linux的GPL协议也是有版权保护的。我相信你们不会把Linux kernel源代码写上来源是Linu

linux
监控
集群
高可用
ganglia
原创 推荐 2012-03-18 00:24:43 10000+阅读 15点赞 14评论

FreeBSD下安装配置Hadoop集群(四)

前面说过了NameNode，DataNode的配置方法，这次说Secondary的配置方法。hadoop为实现高可用，支持配置失效备份的Namenode，这样当主的Namenode挂掉了之后，可以从Secondary把数据恢复回去。可以理解为Mysql的Master和Slave，但是不同的是，hadoop的Secondary不能直接当Namenode使用，更多的时候是用它当namenode的数据恢

安装
配置
FreeBSD
hadoop
HDFS
原创 2012-03-14 16:43:41 1234 阅读

HAProxy+Hive构建高可用数据挖掘集群

Hive是facebook开源的一个非常伟大的工具，可以将hadoop中的数据用sql方式进行查询，比自己写map/reduce程序要方便很多。但是在实际使用中发现hive其实不够稳定，极少数情况会出现端口不响应或者进程丢失的问题，所以考虑将hive做成负载均衡的方式。或者更严格的说，叫做失效备份，避免出现某台个别的服务器连接数过大造成的端口不响应或者服务器故障造成无法查询。前提是有2-3台服务器

集群
高可用
hadoop
haproxy
hive
原创 推荐 2012-03-12 14:23:44 10000+阅读 4点赞 5评论

FreeBSD下安装配置Hadoop集群(三)

先给自己做个广告：开源Hive管理工具phpHiveAdmin今日更新0.05 beta2ChangeLog：1. sql查询页全部重写，复杂查询现在可以用异步非阻塞的方式实时的查看map/reduce进度，简单的带limit查询，仍然采用thrift方式。2. 改变查询结果获取方式，为防止大数据导致的php内存溢出，非limit结果的数据集将直接下载，仅提供30条预览，全部数据可通过下载链接获取

配置
xml
freebsd
hadoop
node
原创 推荐 2012-03-09 19:26:06 2485 阅读 1点赞 1评论

FreeBSD下安装配置Hadoop集群(二)

上次说到FreeBSD下搭建伪分布式，很简单，但是hadoop集群入门最难的可能就是集群的搭建和配置了，配置文件复杂，概念抽象，我尽可能简单描述真实集群的搭建和配置。hadoop集群从启动进程上来说，分为四种进程，四种，不是四个。在实际应用中，通常每台服务器只启动两种进程。首先是主节点和任务跟踪器。以下统称为NameNode和JobTracker主节点在hadoop中叫namenode。负责管理调

FreeBSD
集群
Hadoop
原创 推荐 2012-03-06 18:59:06 3089 阅读 1点赞 1评论

MongoDB性能测试与Python测试代码

最近参与公司一个项目，计划对在线平台的大规模查询做到快速响应，预估数据总量大概在2-3亿条，数据库并发量大概每秒1500，一年后并发大概3000每秒，经过在Redis和mongodb之间艰难的选择之后，决定使用mongodb，主要看中其平行扩展能力和GridFS上的Map/Reduce。预估项目完成上线后，高峰时段每秒并发查询在1500-3000之间。其实我个人是比较喜欢Redis的，其并发查询能

linux
测试
freebsd
源码
mongodb
原创 推荐 2012-02-28 18:37:27 10000+阅读 3点赞 3评论

FreeBSD下安装配置Hadoop集群(一)

Hadoop其实本身是Linux下开发的应用，不过得益于虚拟机技术，也可以运行在其他平台。例如FreeBSD。不过，Linux用的好好的，为什么用FreeBSD呢？这个问题的回答其实比较复杂，基于几个方面考虑。一、磁盘IO速度其实根据我以前的评测，FreeBSD的UFS2写入速度并不如EXT4快，甚至慢很多，但是读取速度明显快于EXT4和EXT3。每读取1G的数据，基本要比EXT4快0.8-1.5

安装
配置
FreeBSD
hadoop
HDFS
原创 推荐 2012-02-23 17:58:31 7464 阅读 2点赞 3评论

Hive SQL使用和数据加载的一点总结

Hive 是facebook开源的一个基于hadoop框架的查询工具，也就是说，需要用hive的话，就要先安装hadoop。这次是小结一下最近用hive的心得，经验分享。hadoop和hive，pig，hbase的安装配置以后专门另开个连载说比较好。所以，我假设你已经有hive了。1.字段的数据类型。hive实际上为了数据挖掘的需要，对hive表的字段设置了数据类型，对于经常where的，还可以设

sql
数据
挖掘
hadoop
hive
原创 2012-02-17 16:33:28 10000+阅读 3点赞 1评论

一道数学题引发的思考

前两天同事接了一通电话，然后在部门群里提出一个在电话里对方问他的问题。有10瓶无标签试剂，其中9瓶是盐，1瓶是化学品，该化学品放入水中10分钟后会变色。且无论是否与盐放在一起都会变色。问，最少用多少瓶水可以在10分钟内找出该化学品。也就是一次相溶就需要找到化学品。在半小时内，大家给出了不同的答案，按照软件开发的方式，我将其分类如下。敏捷之道：9瓶水，这是最容易想出来也是速度最快的办法。如果其中有一

软件
开发
数学
工程
敏捷
原创 推荐 2012-02-14 13:28:37 3411 阅读 16点赞 18评论

开源项目phpHiveAdmin

抽空用php写了一个基于Hive的查询工具，公司内部使用反响比较好，胡乱填了一些东西之后，将其开源，贡献给需要的人。本项目遵循GPL3许可协议，欢迎有志者加入github共同完善。加上以公司数据组名义贡献的开源脚本easyhadoop，一键安装hadoop脚本。详细软件信息访问phpHiveAdmin 和 github 或者 googlecode安装说明1: 运行"git cl

php
开源
休闲
hive hadoop
github
原创 推荐 2012-02-06 16:13:15 8916 阅读 2点赞 17评论

php开发Hive Web查询

自己闲的没事，用php写了一个hive的查询界面，顺便把开发过程和遇到的问题记录下来。一、php Hive API的问题默认情况下，Hive本身自带的php API是不太好使的。一个是路径有问题，一个是代码本身也有问题。所以，采用thrift重新自己生成hive的php api。找到所有的thrift文件，并复制到某个路径下#cd hive#for i in `find ./ -name "*.t

php
数据
hadoop
hive
thrift
原创 推荐 2012-01-19 12:42:39 10000+阅读 2点赞 3评论

OpenBSD，FreeBSD，Linux硬盘速度对比

测试基于虚拟机，不保证在真机上的真实准确性，真实服务器只能比这个快，仅供参考而已，年前封箱文。环境：VirtualBox 4.1.8Intel i3 2100 3.1GHz 4核分配虚拟机2核，1024M内存硬盘是ST500D ATA DeviceOpenBSD 5.0 with FFSFreeBSD 9.0 with UFS2Ubuntu 11.10 server with EXT4CentOS

Linux
硬盘
速度
比较
BSD
原创 2012-01-18 14:18:04 10000+阅读 9点赞 10评论

对OpenBSD中的OSPF和BGP路由协议的探索

在开始以前，我们先提出几个问题做一下思考。什么是路由？什么是OSPF和BGP？他们是做什么用的？各自的应用场景是怎样的？OpenBSD的这俩个路由协议与硬件路由器如Cisco/Huawei的相比，优势在何处？如何用OpenBSD降低网络成本？一、什么是路由？简单的说，路由就像十字路口的指示牌，IP数据包就像路上的车，当汽车到达十字路口的时候，需要有指示牌指示方向，告诉车辆应该往哪个方向行进可以到达

ospf
路由
open
bgp
BSD
原创 推荐 2012-01-12 16:27:40 5134 阅读 6点赞 10评论

用OpenBSD和Open×××构建坚不可摧的服务器集群(一)

日前的泄密事件，体现了当前中国的网络安全状况实在令人堪忧。数据库的泄密，可能多少是因为php或者asp的代码漏洞造成的。但其本质是构建于服务器和操作系统之上。尽管现在用windows服务器的公司越来越少了，但并不代表Linux就是安全的，特别是Linux现在越来越庞大，默认安装的东西也越来越多了。很难知道到底哪个进程里包含了漏洞，挨个应用去读源码又太不现实了。所以，干脆找一个高安全性的操作系统是比

VPN
Open
网络安全
休闲
BSD
原创 推荐 2012-01-10 18:33:18 5272 阅读 4点赞 14评论

用hadoop中的libhdfs和fuse-dfs构建快速云存储

安装版本：OS版本：CentOS 5.4Hadoop版本：0.20.203.0gcc：系统默认4.1.2Jdk：1.6.0.21FUSE：2.7.4环境需求：automake，autoconf，m4，libtool，pkgconfig，fuse，fuse-devel，fuse-libs。需要外部下载ant 1.8.2，在apache网站下载即可安装过程：#wget http://mirror.bj

数据挖掘
hadoop
云存储
hdfs
fuse
原创 推荐 2011-12-28 17:57:16 10000+阅读 5点赞 3评论

基于淘宝Tengine和Scribe的WEB日志收集方案

公司在迁移hadoop到新的集群，涉及到原数据流的迁移，以前是用syslog-ng去push日志，但是配置起来比较麻烦。正好淘宝开发了一个新的tengine，拿过来尝尝鲜，正好利用其pipe功能，可以将日志发送到scribe进行汇总收集，然后就可以舍弃syslog-ng了。反正syslog也是要被Linux抛弃的。按说应该是直接把Scribe的API直接嵌套在程序中，但由于scribe是刚刚开始推

日志
淘宝
nginx
hadoop
scribe
原创 推荐 2011-12-23 19:21:20 10000+阅读 9点赞 1收藏 15评论

Linux与FreeBSD的多网卡绑定增加服务器流量

如果你觉得内网服务器一块千兆网卡已经无法满足你的交换需要，那么这篇文章或可对你有所帮助。其实以前没想过写这篇文章，缘起是前两天国内某知名视频网站约面试，出了这样一个问题：“给你一台服务器，4块千兆网卡，最大输出4G流量如何完成？”当时完成作业也没多想，过了几天部署hadoop集群也用上了，回想起来，还是写出来分享比较好。这可能是很多运维newbie目前遇到的，或者将来可能会遇到的难题。主要也是现在

Linux
绑定
FreeBSD
休闲
多网卡
原创 推荐 2011-12-16 14:42:21 4878 阅读 3点赞 1收藏 5评论

用python编写daemon监控进程并自动恢复(附Shell版)

因为hadoop集群中datanode是大量存在的，那么多机器，什么事都可能发生，最通常的大概就是进程挂掉了。所以为了省事，参考别人的代码写了这个监控进程的daemon。当然，稍加修改就可以用来监控别的必须常驻的进程。只需start，不用后面跟&或者前面加nohup。其实很多人都对进程挂掉很头疼，没事半夜得爬起来上服务器启动进程是一件非常痛苦的事情。每2秒监测一次进程，发现进程消失就重启进

进程
监控
运维
python
自动化
原创 推荐 2011-12-14 19:05:19 10000+阅读 3点赞 2评论

实例讲解hadoop中的hive查询(python语言实现)

条件，假设配置好了hadoop和hive，并可以正常运行首先，要外部查询hive，你需要安装thrift和fb303，或许有别的办法，但我实际应用过程中看来，这是最简单的途径。hive本身提供了thrift的接口。文件在hive解压缩后如下路径中hive/hive-0.7.1/src/service/if/hive_service.thrift然后复制四个文件metastore/if/hive_m

数据挖掘
休闲
python
hadoop
hive
原创 推荐 2011-12-05 16:47:51 10000+阅读 3点赞 2评论

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区