51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2024年软考 PMP项目管理 软考资讯
在线学习
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号

FreeBSD下安装配置Hadoop集群(Hive)

接以前hadoop安装的文章，Hive是什么就不介绍了，网上一大堆。主要介绍在FreeBSD下的安装配置和跟Linux的异同以及几种Metastore的配置方式。   Hive在FreeBSD的安装配置上，跟Linux的差别不是很大，主要要注意一个shell的问题，FreeBSD下默认是没有bash的，所以需要先安装一个bash上去才可以正常的使用Hive。  

安装
配置
设置
FreeBSD
Hive
原创 推荐 2012-03-30 19:58:03 3851 阅读 2点赞 2评论

phpHiveAdmin是如何通过Hive/Hadoop工作的

一、用户的查询和管理需求通过浏览器提交给phpHiveAdmin。二、phpHiveAdmin将HQL请求发送给HAproxy负载的Hive server集群。三、phpHiveAdmin读取Metadata的数据，注意这里是只读，并不存在对Metadata的读写。因为元数据非常重要，涉及到底层数据的正确性，所以不能随意修改。四、phpHiveAdmin目前可以通过Fuse-DFS的方式浏览HDF

云计算
hadoop
hive
架构图
phpHiveAdmin
原创 2012-03-27 18:54:38 2964 阅读

phpHiveAdmin开发两个月记录

从2012-01-29开始提交到github开始算，现在phpHiveAdmin已经开发了接近两个月。很多是业余时间在写，上班也会写写，但主要工作还是维护hadoop集群，hive集群，跟各部门的数据需求进行对接和偶尔编写一些map/reduce脚本，其实map/reduce脚本写的已经少了，大部分都是我的同事在写。帮我分担了不少工作压力，很感谢他们，也很感谢我的上级，全力支持我做这么一个公司项目

php
记录
admin
漫谈
hive
原创 推荐 2012-03-24 01:58:47 5741 阅读 6点赞 8评论

Ganglia汇总监控搭建和配置详解

致linuxidc.com和linuxso.com与其他复制粘贴的编辑，我作为一个开源世界的爱好者和贡献者，本着开源的精神，并不反对你们转载我的文章，既然写出来就是想与大家分享和交流知识。但是，希望你们也能本着开源的精神，在转载的时候写明原作者和出处，请不要将版权写上来源是Linux公社，即使是Linux的GPL协议也是有版权保护的。我相信你们不会把Linux kernel源代码写上来源是Linu

linux
监控
集群
高可用
ganglia
原创 推荐 2012-03-18 00:24:43 10000+阅读 15点赞 14评论

FreeBSD下安装配置Hadoop集群(四)

前面说过了NameNode，DataNode的配置方法，这次说Secondary的配置方法。hadoop为实现高可用，支持配置失效备份的Namenode，这样当主的Namenode挂掉了之后，可以从Secondary把数据恢复回去。可以理解为Mysql的Master和Slave，但是不同的是，hadoop的Secondary不能直接当Namenode使用，更多的时候是用它当namenode的数据恢

安装
配置
FreeBSD
hadoop
HDFS
原创 2012-03-14 16:43:41 1234 阅读

HAProxy+Hive构建高可用数据挖掘集群

Hive是facebook开源的一个非常伟大的工具，可以将hadoop中的数据用sql方式进行查询，比自己写map/reduce程序要方便很多。但是在实际使用中发现hive其实不够稳定，极少数情况会出现端口不响应或者进程丢失的问题，所以考虑将hive做成负载均衡的方式。或者更严格的说，叫做失效备份，避免出现某台个别的服务器连接数过大造成的端口不响应或者服务器故障造成无法查询。前提是有2-3台服务器

集群
高可用
hadoop
haproxy
hive
原创 推荐 2012-03-12 14:23:44 10000+阅读 4点赞 5评论

FreeBSD下安装配置Hadoop集群(三)

先给自己做个广告：开源Hive管理工具phpHiveAdmin今日更新0.05 beta2ChangeLog：1. sql查询页全部重写，复杂查询现在可以用异步非阻塞的方式实时的查看map/reduce进度，简单的带limit查询，仍然采用thrift方式。2. 改变查询结果获取方式，为防止大数据导致的php内存溢出，非limit结果的数据集将直接下载，仅提供30条预览，全部数据可通过下载链接获取

配置
xml
freebsd
hadoop
node
原创 推荐 2012-03-09 19:26:06 2485 阅读 1点赞 1评论

FreeBSD下安装配置Hadoop集群(二)

上次说到FreeBSD下搭建伪分布式，很简单，但是hadoop集群入门最难的可能就是集群的搭建和配置了，配置文件复杂，概念抽象，我尽可能简单描述真实集群的搭建和配置。hadoop集群从启动进程上来说，分为四种进程，四种，不是四个。在实际应用中，通常每台服务器只启动两种进程。首先是主节点和任务跟踪器。以下统称为NameNode和JobTracker主节点在hadoop中叫namenode。负责管理调

FreeBSD
集群
Hadoop
原创 推荐 2012-03-06 18:59:06 3089 阅读 1点赞 1评论

Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯 汽车开发者社区