抽空用php写了一个基于Hive的查询工具,公司内部使用反响比较好,胡乱填了一些东西之后,将其开源,贡献给需要的人。本项目遵循GPL3许可协议,欢迎有志者加入github共同完善。加上以公司数据组名义贡献的开源脚本easyhadoop,一键安装hadoop脚本。详细软件信息访问phpHiveAdmin 和 github 或者 googlecode安装说明1: 运行"git cl
推荐 原创 2012-02-06 16:13:15
9133阅读
2点赞
17评论
从2012-01-29开始提交到github开始算,现在phpHiveAdmin已经开发了接近两个月。很多是业余时间在写,上班也会写写,但主要工作还是维护hadoop集群,hive集群,跟各部门的数据需求进行对接和偶尔编写一些map/reduce脚本,其实map/reduce脚本写的已经少了,大部分都是我的同事在写。帮我分担了不少工作压力,很感谢他们,也很感谢我的上级,全力支持我做这么一个公司项目
推荐 原创 2012-03-24 01:58:47
5831阅读
6点赞
8评论
2012-04-14,在北航主南203,第二次easyhadoop开发者聚会核心主题:Hadoop高可用和性能调优和Hadoop相关软件发布. 网站:www.easyhadoop.com EasyHadoop 交流群:930869301.Hadoop 国内外应用,带EasyHadoop v2.0 介绍 [暴风-xiaojun] 2.Hadoop系统监控和Hive负载均衡,带phpHive
原创 2012-04-15 02:07:52
2833阅读
2点赞
1评论
该整理一下phpHiveAdmin好玩的知识点了。   访问Hive接口有thrift,这没有太多可说的,只要调用封装好的方法就行了。之前因为Socket的阻塞问题,经常会发生Hive接口读取超时,修改一下Thrift里面的TSocket.php就好了。修改方法参看之前的php开发Hive web查询,跟网上的其他相关文章还是略有区别。   数据库的管理方面主要就是获取
推荐 原创 2012-11-26 20:47:22
4422阅读
2点赞
2评论
一、用户的查询和管理需求通过浏览器提交给phpHiveAdmin。二、phpHiveAdmin将HQL请求发送给HAproxy负载的Hive server集群。三、phpHiveAdmin读取Metadata的数据,注意这里是只读,并不存在对Metadata的读写。因为元数据非常重要,涉及到底层数据的正确性,所以不能随意修改。四、phpHiveAdmin目前可以通过Fuse-DFS的方式浏览HDF
原创 2012-03-27 18:54:38
3234阅读
phpHiveAdmin之后,推出第二个开源项目:EasyHadoop。和phpHiveAdmin一样,EasyHadoop也是个为懒惰而生的项目。简而言之,就是在一个网页上对Hadoop集群进行安装,重启,修改配置文件,查看log等功能。后续还会加入hive,hbase,pig之类的。当然,Cloudera Manager是个不错的选择,不过一旦集群数量超过50,当然仍然可以使用hadoop,
推荐 原创 2012-09-04 20:53:49
7648阅读
10点赞
17评论
1Q: 是否有像类似于phpmyadmin一样的hive查询客户端,能以界面的方式查询hive语句和导出数据A: 有的,客户端的话可以使用squirrel来连接hive,squirrel是一个通用的数据库查询客户端,还有有一个开源项目phphiveadmin也不错,web方式访问hive,这里也有一个hive web client(https://github.com/lalaguozhe/hiv
转载 2024-03-10 23:01:30
57阅读
    之前一直用phpHiveAdmin,也一直在关注hue,最近打算调研一下hue,hue在最近两年发展很快,页面效果和功能上都有很大程度的提升,所支持的服务也越来越多,除了hive,hbase,目前还支持sqoop,impala,pig等。    hue的一个大致架构如下图所示   &nbsp
原创 2014-07-03 17:06:55
5427阅读
2点赞
3评论
1Q: 是否有像类似于phpmyadmin一样的hive查询客户端,能以界面的方式查询hive语句和导出数据A: 有的,客户端的话可以使用squirrel来连接hive,squirrel是一个通用的数据库查询客户端,还有有一个开源项目phphiveadmin也不错,web方式访问hive,这里也有一个hive web client(https://github.com/lalaguozhe/hi
    之前一直用phpHiveAdmin,也一直在关注hue,最近打算调研一下hue,hue在最近两年发展很快,页面效果和功能上都有很大程度的提升,所支持的服务也越来越多,除了hive,hbase,目前还支持sqoop,impala,pig等。    hue的一个大致架构如下图所示   &nbsp
转载 2024-07-23 08:56:38
59阅读
先给自己做个广告:开源Hive管理工具phpHiveAdmin今日更新0.05 beta2ChangeLog:1. sql查询页全部重写,复杂查询现在可以用异步非阻塞的方式实时的查看map/reduce进度,简单的带limit查询,仍然采用thrift方式。2. 改变查询结果获取方式,为防止大数据导致的php内存溢出,非limit结果的数据集将直接下载,仅提供30条预览,全部数据可通过下载链接获取
推荐 原创 2012-03-09 19:26:06
2602阅读
1点赞
1评论
2012年11月7日去杭州参加了阿里云开发者大赛,凭借EasyHadoop和phpHiveAdmin十分幸运的从数千名参赛者中脱颖而出获得了二等奖中的最佳创意奖。之前是一个同事告诉我,阿里云在搞开发者大赛,于是就报名参加了一下。之后再也没有上去看过,直到有一天,突然接到阿里云打来的电话,说我的作品成功入围20强,问我是否有时间去杭州参加颁奖,于是就订了11月7日赴杭州的机票。这里不得不说,阿里云的
推荐 原创 2012-11-12 17:35:13
4745阅读
17点赞
20评论