菜菜光的博客_bigdata

hadoop jetty的应用

在hadoop中很多地方都用到了servlet，并且使用jetty作为servlet的容器来提供http的服务，其主要是通过org.apache.hadoop.http.HttpServer类实现的，HttpServer类是对Jetty的简单封装，通过调用HttpServer类的addServlet方法增加可以实现增加servlet到jetty的功能： publ

hadoop jetty

原创推荐 2014-12-22 21:57:20 4286 阅读

屏蔽storm ui的kill功能

今天有个storm的topology被人kill掉了，但是找不到是谁做的，storm的ui有kill topology的功能，但是没有权限验证，这样就导致知道ui地址的任何人都可以kill掉topology，比较危险，考虑把这个action disable掉。有两种方法：1.前端增加nginx，做location分析ui页面，对应kill的button，html中的action为：&

disable

storm ui

原创推荐 2014-09-23 21:55:20 9144 阅读 1点赞 1收藏

hbase java sample

通过HBaseAdmin维护表（创建，删除表）import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.

sample

java

hbase

原创 2014-07-08 23:34:24 3367 阅读

impala集成kerberos问题一例

最近在折腾hadoop+kerberos，由于线上使用的组件比较多，遇到不少问题，记录下来，碰到同样问题的同学可以参考下。在hdfs+mapred+kerberos运行正常后，开始尝试集成impala.其中statestore的参数：export IMPALA_STATE_STORE_ARGS=${IMPALA_STATE_STORE_ARGS:- -log_dir=${IMPALA_LOG_DI

impala kerberos

原创推荐 2014-03-21 23:05:20 10000+阅读 1点赞 2评论

mysql explain的bug

最近在做hadoop集群的容量数据，主要依据zabbix的监控数据，因为要计算impala的内存使用情况，就使用了下面的sqlselect a.host,avg(b.value) from (select a.host,b.itemid,b.key_ from hosts a,items b where a.hostid=b.hostid and a.host like '%hadoop-data

mysql

bug

explain

原创推荐 2014-03-07 13:40:22 1438 阅读

impala 1.2.3升级遇到的问题

升级impala 1.2.3时遇到的一些问题，记录下。1.catalog默认的jvm参数问题catalog启动一段时间后，报"OutOfMemoryError: GC overhead limit exceeded"错误/var/run/impala/hs_err_pidxxxx.log file: The java heap info:HeapPSYoungGen &n

impala 1.2.3

原创 2014-02-18 18:14:41 6691 阅读

impala1.2.3 udf问题

新的impala已经支持udf了，在测试环境部署了1.2.3版本的cluster.在运行测试udf时遇到下面这个错误：java.lang.IllegalArgumentException （表明向方法传递了一个不合法或不正确的参数。）经过确认这是一个bug:https://issues.cloudera.org/browse/IMPALA-791The currently impala 1.2.3

impala udf

原创 2014-02-14 22:18:43 2436 阅读

impala常见错误小结

线上使用impala做一部分的nginx日志实时计算，简单记录下在使用过程中遇到的一些小问题：部署常见问题：1.mysql jar错误Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "DBCP" plugin to create a ConnectionPool gave an error

impala 错误小结

原创 2014-01-28 15:31:50 10000+阅读 1评论

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

菜光光的博客