记录一些Hive的优化点，和能够提升的效率差异。Hive是目前应用最多最广的SQL on Hadoop工具，近期很多专业的大数据公司推出了很多新的，基于列式或者内存热数据的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中，淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些，大概95%以上
前两天因为集群网段问题，登录管理不便，hivefans就在集群的一台服务器上搭了一个openvpn的server。遇到了一些问题，记录一下。他只搭了一台openvpn，并没有在集群的其他服务器上安装ovpn，他想完成的目标是将集群的内网网段通过ovpn做路由，通过公司可以访问外部机房集群的内网地址。集群的内网地址是192.168.1.0 mask 255.255.0.0，ovpn的server地址
昨天同事遇到一个hadoop故障，找了半天没看出问题，问到我这里，花了一会解决了一下，估计这是我给暴风的集群解决的最后的故障了，以后就不定给谁解决问题去了。只截下来了Namenode的报错Log，Datanode的刷屏刷过去了，不过都差不多。2013-09-03 18:11:44,021 WARN org.apache.hadoop.hdfs.StateChange: BLOCK* NameSys
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
