MIKE老毕的海贼船-51CTO博客

原创 95
翻译 0
转载 1

分享：

全部

MIKE老毕发布于：2013-10-01 00:06:07
0

一个存疑的Hive Case——MapRedTask Slow 线上Hadoop做压缩格式更新，默认的从GZip转到Snappy，并重启了HDFS/MAPREDUCE集群，突然发现一个Hive Script Job从原来的12分钟缩短到4分钟并稳定跑了2天，并且该Job agent Server上的所有Hive Script Job的运行时间都缩短了；首先分析变更前后两天Job的MAPREDUCE日志，发现MAPREDUCE只变快了4分钟（因为Snappy的低

原创

阅读 181

评论 0

收藏 0
MIKE老毕发布于：2013-09-26 13:00:50
0

Hive partition prune的一个Bug 昨天跑了一个Hive查询发现启动的MAP数远远多于预期，很奇怪；查询可以简单抽象如下：比如有一个表t的分区键dt string；查询select count(*) from t where dt=20130926;是哪里出了问题呢？首先看一下执行计划果然发现问题了：首先出现了：expr: (dt = 2.0130926E7)type: boolean其次partition values是dt 和_

原创

阅读 222

评论 0

收藏 0
MIKE老毕发布于：2013-09-26 12:34:27
0

Hive 强制指定分区键最近在做Hive的查询平台，需要考虑的比较多，其中一点就是对于分区表要限制用户的查询量，主要是要用户必须指定分区键.一开始的想法步子比较大就是做HQL解析，不过由于项目周期压力暂缓，这时发现了一个参数：hive.partition.pruning（https://issues.apache.org/jira/browse/HADOOP-4345）不过不能高兴的太早，CDH4.2.0的Hive并没有

原创

阅读 337

评论 0

收藏 0
MIKE老毕发布于：2013-09-26 08:50:22
0

Datanode heartbeat timeout 早晨看到报警发现2个dead Datanode，查看系统日志发现当时的负载持续高位导致datanode超时没有发送心跳被DatanodeManager摘除，进一步发现高负载是因为一个Job的小文件太多而没有进行map file合并导致在这2台节点上同时起的MAP太多导致的，解决方法参考：http://boylook.blog.51cto.com/7934327/1298651这里主要看看Heart

原创

阅读 162

评论 0

收藏 0
MIKE老毕发布于：2013-09-25 11:38:15
0

Hive 新特性：Bypass Mapreduce 正在搞的Hive查询平台给每一个Query打了tag，想试试看效果如果发现竟然没有数据流入；原来发现Hive里面做了一个改进：https://issues.apache.org/jira/browse/HIVE-887https://issues.apache.org/jira/browse/HIVE-2925 对于简单的查询不会走mapreduce而是直接在文件层面过滤，由于bypass了map

原创

阅读 90

评论 0

收藏 0
MIKE老毕发布于：2013-09-24 14:23:35
2

一个简单的HQL优化线上做Job迁移：从GP迁移到Hadoop，发现有些Job原来跑了2-3分钟到Hadoop上跑到10分钟左右，这样的话会影响到迁移的效果；一个明显的Query如下： Insertinto table_big partition(dt=today) select xxx from table_hour_incrementala,table_big b where a.id=b.id and b.dt

原创

阅读 347

评论 2

收藏 0
MIKE老毕发布于：2013-09-23 14:04:36
0

Editlog与FileChannel Log的Group Commit 前阶段看Hadoop源码看到editlog部分，和flume file-channel的logfile部分注意到一个相同之处：Groupcommit.其实最早接触这个概念是在MySQL写redo log（注：binlog group commit在mariadb/procona是支持的，或者mysqlsync_binlog=0；细节移步：http://kristiannielsen.livejou

原创

阅读 125

评论 0

收藏 0
MIKE老毕发布于：2013-09-23 01:01:45
0

Kafka consumer rebalance解析线上使用Kafka0.72+Flume-ng 1.4的消息架构；流入到HDFS使用的Flume根据容量分析使用率太低了，决定从8个实例缩减到4个实例，在down实例的过程中的消息流入量per sec如下图：这个Kafka的Topic共有10个partitions；在down实例的时候发生了一些抖动，不过是十分有规律并且可以预测的.kafka的rebalance assigment是固定的；将par

原创

阅读 4584

评论 0

收藏 0
MIKE老毕发布于：2013-09-22 11:56:05
0

Cobar AsynchronousCloseException Cobar在测试的时候看到日志里会报很多如下的错误：java.nio.channels.AsynchronousCloseException atjava.nio.channels.spi.AbstractInterruptibleChannel.end at sun.nio.ch.SocketChannelImpl.read atcom.alibaba.cobar.net.Abstract

原创

阅读 339

评论 0

收藏 0
MIKE老毕发布于：2013-09-22 00:57:10
0

关于Redis的复制 partitial resync Redis本身的复制是不稳定的，当slave超时后会执行一次resync，会导致master即使在未开持久化的情况下执行bgsave，并将snapshot发送到slave后建立复制流；那么在这种情况下比较推荐的拓扑就是链式复制，而不是一对多，否则当网络环境抖动时会对master产生很大的负载以及网卡压力；Redis关于partitial resync还在测试当中，据说2.8会release，不会按

原创

阅读 245

评论 0

收藏 0
MIKE老毕发布于：2013-09-21 23:46:27
2

利用rrdcached优化ganglia IO 线上Hadoop集群使用ganglia监控非常方便集成，不过ganglia的gmetad节点存在High IO问题；ganglia是使用rrd来存储数据的，这样的话监控一个稍微上规模的集群每次更新rrd也会产生大量的离散IO，造成磁盘100% busy；好在使用的rrdtool是1.4.x版本，支持rrdcached，其原理细节：http://linux.die.net/man/1/rrdcach

原创

阅读 1505

评论 3

收藏 0
MIKE老毕发布于：2013-09-21 23:32:10
0

理解overcommit_memory Redis在启动的时候会报如下WARNING：WARNING overcommit_memory is set to 0! Background save may failunder low memory condition.To fix this issue add 'vm.overcommit_memory = 1'to /etc/sysctl.conf and then reboot or

原创

阅读 411

评论 0

收藏 0
MIKE老毕发布于：2013-09-21 23:13:16
1

mysql count(*)空表为何会很慢 Count(*)一个“空表”为什么会很慢呢？只有几十行数据为什么select xxx from table limit 1需要300ms？select min(pk) fromtable也会慢？见下例：dba@localhost : test 18:14:32> show create table test_hmw\G*************************** 1. row **

原创

阅读 950

评论 0

收藏 0
MIKE老毕发布于：2013-09-21 21:27:42
0

Sqoop commit failure 线上一个Sqoop抽取Job报如下错误：[ERROR]: Utils - Caused by: java.sql.SQLException: Communicationslink failure during commit(). Transaction resolution unknown.[ERROR]: Utils - at com.mysql.jdbc.Connection.commit(C

原创

阅读 234

评论 0

收藏 0
MIKE老毕发布于：2013-09-19 10:37:14
0

JobTracker Memory Leak 前阶段发生过两次JT（CDH4.2.0） OOM的问题，导致ETL过程出错；由于是刚接手的集群参数大多是默认的，修改了JT的JVM参数相关的CMS，同时减小了retireJob的interval和cachesize看看是否奏效.发现过了三天又开始报警了，查看监控看到Old gen一直在涨根本释放不掉,估计是memory leak，做个内存dump分析吧（10GB的heap size），做了两次du

原创

阅读 247

评论 0

收藏 0
MIKE老毕发布于：2013-09-18 16:55:21
0

有last_modified_time就万无一失了吗线上MySQl增量ETL由于源表没有last_modified_time（timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP），加起来比较有难度（online ddl虽然有工具，不过这些表是比较核心的表并且超过300GB）；因此在从库启用了触发器，来记录PK以及对应的modified_time(记录事务的

原创

阅读 351

评论 0

收藏 0
MIKE老毕发布于：2013-09-18 15:57:03
0

一次“诡异的”QPS翻倍在做MySQL升级从5.0.49升级到5.1.68之后，发现QPS翻倍了；在review了所有域的应用之后，结论是应用的QPS基本没变，那这诡异的QPS是哪来的呢？后来发现在5.0的时候querycache是打开的，而升级后由于这个库读写比基本差距不大并且原来的QC命中率低于20%就把QC关了，而querycache hit是不算在com_select里的，因此闹了一个乌龙：）QC hit:

原创

阅读 113

评论 0

收藏 0
MIKE老毕发布于：2013-09-18 15:44:59
0

MySQL 的一种特殊的死锁回顾一下线上数据库(5.1.68)的CASE，高峰期的时候出现了大量的thread_running,发现基本上线程处于deadlock状态，涉及到的只有一张表，并且只有一行:table a(`id` smallint(5) unsigned NOT NULL DEFAULT'0',`key` varchar(32) NOT NULL,`value` varchar(32) NOT NULL,`ti

原创

阅读 320

评论 0

收藏 0
MIKE老毕发布于：2013-09-18 15:02:52
0

Memcached 雪崩处理 Memcached经常用来做为cache挡在db前抗读的压力，而这种用法通常有个问题需要解决就是雪崩，一种方式就类似于oracle里的read by other session的方式给target加一个latch：1.利用memcache加key的方式mutex key：http://timyang.net/programming/memcache-mutex/2.利用gearman ：http:

原创

阅读 782

评论 0

收藏 0
MIKE老毕发布于：2013-09-18 12:26:33
0

减少HQL 的MAP数接上文http://boylook.blog.51cto.com/7934327/1298637说下遇到的另外一个CASE：在排查一个线上问题的过程中发现callqueue这几天出现了spike：继续查看发现最近的waiting_maps数和spike非常match进而通过grace定位到了一个具体业务的Hive清洗Job：发现这个Hive表A有大量的小文件（最大的才16MB），这个表A是通过对一

原创

阅读 192

评论 0

收藏 0

首页
上一页
1
2
3
4
5
下一页
末页
共96条记录

MIKE老毕作者

分享到朋友圈

共96篇文章

喜欢我的文章，请分享到朋友圈

作者个人信息

关注技术：Java 数据结构与算法 Mysql
无忧币：1649
注册日期：2013-09-18 4.6年

七日热门

最近来访

写文章