java怎么刷cpu java线上cpu飙升

转载

gjnet 2023-10-24 06:48:51

文章标签 java怎么刷cpu 应用线上CPU占用过高排查 java应用线上CPU占用过高缓存线程池 文章分类 Java 后端开发

昨天去了grafa 线上的监控看了看项目突然发现cpu达到了70% （好久没关注）然后开启了排查

现象图如下

java怎么刷cpu java线上cpu飙升_线程池

这个项目没有其他的很耗时的操作没有大量计算而且接口数量以及并发数量均没有很大怀疑有异常本来想着从grafa 监控中看下最近几个月 CPU使用率的变化可惜因为数据量太大线上没有保留这么长时间

出问题后临时的解决方案

加大堆内存之前1g 后来加到2g 问题并未解决反而出来内存占用大于90%的告警
之前怀疑是skywalking 引起的CPU过高（后面才上线的）新建临时服务节点下掉了skywalking CPU过高问题还是存在

开始进行深度代码排查

申请线上跳板机只读权限略
进行操作

#1.获取到pods  
kubectl get pods 
#2.进入到容器 
kubectl exec -it 容器名 bash

执行top 然后 M

java怎么刷cpu java线上cpu飙升_缓存_02

占用CPU最大的进程pid为然后查询进程中消耗CPU最大线程
top -H -p 1

java怎么刷cpu java线上cpu飙升_java怎么刷cpu_03

可以看到进程中占用CPU最大的线程ID为49
将线程ID转化为16进制（0x开头）
printf “0x%x\n” 49
16进制的线程ID 0x31
查询线程的栈信息并匹配该线程ID 同时向下打印30行并将匹配到的值染色
jstack 1 | grep 0x31 -A 30 --color

可以看到直接定位到了关键的代码行数我们来看业务代码

//等待被更新的缓存map
private static final Map<Long, Integer> userCacheMap = new ConcurrentHashMap<>();
//可用线程数
private static final Integer availableProcessors = Runtime.getRuntime().availableProcessors();
//任务执行线程池
private static final ThreadPoolExecutor EXECUTOR = new ThreadPoolExecutor(availableProcessors, availableProcessors + 1, 3, TimeUnit.MINUTES, new ArrayBlockingQueue<Runnable>(1024), new ThreadFactory() {
		@Override
		public Thread newThread(Runnable r) {
			return new Thread(r, "定时任务执行线程");
		}
	});
	
private class TaskThread extends Thread implements Runnable {
	@Override
	public void run() {
		for (; ; ) {
			//死循环 遍历map 存在数据进行处理 每处理一个数据 remove
			Iterator<Map.Entry<Long, Integer>> iterator = userCacheMap.entrySet().iterator();
			while (iterator.hasNext()) {
				Map.Entry<Long, Integer> next = iterator.next();
				Long userId = next.getKey();
				Integer expireTime = next.getValue();
				//丢入任务到线程池子
				EXECUTOR.execute(new Task(userId, expireTime));
				//任务数量
				long taskCount = EXECUTOR.getTaskCount();
				//完成任务数量
				long completedTaskCount = EXECUTOR.getCompletedTaskCount();
				//存活数量
				int activeCount = EXECUTOR.getActiveCount();
				LogUtil.info(log, LogUtil.LogType.INFO, "CacheUserServiceImpl.EXECUTOR",
						"存活数量: {},任务数量: {},完成任务数量: {}", activeCount, taskCount, completedTaskCount);
				iterator.remove();
			}

		}
	}
}

复盘下当时的设计方案