【线上问题】线上故障分析-故障分级，原因，分类，混沌工程，排除方法

原创

后端研发Marion 2022-11-06 00:21:39 ©著作权

文章标签 线上故障故障分析 log日志 文章分类 虚拟化云计算

©著作权归作者所有：来自51CTO博客作者后端研发Marion的原创作品，请联系作者获取转载授权，否则将追究法律责任

参考资料

因为一行Log日志导致的线上P1事故_xiangzhihong8的博客-

线上故障分析-故障分级，原因，分类，混沌工程，排除方法_架构_Ybb_studyRecord-DevPress官方社区

上一篇：【低危漏洞修复】Tomcat服务器版本号泄露-低危漏洞修复

下一篇：【代码覆盖率】JAVA好用的代码覆盖率工具有哪些？

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

线上生成问题排查

1、Gateway隔离问题导致CPU高负载多个服务请求报错。查看监控，一个服务产生大量请求，占用了gateway大部分CPU资源，其他服务请求占用很少，其他服务经常报错。添加机器，gateway进行隔离。每个模块服务应当隔离，各占固定的gateway资源，相互不影响。2、Gateway服务报错下发单子时，经常会有一些单子下发不下来，业务日志也没有。查看gateway日志时，发现报错信息。搜索资料，

死锁 sql mysql gateway 生产问题
IDC服务器故障排除思路

一、维修前准备1、工具准备笔记本电脑、拆机工具、DOS系统引导U盘、U盘Linux系统、万用表（主板或不开机故障）、防静电手环、网线、散热硅胶等。2、备件准备硬盘、内存、CPU、主板、电源模块等备件二、常规检查在不拆机、不断电的情况下检查故障服务器1、检查开机状态下服务器指示灯是否正常2、检查有无明显异味、有无明显异响3、检查外观有无明显磕碰、变形等物理损伤4、检查电源线、电源开关是否正常5、登录

服务器最小化 log日志
【故障排除】Docker启动Nacos报错:No DataSource set 问题解决

Nacos报错内容：Nacos Server did not start because dumpservice bean construction failure : No DataSource set

Java Docker Nacos 微服务注册中心
线上故障排查

线上故障排查完整套路 - 从 CPU、磁盘、内存、网络、GC CPU 磁盘内存 GC问题网络线上故障主要会包括cpu、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。同时例如jstack、jmap等工具也是不囿于一个方面的问题的，基

服务端 java 客户端全连接内存泄漏
快速处理线上故障！

概述线上故障通常是指大规模的影响线上服务可用性的问题或者事件，通俗点讲就是：掉‘坑’里了，这个‘坑’就是线上故障！线上故障的处理过程可以形象地表达为：‘踩坑’、‘跳坑’、‘填坑’、‘避坑’。线上故障的处理不仅是一项技术活，更是对技术人员/技术团队反应能力、决策能力、判定能力、组织能力的考验。面对突发的生产故障，需要快速定位问题，找到解决方案，快速实施解决方案并不是一件容易的事情。本文主要包括如下内

解决方案动物可靠性优先级稳定性
JVM 线上故障排查

Linux，关注的是四个元素：内存，cpu，存储，网络。Linux1.1 CPU1.2 内存1.3 存储使用df -h查看系统磁盘使用概况lsblk 列出块设备信息du 查看目录或者文件大小1.4 网络一、CPU 飚高如何定位问题呢？思路：首先找到 CPU 飚高的那个 Java 进程，因为你的服务器会有多个 JVM 进程。然后找到那个进程中的 “问题线程”，最后根据线程堆栈信息找到问题代码。最后对

JVM
线上故障处理原则

墨菲定律任何事情都没有表面看起来那么简单所有事情的发展都会比你预计的时间长会出错的事情总会出错如果担心某个事

响应时间消息队列数据库
Java线上故障排查

Java线上故障主要会包括 CPU、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。同时例如 jstack、jmap 等工具也是不囿于一个方面的问题的，基本上出问题就是 df、free、top 三连，然后依次 jstack、jmap 伺候，具体问题具体分析。

内存溢出服务端 java
线上 Java 应用各种线上故障，如何应对？

作者：飒然Hang https://www.rowkey.me/blog/2018/11/22/online debug/ 线上运行的Java应用突然没有响应、响应缓慢，进程突然消失，遇到这些情况应该如何应对呢？推荐去我的博客阅读更多： 1. "Java JVM、集合、多线程、新特性系列教程" 2

Java
排查Java线上服务故障的方法和实例分析

前言作为在线系统负责人或者是一个技术专家，你可能刚刚接手一个项目就需要处理紧急故障，或者被要求帮忙处理一些紧急的故障，这个时候的情景是：你可能对这个业务仅仅是听说过，而不怎么真正了解；你可能没有这个故障的详细信息，比如可能仅仅是有使用方反馈服务中断了10分钟；你对代码细节还没有仔细研究过。这个时候该怎么解决问题呢？根据以前的经验，工程师们常常倾向于直接登上服务器检查代码，试图立

回滚服务器缓存性能监控检查和
技术实践｜线上故障分析及解决方法（下）

线上故障通常是指大规模的影响线上服务可用性的问题或者事件，而对于线上故障的处理不仅是一项技术活，更是对技术人员/技术团队应急反应能力的考验。本文主要从线上故障的分类、应对思路、出现原因等方面入手，总结一些经验和问题解决方法，以求与各位同仁探讨交流。五、分析思路■　根据日志输出的异常信息定位问题，需要区分Tomcat中的catalina.out（标准输出和错误）和iocalhost.xx.log（应

数据堆内存初始化
java排除线上问题

# Java排除线上问题的流程作为一名经验丰富的开发者，我将指导你如何排除Java线上问题。下面是整个流程的步骤表格。| 步骤 | 任务 || -------- | -------- || 步骤一 | 确认问题 || 步骤二 | 收集信息 || 步骤三 | 分析问题 || 步骤四 | 解决问题 || 步骤五 | 验证修复 |接下来，我将详细介绍每个步骤需要做的事情，以及相应

开发者 Java java
如何快速处理线上故障

最近想总结这块，网上搜索到的，写的不错，有需求的朋友可以看下、学习总结下如何快速处理线上故障http://www.cnblogs.com/daoqidelv/p/6785372.html#_label1http://www.jianshu.com/p/08eae8ad08ac

如何快速处理线上故障
技术实践｜线上故障分析及解决方法（上）

线上故障通常是指大规模的影响线上服务可用性的问题或者事件，而对于线上故障的处理不仅是一项技术活，更是对技术人员/技术团队应急反应能力的考验。本文主要从线上故障的分类、应对思路、出现原因等方面入手，总结一些经验和问题解决方法，以求与各位同仁探讨交流。一、在线故障分类■　意料之外的错误、无响应或响应缓慢■　服务中，影响用户体验■　不能停机或大面积停机■　需要尽快修复二、应对思路根据经验来分析，如果应急

java 服务器堆栈
无线上网奇怪故障

笔记本+联通无线上网。安全卫士360查出rojan/win32.delf.qh的木马。删除，可是出现一个问题，查杀后无线上网程序删除，不能上网。每次都需要再重新安装一次。不知何原因。

网络故障上网无线休闲
故障排除方法

排除网络故障主要有三种方法：自下而上法自上而下法分治法每种方法各有利弊。本主题介绍这三种方法，并提供针对具体故障情况选择最佳方法的原则。自下而上故障排除法采用自下而上故障排除法时，首先检查网络的物理组件，然后沿 OSI 模型各层的顺序向上排查，直到查明故障原因。怀疑网络故障是物理故障

故障职场方法休闲 bbc12000
java线上故障分享 java线上问题定位

本文主要是以常见的线上问题进行模拟，然后介绍定位问题的方法。1.环境准备：基础环境 jdk1.8，采用 SpringBoot 框架来写几个接口来触发模拟场景，首先是模拟 CPU 占满情况2.问题列举2.1 cpu占用率较高模拟cpu占用率较高，实现方法较简单，用一个死循环占用cpu计算即可。代码模拟：/** * 模拟CPU占满 */ @GetMapping("/cpu/

java线上故障分享 java 线上问题排查内存泄漏堆内存
线上故障如何排查

前言说起线上故障，程序员应该都经历过，从故障处理恢复过程中我们能快速提高。踩坑多了，慢慢也就成了大牛。这道题也是大厂的面试官们特别喜欢问的问题之一，从候选人对这道题的回答过程中...

面试 java 重启回滚 sql
java线上故障排查工具有哪些 java线上问题定位

一个线上的问题是如何从定位到解决的?设计埋点埋点就是你要监控啥，你必须在程序开启时设置一些参数来辅助监控，例如把日志输出到哪里，便于另外的监控系统监控。例如 -XX:+PrintGCDetails -Xloggc:/home/xx.log 形成的LOG文件启动参数nohup java ${DEBUG_OPTS} ${JAVA_OPTS} -jar ${WORK_DIR}/abc-1.0-relea

java线上故障排查工具有哪些线上问题物理内存堆栈 jar
java线上诊断工具 java 线上故障排查

线上故障主要会包括 cpu、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。同时例如 jstack 、jmap 等工具也是不囿于一个方面的问题的，基本上出问题就是 df、free、top 三连，然后依次 jstack、jmap 伺候，具体问题具体分析即可。CPU一般来讲我们首先会排查cpu方面的问题。 cpu异常往往还是比较好定位的。

java线上诊断工具定位网络队列 jvm
基于Android的便签的设计与实现

当我们在安卓手机上寻找一个实用而便捷的便签App时，常常被众多选择所困扰，在安卓手机应用商店中搜索关于“便签APP”，相信大家会轻而易举地找到很多款便签工具，如若想寻找一个功能全面且易用、好用的便签工具，今天给大家推荐关注下敬业签这一款工具。当繁忙的工作或者生活中，突然穿插过来一件重要的事情，这件事情需要我们记录时以便后续进行提醒，大家可以打开手机上的便签APP，快捷的新增备忘事项，以便这一款便签

基于Android的便签的设计与实现智能手机安卓手机好用搜索
spring mvc 开放接口

从一个Hello World入门Spring MVC　　Spring MVC是Spring 为展现层提供的基于 MVC 设计理念的优秀的Web 框架，是目前最主流的 MVC 框架之一。Spring MVC 通过一套 MVC 注解，让 POJO 成为处理请求的控制器，而无须实现任何接口。　　Spring MVC采用了松散耦合可插拔组件结构，比其他 MVC 框架更具扩展性和灵活性。同时，Sprin

spring mvc 开放接口 spring MVC xml
李宏毅机器学习2023

【李宏毅】元学习（Meta learning）的概念与步骤1 概念2 元学习步骤2.1 定义一组学习算法2.2 评价一个学习算法 F F

李宏毅机器学习2023 学习机器学习人工智能小样本学习
android studio 版本号哪里改

1. 安装Git／CVS第一步首先你需要安装Git／CVS等版本管理工具，这个请自行百度2. 新建一个本地空仓库新建一个仓库叫GitTest仓库现在是空的什么都没有找到路径，然后复制路径（这步很重要）3. 新建AS项目项目创建完毕，这个时候我们可以看到AS提示我们配置仓库的提示，我们接下来配置一下git就OK了4. 配置Git首先我们观察一下，所有的文件以都是正常的颜色［白色］好的我们首先开始配置

github git 版本管理工具
es各个版本的区别

昨天看了几篇ES7.X版本的博客，自己也实验了一波，包括各种beat，es,kibana等，现总结如下：安装包变大了，ES从30M左右变成了300M左右，原因是es内置了JDK11?(可能是因为elastic的人晓得目前绝大多数开发使用的是JDK8，干脆帮我们内置JDK11算了)，并默认集成了xpack；kibana也默认集成了xpack,kibana并且增加了很多功能，但是新增的那

es各个版本的区别 elasticsearch 性能提升 elastic

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯