1. 每次查询的数据要有限制
2013年1月 产品独立数据库,由于多条SQL每次查询数据超过几千条,有些超过10万条数据未分页,造成应用服务器CPU有时持续100%。
2. 禁止循环调用SQL
2011年5月 程序调用Sys_User查询,每分钟执行超过3千次,造成服务器CPU持续100%
3. 禁止使用递归方法调用SQL;
方法内如出现数据异常,极易造成查询死循环
4. 禁止每次写入大量数据
2011年7月 深圳库导入订单的存储过程中加入一条insert语句,每次insert超过100万条,几个小时将深圳数据库服务器磁盘写满,业务无法运行
5. 禁止在事务中使用循环加入缓存;
2011年4月 批量更新Sys_user用户后,又在事务里循环加入缓存,造成事务运行太长,严重影响系统性能。
6. 必须在语句的具体字段要明确列出
2011年3月 查询Product表数据,每次查询出全部字段,包括不需要的产品详细描述信息,造成系统网卡流量暴高。
7. 禁止使用业务逻辑大的事务
2011年4月开始,前台客户最长等待需要超过30S完成下单,查询发现下单整个操作包在一个巨大的事务中,严重影响客户下单。
8. 禁止使用SQL游标Cursor;
游标使用不当,会严重影响系统性能
9. Select查询放到事务外
2011年6月 某条insert语句很慢,检查发现取表的Sequence语句放在insert的事务里,在高并发下,失败率很高。
10 禁止一次删除大量数据
2012年11月 Customer_LoginLog表由于前台写入暴增,造成当天数据超过1500万条,SQL归档执行了6个小时未删除完,影响业务操作超过6个小时。
11,禁止主键删除再新建
2016年,Coupon表数据,有1亿多条数据,查看其主键有大量碎片,当时不想用online的方式重建,还是想先删除,后创建。因为当时是早上4点多,开发人员说基本没人使用,
就没有影响,就先删除主键,结果删除后,没想到系统有大量查询coupon的请求,而主键没有,数据库运行很慢,kill后一直有,后来没办法,禁用这个连coupon表的账户,等主键创建
成功后,再启用账户
12,禁止用系统登录触发器
2017年9月,因为黑客攻击,想在数据库做个监控,对凌晨1-7点间登录数据库的做个监控,用了SQL Server的系统登录触发器,记录登录信息,结果触发器先建好,记录信息的表没有建,导致
登录触发器审计失败,这个失败导致,其他用户登录时也会触发这个系统登录触发器,也报登录失败,登录不了,自己试了其他4台备机,也都登录不了,前台,后台和wms程序全部报错,查了
网上资料也没找到合适的方法,程序一直在报错,这时突然发现,已经登录同步实时从库(8.10),虽然不能登录,但是他已经登录了,这时我看,可以使用,我这时立刻删除刚建的触发器,执行
AlwaysON切换,把数据库从主库切到实时备库。
经历了20多分钟的重大事故终于解决。事后发现有2个解决办法,1,备份master库,出现异常时还原master库 2,CMD最小化登录数据库删除触发器
我这边发现就是还有一个登录好的实时备库,进去删除。
因为这20多分钟经历太痛苦,一直不想去模拟2种处理方案,因为后续也不会用登录系统触发器。
13,MySQL的从库Offline模式
2020年9月 , 清理异常数据,重设为online模式
14,MySQL的内核bug,导致十几从库回放binlog报错
2020年9月 , 把主库的MySQL的binlog改成ROW模式,设置成FULL
15, 云Redis,突然被云商下调带宽到正常,导致带宽打满
扩容Redis的带宽
16,云Redis,晚上6点开始,CPU持续80%左右
关闭和重启异常的IP的程序
17,云Redis的内存持续增长
在key里加上日期,key不停增长,内存暴涨,删除无用的key,同时修改程序
18,云Redis的CPU高峰期,CPU突破60%
查询最耗时的命令,将hget命令一次取一个,改成mget命令一次取多个key,CPU下降
19,MySQL高并发曝高,JAVA网关冲曝
原查询redis改到MySQL,业务高峰导致MySQL的CPU曝高后,程序有3次重试,大量连接冲击网关,网关假死,线上程序大面积故障
将大量的查询改到Redis,同时去掉程序的show columns from 表的命令
20,MySQL从库一直延迟
凌晨大量的更新数据,从库有简单SQL查询导致延迟很大,批量kill掉卡住的SQL,不延迟后提升从库内存从32G升级到64G