最近 DBA 反馈线上的一个 Redis 资源已经超过了预先设计时的容量，并且已经进行了两次扩容，内存增长还在持续中，希望业务方排查一下容量增长是否正常，若正常则期望重新评估资源的使用情况，若不正常请尽快查明问题并给出解决方案进行处理。问题现象下面是当时资源容量使用和 key 数量的监控情况： 从监控可以看出，6.1 号开始容量和 keys 的增长陡增。首先怀疑是有恶意刷
转载
2024-04-19 20:24:47
36阅读
由于直接使用临时表来创建中间表，其速度不如人意，因而就有了把临时表建成内存表的想法。但内存表和临时表的区别且并不熟悉，需要查找资料了。一开始以为临时表是创建后存在，当连接断开时临时表就会被删除，即临时表是存在于磁盘上的。而实际操作中发现临时表创建后去目录下查看发现并没有发现对应的临时表文件(未断开链接).因而猜测临时表的数据和结构都是存放在内存中，而不是在磁盘中.这样一想内存表不是也是存在在内存中
转载
2024-07-04 18:34:15
25阅读
前言： 服务端通常需要支持高并发业务访问，如何设计优秀的服务端网络IO工作线程/进程模型对业务的高并发访问需求起着至关重要的核心作用。 本文总结了了不同场景下的多种网络IO线程/进程模型，并给出了各种模型的优缺点及其性能优化方法，非常适合服务端开发、中间件开发、数据库开发等开发人员借鉴。1. 线程模型一. 单线程网络IO复用模型 说明：1. 所有网络IO事件(accept
批量处理JDBC语句提高处理速度。 当需要成批插入或者更新记录时。可以采用Java的批量更新机制，这一机制允许多条语句一次性提交给数据库批量处理。 通常情况下比单独提交处理更有效率lJDBC的批量处理语句包括下面两个方法: &
原创
2014-11-18 19:27:16
1518阅读
点赞
iostat -k -d -x 1 10日志刷新过多设置（0最快1最慢）
可以修改以下 mysql 参数
innodb_flush_log_at_trx_commit=2设置数据批量写入
修改 mysql 参数：
innodb_write_io_threads=8( 根据机器核数
innodb_io_capacity=2000 (ssd 盘改大 )若临时表过大，设置临时表参数
查看临时表大小
S
原创
2023-11-01 16:38:30
113阅读
一、内存占用高是正常现象吗？ 在Linux中经常发现空闲内存很少，似乎所有的内存都被系统占用了，表面感觉是内存不够用了，其实不然。这是Linux内存管理的一个优秀特性，在这方面，区别于 Windows的内存管理。主要特点是，无论物理内存有多大，Linux都将其充份利用，将一些程序调用过的硬盘数据读入内存，利用内存读写的高速特性
原创
2019-01-25 11:50:07
10000+阅读
点赞
主体思路：服务器端：服务器上线、在zookeeper创建 临时的序列化结点客户端：已启动getchildren效果：客户端能动态感知服务器上下线情况、并获取新的服务器列表服务器端源码：package com.zn.zk1;
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.WatchedEvent;
impor
有的时候JDBC运行的不够理想，这就促使我们写一些与特定数据库相关的存储过程。作为一个替换方案，不妨试一下Statement的批处理特征，看看一次执行所有的SQL语句是否会带来速度的提升。存储过程最简单的形式就是整个过程只包含一组SQL语句。将这些语句放到一起能容易管理也可以提高运行速度。Statement类具有包含一串SQL语句的能力，因此它允许所有的SQL语句在一个数据库会话中被执行，从
原创
2014-10-21 22:27:46
113阅读
# MySQL占用过高处理
## 引言
MySQL作为一种关系型数据库管理系统，在大多数企业和应用程序中扮演着重要角色。然而，随着数据量的增加和并发请求的增多，MySQL服务器的资源占用可能会变得过高，从而导致性能问题和用户体验下降。本文将讨论如何识别和处理MySQL的高占用问题，并提供一些代码示例来帮助开发者优化数据库性能。
## MySQL高占用的常见原因
在处理高占用问题之前，我们需
有的时候JDBC运行的不够理想，这就促使我们写一些与特定数据库相关的存储过程。作为一个替换方案，不妨试一下Statement的批处理特征，看看一次执行所有的SQL语句是否会带来速度的提升。 存储过程最简单的形式就是整个过程只包含一组SQL语句。将这些语句放到一起能容易管理也可以提高运行速度。Statement类具有包含一串SQL语句的能力，因此它允许所有的SQL语句在一个数据
转载
精选
2011-09-20 14:10:07
754阅读
# 如何处理mongodb cpu占用过高问题
## 一、流程概述
下面是处理“mongodb cpu占用过高”问题的流程：
| 步骤 | 操作 |
| -------- | ------------------- |
| 1 | 监控CPU使用率 |
| 2 | 分析CPU占用原因 |
| 3 | 优化查询和
原创
2024-05-08 05:44:54
719阅读
代码优化的目标是：1、减小代码的体积 2、提高代码运行的效率代码优化细节1、尽量指定类、方法的final修饰符 带有final修饰符的类是不可派生的。在Java核心API中，有许多应用final的例子，例如java.lang.String，整个类都是final的。为类指定final修饰符可以让类不可以被继承，为方法指定final修饰符可以让方法不可以被重写。如果指定了一个类为final，则该类
转载
2023-07-20 17:02:05
8阅读
问题：上周发现系统大量TIME_WAIT，系统负载load很高500左右 检查cpu、内存、磁盘io正常
查看TPC连接数1W左右
netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
处理：
进行内核优化
net.ipv4.tcp_fin_timeout = 30
net.ipv
原创
2012-09-10 10:49:02
4076阅读
点赞
1评论
内存淘汰机制 Redis有过期策略，假如你的Redis只能存1G的数据，你一个请求写入2G，而你也没有及时请求key，那么惰性删除就不生效了，Redis占用内存就会越来越高。Redis可以设置内存大小：maxmemory 100mb，超过了这个内存大小，就会触发内存淘汰机制；配置：在redis.conf 配置文件中，可以设置淘汰方式：maxmemory-policy noevicti
转载
2023-07-07 14:21:14
84阅读
1、redis是内存版的数据库，如果内存存储满了，怎么办？方案一、内存淘汰策略：采用lru策略Least recently used
淘汰最近最少使用的缓存。
我们可以通过配置redis.conf中的maxmemory这个值来开启内存淘汰功
能，至于这个值有什么意义，我们可以通过了解内存淘汰的过程来理解它的意义：
1.客户端发起了需要申请更多内存的命令（如set）。
2.Redis检查内
转载
2023-06-14 17:19:04
467阅读
一、 内存碎片率 mem_fragmentation_ratio = used_memory_rss / used_memory used_memory ：Redis使用其分配器分配的内存大小 used_memory_rss ：操作系统分配给Redis实例的内存大小，表示该进程所占物理内存的大小 两者包括了实际缓存占用的内存和Redis自身运行所占用的内存，used_memory_rss指标还包含
转载
2023-07-10 22:47:00
244阅读
方案一：业务拆分可以按照项目的业务模块来拆分，一个业务使用一个Redis或多个业务使用一个Redis 缺点：不能处理业务不能拆分的情况方案二：Hash取模准备一个Hash算法，对Key进行Hash计算，这个Hash值对Redis的个数计算取余，放到对应的Redis里 缺点：取余的结果是固定的，如果再加Redis会导致所有数据洗牌方案三：随机存入将数据随机放入Redis中，把多个Redis当做MQ来
转载
2023-05-25 14:48:05
111阅读
Centos7 cache/buff过高处理方法 当linux运行久点，会产生很多不必要的cache或者buff,导致占用太多的内存，其实这可以手动去释放它。[root@DD-Server-9F ~]# free total used free shared buff/cache availableMem: 807
转载
2020-03-21 19:14:00
168阅读
2评论
一、操作系统SWAPswap空间对于操作系统来说比较重要，当我们使用操作系统的时候，如果系统内存不足，常常会将一部分内存数据页进行swap操作，以解决临时的内存困境。swap空间由磁盘提供，对于高并发场景下，swap空间的使用会严重降低系统性能，因为它引入了磁盘IO操作。redis作为内存数据库，如果redis对应的内存发生了swap，那么redis的性能会受到极大的影响。二、Redis为什么会触
转载
2023-08-06 10:01:46
110阅读
Centos7 cache/buff过高处理方法
原创
2018-07-26 10:09:59
10000+阅读
点赞
