linux清dubbo缓存

转载

mob64ca1400133b 2024-10-18 11:53:45

文章标签 linux清dubbo缓存缓存应用程序 sed 文章分类 运维

Linux内存介绍

在Linux中经常发现空闲内存很少，似乎所有的内存都被系统占用了，表面感觉是内存不够用了，其实不然。这是Linux内存管理的一个优秀特性，在这方面，区别于Windows的内存管理。主要特点是，无论物理内存有多大，Linux都将其充份利用，将一些程序调用过的硬盘数据读入内存，利用内存读写的高速特性来提高Linux系统的数据访问性能。而Windows是只在需要内存时，才为应用程序分配内存，并不能充分利用大容量的内存空间。换句话说，每增加一些物理内存，Linux都将能充分利用起来，发挥了硬件投资带来的好处，而Windows只将其做为摆设，即使增加8GB甚至更大。
Linux 的这一特性，主要是利用空闲的物理内存，划分出一部份空间，做为 cache 和 buffers，以此提高数据访问性能。
页高速缓存(cache)是Linux内核实现的一种主要磁盘缓存。它主要用来减少对磁盘的I/O操作。具体地讲，是通过把磁盘中的数据缓存到物理内存中，把对磁盘的访问变为对物理内存的访问。
磁盘高速缓存的价值在于两个方面：

第一，访问磁盘的速度要远远低于访问内存的速度，因此，从内存访问数据比从磁盘访问速度更快。
第二，数据一旦被访问，就很有可能在短期内再次被访问到。

Linux的内存分配方式

大家都知道，Linux服务器为了提高效率，会提前申请内存，即使这些内存没有被具体应用使用，Linux也会提前申请这些内存，然后利用这些内存做缓存用，即将刚打开的文件系统存入cache中，这样对应的服务器free值会越来越少，buffers和cached会越来越大，因此给大家表象就是内存越来越少了，大家就紧张了;其实，大家完全不用紧张，Linux服务器在发现内存不足时，会自动清理cached区域，释放内存，然后继续增大cache，free继续减少。因此，那样手动降低内存使用率的方法，其实就是图一时之快。

清缓存

用下面的方法就可以实现清空缓存

频繁的文件访问会导致系统的Cache使用量大增

首先使用free -m查看剩余内存

[root@oracle ~]# free -m
               total       used       free     shared    buffers     cached
Mem:           3383       3319         63          0         97       2395
-/+ buffers/cache         826         2556
Swap:          1983       195       1788

total 内存总数
used 已经使用的内存数
free 空闲的内存数
shared 多个进程共享的内存总额
Buffers/cached:磁盘缓存的大小

第三行(-+ buffers /cached):used已使用多少， free可用有多少。

第二行和第三行（used/free)的区别。这两个的区别在于使用的角度来看，第二行是从OS的角度来看，因为对于OS，buffers/cached都属于被使用，所以它的使用情况是内核（OS）使用+Application使用+ buffers+cached

第三行所指的是从应用程序角度来看，对于应用程序来说，buffers/cached是等于可用的内存，因为buffers/cached是为了提高文件读取的性能，当应用程序需要用到内存的时候，buffer/cached会很快的被回收。

-buffers/cache = used-buffers-cached，这个是应用程序真实使用的内存大小

free+buffers+cached，这个是服务器真实还可利用的内存大小

说明，释放前最好sync一下，防止丢数据。

使用方式 : sync
使用说明 : Linux 系统中欲写入硬盘的资料有的时候会了效率起见，会写到 filesystem buffer 中，这个 buffer 是一块记忆体空间，如果欲写入硬盘的资料存于此 buffer 中，而系统又突然断电的话，那么资料就会流失了，sync 指令会将存于 buffer 中的资料强制写入硬盘中。

[root@Oracle ~]# echo 1 > /proc/sys/vm/drop_caches
[root@oracle ~]# sysctl -p
[root@oracle ~]# free -m
             total       used       free     shared    buffers     cached
Mem:          3383       1952       1431          0          1       1136
-/+ buffers/cache:        814       2568
Swap:         1983        195       1788

说明：

/proc是一个虚拟文件系统，我们可以通过对它的读写操作作为与kernel实体间进行通信的一种手段。也就是说可以通过修改/proc中的文件，来对当前kernel的行为做出调整。也就是说我们可以通过调整/proc/sys/vm/drop_caches来释放内存。

0 – 不释放
1 – 释放页缓存,数字1是用来清空最近放问过的文件页面缓存
2 – 释放dentries和inodes,数字2是用来清空文件节点缓存和目录项缓存
3 – 释放所有缓存,数字3是用来清空1和2所有内容的缓存。

关于drop_caches的官方说明如下：
Writing to this file causes the kernel to drop clean caches,dentries and inodes from memory, causing that memory to becomefree.

To free pagecache, use echo 1 > /proc/sys/vm/drop_caches;
to free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches;
to free pagecache, dentries and inodes, use echo 3 >/proc/sys/vm/drop_caches.

Because this is a non-destructive operation and dirty objects are not freeable, the user should run sync first.

Linux内核会将它最近访问过的文件页面缓存在内存中一段时间，这个文件缓存被称为pagecache。Inode是linux/unix操作系统中的一种数据结构，包含了各文件相关的一些重要信息。在创建文件系统时，就会同时创建大量的inode。一般inode表会占用文件系统磁盘空间的1%。

echo 1 > /proc/sys/vm/drop_caches 可以暂时清空cache和buffer
在rhel5和ubuntu上(rhel4不可以),可以直接修改内核文件
# /etc/sysctl.conf
vm.drop_caches = 1
#sysctl -p 
$ sync
$ free -m
             total       used       free     shared    buffers     cached
Mem:         32096      30084       2011          0        590      26162
-/+ buffers/cache:       3332      28764
Swap:        34287          0      34287
#echo 3 > /proc/sys/vm/drop_caches
$free -m

查看内存额定值：cat /proc/meminfo，当可用内存少于额定值的时候，就会开始就进行缓存的回收。
查看内存镜像文件的大小 /proc/kcore
机器内存的使用信息 /proc/meminfo
显示当前进程所占用的虚拟地址 /proc/进程ID/maps

/proc/进程ID/statm包含了所有CPU活跃的信息，该文件中的所有值都是从系统启动开始累计到当前时刻。

参数解释 /proc/ /status

Size (pages) 任务虚拟地址空间的大小 VmSize/4
Resident(pages) 应用程序正在使用的物理内存的大小 VmRSS/4
Shared(pages) 共享页数 0
Trs(pages) 程序所拥有的可执行虚拟内存的大小 VmExe/4
Lrs(pages) 被映像到任务的虚拟内存空间的库的大小 VmLib/4
Drs(pages) 程序数据段和用户态的栈的大小（VmData+ VmStk ）4
dt(pages) 0

man 5 proc, 搜statm。从左到右依次内容为:

size 程序大小
resident 常驻内存空间大小
share 共享内存页数
text 代码段占用内存页数
lib 引用库占用内存页数
data 数据/堆栈段占用内存页数
dt 脏页数量

PROC系列之—/proc/pid/stat

包含了所有CPU活跃的信息，该文件中的所有值都是从系统启动开始累计到当前时刻。

[root@localhost ~]# cat /proc/6873/stat
6873 (a.out) R 6723 6873 6723 34819 6873 8388608 77 0 0 0 41958 31 0 0 25 0 3 0 5882654 1409024 56 4294967295 134512640 134513720 3215579040 0 2097798 0 0 0 0 0 0 0 17 0 0 0 
[root@localhost ~]#

每个参数意思为：

pid=6873 进程(包括轻量级进程，即线程)号
comm=a.out 应用程序或命令的名字
task_state=R 任务的状态，R:runnign, S:sleeping (TASK_INTERRUPTIBLE), D:disk sleep (TASK_UNINTERRUPTIBLE), T: stopped, T:tracing stop,Z:zombie, X:dead
ppid=6723 父进程ID
pgid=6873 线程组号
sid=6723 c该任务所在的会话组ID
tty_nr=34819(pts/3)该任务的tty终端的设备号，INT（34817/256）=主设备号，（34817-主设备号）=次设备号
tty_pgrp=6873 终端的进程组号，当前运行在该任务所在终端的前台任务(包括shell 应用程序)的PID。
task->flags=8388608 进程标志位，查看该任务的特性
min_flt=77 该任务不需要从硬盘拷数据而发生的缺页（次缺页）的次数
cmin_flt=0 累计的该任务的所有的waited-for进程曾经发生的次缺页的次数目
maj_flt=0 该任务需要从硬盘拷数据而发生的缺页（主缺页）的次数
cmaj_flt=0 累计的该任务的所有的waited-for进程曾经发生的主缺页的次数目
utime=1587 该任务在用户态运行的时间，单位为jiffies
stime=1 该任务在核心态运行的时间，单位为jiffies
cutime=0 累计的该任务的所有的waited-for进程曾经在用户态运行的时间，单位为jiffies
cstime=0 累计的该任务的所有的waited-for进程曾经在核心态运行的时间，单位为jiffie
priority=25 任务的动态优先级
nice=0 任务的静态优先级
num_threads=3 该任务所在的线程组里线程的个数
it_real_value=0 由于计时间隔导致的下一个 SIGALRM 发送进程的时延，以 jiffy 为单位.
start_time=5882654 该任务启动的时间，单位为jiffies
vsize=1409024（page）该任务的虚拟地址空间大小
rss=56(page) 该任务当前驻留物理地址空间的大小Number of pages the process has in real memory,minu 3 for administrative purpose.这些页可能用于代码，数据和栈。
rlim=4294967295（bytes）该任务能驻留物理地址空间的最大值
start_code=134512640 该任务在虚拟地址空间的代码段的起始地址
end_code=134513720 该任务在虚拟地址空间的代码段的结束地址
start_stack=3215579040 该任务在虚拟地址空间的栈的结束地址
kstkesp=0 esp(32 位堆栈指针) 的当前值, 与在进程的内核堆栈页得到的一致.
kstkeip=2097798 指向将要执行的指令的指针, EIP(32 位指令指针)的当前值.
pendingsig=0 待处理信号的位图，记录发送给进程的普通信号
block_sig=0 阻塞信号的位图
sigign=0 忽略的信号的位图
sigcatch=082985 被俘获的信号的位图
wchan=0 如果该进程是睡眠状态，该值给出调度的调用点
nswap 被swapped的页数，当前没用
cnswap 所有子进程被swapped的页数的和，当前没用
exit_signal=17 该进程结束时，向父进程所发送的信号
task_cpu(task)=0 运行在哪个CPU上
task_rt_priority=0 实时进程的相对优先级别
task_policy=0 进程的调度策略，0=非实时进程，1=FIFO实时进程；2=RR实时进程