上一篇介绍了ESXi内存分配原理,本篇重点讲一下超分情况下,出现内存竞争时,VMkernel如何进行内存回收的。
如上图所示,当内存超分时,就可能出现虚拟机内存的竞争,VMkernel在处理竞争的时候就会根据虚拟机设置的资源控制参数(预留,限制,份额)进行内存回收,优先回收free的内存,其次回收idle的内存,最后有可能回收到虚拟机的active内存,这个时候虚拟机的性能就会受到影响。
VMkernel的内存回收主要有以下四种:
- TPS(Transparent Page Sharing,透明页面共享)
- Balloon Driver(气球驱动)
- Memory Compression(内存压缩)
- Swap File(交换文件)
另外,还有一种是Host Swap Cache,当产生虚拟机内存交换时,会优先利用Cache资源从而避免用到虚拟机交换文件(.vswp)而产生严重的性能下降,当Cache空间写满时,内存交换就会用到常规的虚拟机交换文件(.vswp),但是该功能需要在主机上配置本地的SSD,默认是没有这个功能的。以上四种是VMkernel会根据内存的紧张程度依次触发。下边我们来重点描述以下这四种内存回收机制:
TPS(Transparent Page Sharing,透明页面共享)
首先解释一下什么是透明页面,指的是内容相同的内存页面,如下图的a, b, c, TPS会把内容相同的页面删掉,只保留一份共享,类似存储的去重技术。这样就可以节省内存资源,但是默认情况下,intra-VM(虚拟机内部)的TPS是打开的,如下图的a和c,inter-VM(虚拟机之间)的TPS是关闭的,如下图的b,考虑到安全因素。但是管理员可以通过参数设置(salt value)启用虚拟机之间的TPS。
在虚拟机的vmx配置文件里可以是设置sched.mem.pshare.salt,同时主机也可以设置参数Mem.ShareForceSalting(可以设置为0,1,2),对应场景如下:
- Mem.ShareForceSalting=0
所有虚拟机的salt value都是0,同一主机上所有虚拟机之间都开启TPS。 - Mem.ShareForceSalting=1
当设置sched.mem.pshare.salt时,该参数值相同的虚拟机之间启用TPS。没有设置该虚拟机参数时,所有虚拟机的salt value都是0,同一主机上所有虚拟机之间都开启TPS。 - Mem.ShareForceSalting=2
当设置sched.mem.pshare.salt时,该参数值相同的虚拟机之间启用TPS。没有设置该虚拟机参数时,所有虚拟机之间都禁用TPS。
补充一下,由于现代的操作系统为了提高内存的访问效率,都会采用2MB的大内存页面,但是ESXi如果针对2MB的大内存页面进行TPS,那么具有相同数据的内存页面几率就会很小,所以TPS会在某一个阈值触发内存页面的拆分,把2MB的内存页面拆分成4KB大小,这样TPS会更大程度节省内存资源。
Balloon Driver(气球驱动)
气球驱动是虚拟机VMware Tools里的一个驱动程序(vmmemctl),全名叫做内存释放驱动程序,当主机的内存紧张时,该驱动程序就会回收虚拟机的内存资源,VMkernel就会对回收回来的内存进行重分配,气球驱动优先回收虚拟机的free内存和闲置内存(Idle),最终有可能回收到虚拟机的活动内存(Active)。被气球驱动回收的内存会通过OS内的交换空间进行交换,比如Windows的虚拟内存(pagefile)。如下图所示:
当虚拟机的活动内存被回收了,活动内存运行在OS的交换空间里,那么虚拟机的性能就会受到影响。
默认情况下,主机通过气球驱动对虚拟机的内存回收比率是65%,也就是最多回收虚拟机分配内存的65%,比如虚拟机分配2GB的内存,气球驱动只能最多回收1.3GB。但是这个比率是可以通过主机参数Mem.CtlMaxPercent更改的,如果设置为0,主机将会对所有虚拟机禁用气球驱动。最大可以设置为99%。
ESXi Shell中可以执行以下命令查看某个参数的默认值以及可设置范围:
同时,每个虚拟机也可以设置参数sched.mem.maxmemctl,用来限制这个虚拟机被气球驱动回收的最大值(MB)。默认是-1(unlimited)。如果主机仍然需要回收更多的内存,虚拟机就会强制用到交换文件。
Memory Compression(内存压缩)
当内存竞争到一定程度时,VMkernel就会把虚拟机的内存页面压缩后存放在内存的缓存中,(4KB的内存页面压缩成2KB或者更小),这样既可以节省内存资源,又可以避免过早使用交换文件,从而减小性能的影响。
默认情况下,每个虚拟机分配内存的10%会被压缩,可以通过主机参数Mem.MemZipMaxPct修改比率,设置范围是5%~100%。但也可以禁用内存压缩功能,将主机参数Mem.MemZipEnable由1改为0即可。
Swap File(交换文件)
当内存非常紧张时,最后一个没有办法的办法就是VMkernel会通过每个虚拟机的交换文件(.vswp)进行内存回收,该交换文件默认存在虚拟机的文件夹中,在虚拟机开机时候产生,关机时候自动删除。大小等于虚拟机分配内存大小减去预留值(默认为0,由管理员设置),如果预留值实时更改了,那么交换文件的大小需要虚拟机重启后才会更改生效。
以上就是关于ESXi对内存进行回收的详细原理,这四个回收机制由VMkernel根据主机内存的紧张程度依次触发,触发点是个动态的阈值,由主机参数Mem.MemMinFreePct 决定,主机内存的状态在监控时也会分为High, clear, soft, hard 和 low,这几个状态会决定VMkernel采用哪种回收机制来进行内存回收。