1,什么是垃圾回收机制?

垃圾回收机制(简称GC)是Python解释器自带一种机,专门用来回收不可用的变量值所占用的内存空间

2,为什么要用垃圾回收机制?

程序运行过程中会申请大量的内存空间,而对于一些无用的内存空间如果不及时清理的话会导致内存使用殆尽(内存溢出),导致程序崩溃,因此管理内存是一件重要且繁杂的事情,而python解释器自带的垃圾回收机制把程序员从繁杂的内存管理中解放出来。

3,堆区与栈区

在定义变量时,变量名与变量值都是需要存储的,分别对应内存中的两块区域:堆区与栈区。

定义了两个变量x = 10、y = 20,详解如下图,




python reduce 内存溢出 python循环内存溢出_垃圾回收机制


当我们执行x=y时,内存中的栈区与堆区变化如下


python reduce 内存溢出 python循环内存溢出_python没写循环语句为什么会栈区溢出_02


3.2直接引用与间接引用

直接引用指的是从栈区出发直接引用到的内存地址。

间接引用指的是从栈区出发引用到堆区后,再通过进一步引用才能到达的内存地址。


l2 = [20, 30]  # 列表本身被变量名l2直接引用,包含的元素被列表间接引用
x = 10  # 值10被变量名x直接引
l1 = [x, l2]  # 列表本身被变量名l1直接引用,包含的元素被列表间接引用


python reduce 内存溢出 python循环内存溢出_垃圾回收机制_03


4、垃圾回收机制原理分析

Python的GC模块主要运用了“引用计数”(reference counting)来跟踪和回收垃圾。在引用计数的基础上,还可以通过“标记-清除”(mark and sweep)解决容器对象可能产生的循环引用的问题,并且通过“分代回收”(generation collection)以空间换取时间的方式来进一步提高垃圾回收的效率。

5.1引用计数:引用计数为0就垃圾回收

引用计数就是:变量值被变量名关联的次数

如:age=18 变量值18被关联了一个变量名age,称之为引用计数为1


python reduce 内存溢出 python循环内存溢出_变量名_04


5.2标记-清除:没有标记就清除回收,可以解决循环引用带来的内存泄漏问题。

容器对象(比如:list,set,dict,class,instance)都可以包含对其他对象的引用,所以都可能产生循环引用。而“标记-清除”计数就是为了解决循环引用的问题。

标记/清除算法的做法是当应用程序可用的内存空间被耗尽的时,就会停止整个程序,然后进行两项工作,第一项则是标记,第二项则是清除


#1、标记
通俗地讲就是:
栈区相当于“根”,凡是从根出发可以访达(直接或间接引用)的,都称之为“有根之人”,有根之人当活,无根之人当死。

具体地:标记的过程其实就是,遍历所有的GC Roots对象(栈区中的所有内容或者线程都可以作为GC Roots对象),然后将所有GC Roots的对象可以直接或间接访问到的对象标记为存活的对象,其余的均为非存活对象,应该被清除。

#2、清除
清除的过程将遍历堆中所有的对象,将没有标记的对象全部清除掉。


基于上例的循环引用,当我们同时删除l1与l2时,会清理到栈区中l1与l2的内容以及直接引用关系


python reduce 内存溢出 python循环内存溢出_python reduce 内存溢出_05


这样在启用标记清除算法时,从栈区出发,没有任何一条直接或间接引用可以访达l1与l2,即l1与l2成了“无根之人”,于是l1与l2都没有被标记为存活,二者会被清理掉,这样就解决了循环引用带来的内存泄漏问题。

5.3这两种会存在效率问题,所以解决方案:分代回收

基于引用计数的回收机制,每次回收内存,都需要把所有对象的引用计数都遍历一遍,这是非常消耗时间的,于是引入了分代回收来提高回收效率,分代回收采用的是用“空间换时间”的策略。

比如,老师检查作业,第一次全部检查,第二次只检查上次没过的学生,第三次只检查前两次都不认真做作业的学生。如下图

新生代为没有检查过的,然后检查一遍,不需回收就设置权重为青春代。

青春代为检查过了 不需回收,设置权重,延长时间检查。

老年代为检查过了很多次 不需要回收 ,设置权重 ,再次延长时间检查。


python reduce 内存溢出 python循环内存溢出_python reduce 内存溢出_06


综上
垃圾回收机制是在清理垃圾&释放内存的大背景下,允许分代回收以极小部分垃圾不会被及时释放为代价,以此换取引用计数整体扫描频率的降低,从而提升其性能,这是一种以空间换时间的解决方案目录