文章目录
- 自动内存管理
- 概念
- 自动内存管理-相关概念:
- 追踪垃圾回收:
- 分代GC(Generational GC)
- 引用计数
- 内存分配
- Go内存分配-分块
- Go内存分配——多级缓存
- Go内存管理优化
- Balanced GC
自动内存管理
概念
1.动态内存
程序在运行时根据需求动态分配的内存:malloc()
2.自动内存管理(垃圾回收):由程序语言的运行时系统回收动态内存
避免手动内存管理,专注于实现业务逻辑
保证内存使用的正确性和安全性:double-free problem,use-after-free problem
3.三个任务
为新对象分配空间
找到存活对象
回收死亡对象的内存空间
自动内存管理-相关概念:
Mutator:业务线程,分配新对象,修改对象指向关系
Collector:GC线程,找到存活对象,回收死亡对象的内存空间
Serial GC:只有一个collector
Parallel GC:支持多个collectors同时回收的GC算法
Concurrent GC:mutator(s)和collector(s)可以同时执行
collectors必须感知对象指向关系的改变
评价GC算法
1.安全性:不能回收存活对象(基本要求)
2.吞吐率:1-(GC时间)/程序执行总时间花在GC上的时间
3.暂停时间:业务是否感知
4.内存开销:GC元数据开销
两种常见的GC技术:
1.追踪垃圾回收
2.引用计数
追踪垃圾回收:
对象被回收的条件:指针指向关系不可达的对象
步骤(根据对象的生命周期,使用不同的标记和清理策略):
1.标记根对象
静态变量、全局变量、常量、线程栈等
2.标记可达对象
求指针指向关系的传递闭包:从根对象出发,找到所有可达对象
3.清理所有不可达对象
将存活对象复制到另外的内存空间(Copying GC)
将死亡对象的内存标记为“可分配” (Mark-sweep GC)
移动并整理存活对象 (Mark-compact GC)
如何选择策略:
分代GC(Generational GC)
分代假说(Generational hypothesis):most objects die young
Intuition:很多对象在分配出来后很快就不再使用了
每个对象都有年龄:经历过GC的次数
目的:对年轻和老年的对象,制定不同的GC策略,降低整体内存管理的开销
不同年龄的对象处于heap的不同区域
年轻代(Young generation)
常规的对象分配
由于存活对象很少,可以采用copying collection
GC吞吐率很高
老年代(Old generation)
对象趋向于一直活着,反复重复开销较大
可以采用mark-sweep collection
引用计数
每个对象都有一个与之关联的引用数目
对象存活的条件:当且仅当引用数大于0
优点:
内存管理的操作被平摊到程序执行过程中
内存管理不需要了解runtime的实现细节:c++智能指针
缺点:
维护引用计数的开销较大:通过原子操作保证对引用计数操作的原子性和可见性
无法回收环形数据结构
内存开销:每个对象都引入了额外内存空间存储引用数目
回收内存时依然可能引发暂停
内存分配
Go内存分配-分块
目标:为对象在heap上分配内存
提前将内存分块
1.调用系统调用mmap()向OS申请一大块内存,例如4MB
2.先将内存划分成大块,例如8KB,称作mspan
3.再将大块继续划分成特定大小的小块,用于对象分配
4.noscan mspan:分配不包含指针的对象——GC不需要扫描
5.scan mspan:分配包含指针的对象——GC需要扫描
对象分配:根据对象的大小,选择最合适的块返回
Go内存分配——多级缓存
TCMalloc:Thread caching
每个p包含一个mcache用于快速分配,用于为绑定于p上的g分配对象
mcache管理一组mspan
当mcache中的mspan分配完毕,向mcentral申请带有未分配块的mspan
当mspan中没有分配的对象,mspan会被缓存在mcentral中,而不是立刻释放并归还给OS
Go内存管理优化
1.对象分配是非常高频的操作:每秒分配GB级别的内存
2.小对象占比较高
3.内存分配比较耗时
分配路径长:g->m->p->mcache->mspan->memory block->return pointer
pprof:对象分配的函数是最频繁调用的函数之一
Balanced GC
每个g都绑定一大块内存(1KB),称作goroutine allocation buffer(GAB)
GAB用于noscan类型的小对象分配:<128B
使用三个指针维护GAB:base,end,top
Bump pointer(指针碰撞)风格对象分配
无须和其他分配请求互斥
分配动作简单高效
注意:
1.GAB对于Go内存管理来说是一个大对象
2.本质:将多个小对象的分配合并成一次大对象的分配
3.问题:GAB的对象分配方式会导致内存被延迟释放
问题的解决方案:移动GAB中存活的对象
当GAB总大小超过一定阈值时,将GAB中存活的对象复制到另外分配的GAB中
原先的GAB可以释放,避免内存泄漏
本质:用copying GC的算法管理小对象