在训练深度学习模型时,我遇到了这个bug
CUDA out of memory
这个bug意思就是显存不足,有两种办法可以解决。
1、杀死线程
具体操作可参见
杀死GPU线程
2、减小batch-size
这个比较容易修改
batch-size即每次读进显存的数据(批)数量
例如,我之前的batch-size为12,导致显存不足,修改为8,顺利运行。
当然,这样修改也会导致训练速度变慢,因此具备一块好显卡是很有必要的。
在训练深度学习模型时,我遇到了这个bug
CUDA out of memory
这个bug意思就是显存不足,有两种办法可以解决。
1、杀死线程
具体操作可参见
杀死GPU线程
2、减小batch-size
这个比较容易修改
batch-size即每次读进显存的数据(批)数量
例如,我之前的batch-size为12,导致显存不足,修改为8,顺利运行。
当然,这样修改也会导致训练速度变慢,因此具备一块好显卡是很有必要的。
pytorch,CUDA是否可用,查看显卡显存剩余容量
大多数LLM应用都具有对话功能,如聊天机器人,记住先前的交互非常关键。对话的重要一环是能够引用之前提及的信息,这些信息需要进行存储,因此将这种存储过去交互信息的能力称为记忆 ( Memory )。
OR
模型常见报错RuntimeError: CUDA out of memory,可以尝试多种解决方案
举报文章
请选择举报类型
补充说明
0/200
上传截图
格式支持JPEG/PNG/JPG,图片不超过1.9M