Pytorch——distributed单机多卡分布式训练

文章目录

• ​​部分配置推荐​​
• ​​分布式代码模板​​
• ​​实际运行效果​​
• ​​多卡训练的模型，单卡环境评估或使用​​

代码参考：

• ​​pytorch单机多卡并行训练​​
• ​​Distribution is all you need​​

讲解参考：

• ​​Pytorch多机多卡分布式训练​​

报错解决参考：

• ​​pytorch使用过程中的报错收集（持续更新…）​​

部分配置推荐

• ​​Dataloader​​：

• ​​number_worker​​：CPU核数的一半（​​8​​​核CPU的​​number_worker​​​为​​4​​）
• ​​pin_mode​​：内存大的情况下可以开启

分布式代码模板

• ​​Github链接​​

实际运行效果

训练拉满，基本能达到单卡的三倍：

多卡训练的模型，单卡环境评估或使用

• ​​解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题​​
• ​​单卡环境读取多卡训练的模型​​