说明在模型训练的时候，往往使用的是多GPU的环境；但是在模型验证或者推理阶段，往往使用单GPU甚至CPU进行运算。那么中间有个保存和加载的过程。下面来总结一下。多GPU进行训练首先设置可见的GPU数量，有两种方式可以声明：在shell脚本中声明：export CUDA_VISIBLE_DEVICES=0,1,2,3在py文件中声明os.environ['CUDA_VISIBLE_DEVICES']
转载
2023-06-14 20:50:02
636阅读
目录一、写在前面二、摘要A. 并行计算概述1. 什么是并行计算？2. 为什么使用并行计算？3. 谁在使用并行计算？B. 概念和术语1. 冯诺依曼计算机体系结构2. 弗林分类法3. 通用并行计算术语4. 并行编程的潜在好处、限制和成本C. 并行计算机内存架构1. 共享内存2. 分布式内存3. 混合分布式共享内存D. 并行编程模型1. 共享内存模型2. 线程模型3. 分布式内存/消息传递模型4. 数
开启并发进程：方式一：import time
from multiprocessing import Process
def task(name):
print('%s is running' % name)
time.sleep(5)
print('%s done' % name)
if __name__ == '__main__':
p1 = Proce
转载
2023-09-29 21:28:20
144阅读
文章目录一、安装Anaconda1.换源2.常用指令二、安装cuda和cudnn1.对应版本2.创建虚拟环境3.激活虚拟环境4.安装cuda4.安装cudnn三、安装tensorflow的GPU版本1.判断是否安装成功四、pycharm配置虚拟环境1.新建项目2.配置环境3.完成创建总结 一、安装Anaconda本文主要通过Anaconda来配置深度学习环境。 可以通过Anaconda官网下载附
转载
2023-08-02 19:19:31
74阅读
本系列为英伟达GPU入门介绍的第二篇，主要介绍CUDA编程的基本流程和核心概念，并使用Python Numba编写GPU并行程序。为了更好地理解GPU的硬件架构，建议读者先阅读我的第一篇文章。GPU硬件知识和基础概念：包括CPU与GPU的区别、GPU架构、CUDA软件栈简介。GPU编程入门：主要介绍CUDA核函数，Thread、Block和Grid概念，并使用Python Numba进行简单的并行
转载
2023-09-09 21:21:14
169阅读
**GPU实现并发Python**
在计算机科学和数据科学领域，一直以来并发性都是一个重要的主题。并发性是指在同一时间内执行多个任务的能力。在Python中，我们可以使用GPU实现并发性，以加快程序的执行速度。
GPU（图形处理器）是一种专门用于图形渲染的硬件设备。然而，由于其并行计算能力强大，越来越多的人开始将GPU用于通用计算。与传统的中央处理器（CPU）相比，GPU具有更多的处理单元和更
原创
2023-09-24 09:07:07
153阅读
基础知识（一）一、为什么需要多线程和多线程需解决的问题我认为并发编程的产生实际是一种妥协，在硬件生产技术或者说成本的限制下导致了计算机运行的各个部件之间有了运行速度上的差异，为了最大化发挥计算机的计算能力并最小化所需付出的成本而通过一系列复杂的、抽象的手段进行速度提升。 试想如果我们现行技术能够做到所有的存储介质传输速度等同于CPU计算速度，任何数据计算传输近乎实时，那也就不需要并发了。同时我们
前言上一篇介绍了多线程编程，这一篇介绍多进程编程，当然应用场景是CPU密集型任务。分类都是采用multiprocessing模块，只不过应用的类和方法不同使用Pool对象的map方法使用Pool对象的apply_async方法使用Process类下面分别介绍使用Pool对象的map方法与上一篇类似，multiprocessing模块的Pool对象具有map方法，应用map方法可以很便捷地实现多线程
转载
2023-09-22 12:06:36
26阅读
在 Python 学习的过程中，并发编程有些概念我们可能在理解上有些模糊，这些概念却很重要。下面我讲逐一解释一下并发和并行，同步和异步，阻塞和非阻塞。并发&并行并发：在 OS 中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但任一个时刻点上只有一个程序在处理机上运行。简言之，是指系统具有处理多个任务的能力。并行：当系统有一个以上 CPU
转载
2023-06-17 21:53:10
2160阅读
1、概念并发:在一段时间内交替去执行任务。 并行:对于多核cpu处理多任务，操作系统会给cpu的每个内核安排一个执行的软件，多个内核是真正的一起执行软件。这里需要注意多核cpu是并行的执行多任务，始终有多个软件一起执行。进程：一个正在运行的程序或者软件就是一个进程，它是操作系统进行资源分配的基本单位，也就是说每启动一个进程，操作系统都会给其分配一定的运行资源(内存资源)保证进程的运行。线程：是进程
转载
2023-08-05 10:35:58
89阅读
Python并发编程基本并发执行-并发编程1.物理机01.Windows
NumberOfCores
NumberOfLogicalProcessors
cpu个数 是指物理上安装了几个cpu，一般的个人电脑是安装了1个cpu
cpu内核数 是指物理上，一个cpu芯片上集成了几个内核单元，现代cpu都是多核的。
cpu线程数 是指逻辑上处理单元，这个技术是Intel的
转载
2021-04-21 09:36:32
275阅读
2评论
multiproccessingimport multiprocessing as mpcount = 0def job(id): global count count += 1 print(f'job {id}, {count}')pool = mp.Pool(4)for i in range(100): pool.apply_async(jo...
原创
2021-08-04 10:23:09
128阅读
1.协程示例1：import timeimport asyncioasync def crawl_page(url): print('crawling {}'.format(url)) sleep_time = int(url.split('_')[-1]) await asyncio.sleep(sleep_time) print('OK {}'.format(url))
原创
2023-03-18 19:16:41
159阅读
进程multiprocessing概念：程序运行的 实例，是系统资源分配和调度的的最小单位任务实例拆分成更小的模块，在给线程使用，线程共享进程空间，线程再分就是协程。多进程适合于cpu密集型**cpu密集型：**计算密集型，特点是cpu占用率高i/o密集型: 磁盘读写多，CPU占用率不高语法条目多线程多进程模块from threading import Threadfrom multiproces
转载
2023-08-30 15:51:41
251阅读
多进程和多线程的守护区别 首先明确一点，无论是多进程还是多线程，主进程或主线程都会等待子进程或子线程退出才会退出。 无论是进程还是线程，都遵循：守护xxx会等待主xxx运行完毕后被销毁. 需要强调的是：运行完毕并非终止运行 1. 对主进程来说，运行完毕指的是主进程代码运行完毕 2. 对主线程来说，运
原创
2021-12-27 17:36:58
148阅读
正确合理地使用并发编程，无疑会给我们的程序带来极大的性能提升。今
转载
2021-07-12 08:40:00
108阅读
2评论
以下链接均来自网络
『Python并发编程』
理解Python并发编程一篇就够了 - 线程篇理解Python并发编程一篇就够了 - 进程篇使用Python进行并发编程-PoolExecutor篇使用Python进行并发编程-我为什么不喜欢Gevent使用Python进行并发编程-asyncio篇(一)使用Python进行并发编程-asyncio篇(二)使用Python进行并发编程-asyncio
转载
2018-05-23 14:15:00
94阅读
2评论
同步和异步强调的是消息通信机制 (synchronous communication/ asynchronous communication)。同步(synchronous)：A调用B，等待B返回结果
原创
精选
2024-10-08 12:16:03
266阅读
thread库 生产者和消费者问题 队列，并发在队列中写入或读取数据
原创
2022-05-20 22:41:17
125阅读
Python 的异步编程主要通过 asyncio 模块来实现，它提供了对协程的支持，使得开发者可以用比较简单的语法来编写高效的异步程序。上面
原创
2024-04-02 15:01:30
26阅读
