一 :什么是线程

在传统操作系统中,每个进程有一个地址空间,而且默认就有一个控制线程



进程只是用来把资源集中到一起(进程只是一个资源单位,或者说资源集合),而线程才是cpu上的执行单位。



多线程(即多个控制线程)的概念是,在一个进程中存在多个控制线程,多个控制线程共享该进程的地址空间,相当于一个车间内有多条流水线,都共用一个车间的资源

二: 线程的创建开销小

创建进程的开销要远大于线程



进程之间是竞争关系,线程之间是协作关系



三 :线程与进程的区别


四 :为何要用多线程

多线程指的是,在一个进程中开启多个线程,简单的讲:如果多个任务共用一块地址空间,那么必须在一个进程内开启多个线程。详细的讲分为4点:



1. 多线程共享一个进程的地址空间
2. 线程比进程更轻量级,线程比进程更容易创建可撤销,在许多操作系统中,创建一个线程比创建一个进程要快10-100倍,在有大量线程需要动态和快速修
改时,这一特性很有用
3. 若多个线程都是cpu密集型的,那么并不能获得性能上的增强,但是如果存在大量的计算和大量的I/O处理,拥有多个线程允许这些活动彼此重叠运行,从
而会加快程序执行的速度。
4. 在多cpu系统中,为了最大限度的利用多核,可以开启多个线程,比开进程开销要小的多。(这一条并不适用于python)



五 :多线程的应用举例



开启一个字处理软件进程,该进程肯定需要办不止一件事情,比如监听键盘输入,处理文字,定时自动将文字保存到硬盘,这三个任务操作的都是同一块数据,
因而不能用多进程。只能在一个进程里并发地开启三个线程,如果是单线程,那就只能是,键盘输入时,不能处理文字和自动保存,自动保存时又不能输入和
处理文字。



六 :经典的线程模型(了解)

python多线程并发执行写多个文件 python多线程并发请求_python多线程并发执行写多个文件

多个线程共享同一个进程的地址空间中的资源,是对一台计算机上多个进程的模拟,有时也称线程为轻量级的进程

而对一台计算机上多个进程,则共享物理内存、磁盘、打印机等其他物理资源。

多线程的运行也多进程的运行类似,是cpu在多个线程之间的快速切换。

不同的进程之间是充满敌意的,彼此是抢占、竞争cpu的关系,如果迅雷会和QQ抢资源。而同一个进程是由一个程序员的程序创建,所以同一进程内的线程是合作关系,一个线程可以访问另外一个线程的内存地址,大家都是共享的,一个线程干死了另外一个线程的内存,那纯属程序员脑子有问题。

 

类似于进程,每个线程也有自己的堆栈

python多线程并发执行写多个文件 python多线程并发请求_数据库_02

不同于进程,线程库无法利用时钟中断强制线程让出CPU,可以调用thread_yield运行线程自动放弃cpu,让另外一个线程运行。

 



线程通常是有益的,但是带来了不小程序设计难度,线程的问题是:
1. 父进程有多个线程,那么开启的子线程是否需要同样多的线程
如果是,那么附近中某个线程被阻塞,那么copy到子进程后,copy版的线程也要被阻塞吗,想一想nginx的多线程模式接收用户连接。
2. 在同一个进程中,如果一个线程关闭了问题,而另外一个线程正准备往该文件内写内容呢?
如果一个线程注意到没有内存了,并开始分配更多的内存,在工作一半时,发生线程切换,新的线程也发现内存不够用了,又开始分配更多的内存,这样内存
就被分配了多次,这些问题都是多线程编程的典型问题,需要仔细思考和设计。



 

python并发编程之多线程

一 :threading模块介绍

multiprocess模块的完全模仿了threading模块的接口,二者在使用层面,有很大的相似性,因而不再详细介绍

二 :开启线程的两种方式



python多线程并发执行写多个文件 python多线程并发请求_数据库_03

方式一

python多线程并发执行写多个文件 python多线程并发请求_数据库_03

方式二

python多线程并发执行写多个文件 python多线程并发请求_数据_05

三: 在一个进程下开启多个线程与在一个进程下开启多个子进程的区别


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

开启线程的速度远大于开启进程的速度

python多线程并发执行写多个文件 python多线程并发请求_数据库_03

子线程与主线程有相同的PID而子进程与主进程不同

python多线程并发执行写多个文件 python多线程并发请求_数据库_03

同一进程内的线程共享该进程内的数据

四 :练习

练习一:


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

多线程并发的socket服务端

python多线程并发执行写多个文件 python多线程并发请求_数据库_03

客户端

练习二:三个任务,一个接收用户输入,一个将用户输入的内容格式化成大写,一个将格式化后的结果存入文件


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

View Code

五 :线程相关的其他方法


python多线程并发执行写多个文件 python多线程并发请求_python_12


Thread实例对象的方法
  # isAlive(): 返回线程是否活动的。
  # getName(): 返回线程名。
  # setName(): 设置线程名。

threading模块提供的一些方法:
  # threading.currentThread(): 返回当前的线程变量。
  # threading.enumerate(): 返回一个包含正在运行的线程的list。正在运行指线程启动后、结束前,不包括启动前和终止后的线程。
  # threading.activeCount(): 返回正在运行的线程数量,与len(threading.enumerate())有相同的结果。


python多线程并发执行写多个文件 python多线程并发请求_python_12


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

View Code

六 :守护线程 

无论是进程还是线程,都遵循:守护xxx会等待主xxx运行完毕后被销毁

需要强调的是:运行完毕并非终止运行


#1.对主进程来说,运行完毕指的是主进程代码运行完毕

#2.对主线程来说,运行完毕指的是主线程所在的进程内所有非守护线程统统运行完毕,主线程才算运行完毕


详细解释:


#1 主进程在其代码结束后就已经算运行完毕了(守护进程在此时就被回收),然后主进程会一直等非守护的子进程都运行完毕后回收子进程的资源(否则会产
生僵尸进程),才会结束,

#2 主线程在其他非守护线程运行完毕后才算运行完毕(守护线程在此时就被回收)。因为主线程的结束意味着进程的结束,进程整体的资源都将被回收,而
进程必须保证非守护线程都运行完毕后才能结束。


 


python多线程并发执行写多个文件 python多线程并发请求_python_12


from threading import Thread
import time
def sayhi(name):
    time.sleep(2)
    print('%s say hello' %name)

if __name__ == '__main__':
    t=Thread(target=sayhi,args=('egon',))
    t.setDaemon(True) #必须在t.start()之前设置
    t.start()

    print('主线程')
    print(t.is_alive())
    '''
    主线程
    True
    '''


python多线程并发执行写多个文件 python多线程并发请求_python_12


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

迷惑人的例子

七  :Python GIL(Global Interpreter Lock)

GIL详解 博客

八 :同步锁


python多线程并发执行写多个文件 python多线程并发请求_python_12


三个需要注意的点:
#1.线程抢的是GIL锁,GIL锁相当于执行权限,拿到执行权限后才能拿到互斥锁Lock,其他线程也可以抢到GIL,
但如果发现Lock仍然没有被释放则阻塞,即便是拿到执行权限GIL也要立刻交出来

#2.join是等待所有,即整体串行,而锁只是锁住修改共享数据的部分,即部分串行,要想保证数据安全的根本原理在于让并发变成串行,
join与互斥锁都可以实现,毫无疑问,互斥锁的部分串行效率要更高

#3. 一定要看本小节最后的GIL与互斥锁的经典分析


python多线程并发执行写多个文件 python多线程并发请求_python_12


GIL VS Lock


python多线程并发执行写多个文件 python多线程并发请求_python_12


机智的同学可能会问到这个问题,就是既然你之前说过了,Python已经有一个GIL来保证同一时间只能有一个线程来执行了,为什么这里还需要lock? 

 首先我们需要达成共识:锁的目的是为了保护共享的数据,同一时间只能有一个线程来修改共享的数据

    然后,我们可以得出结论:保护不同的数据就应该加不同的锁。

 最后,问题就很明朗了,GIL 与Lock是两把锁,保护的数据不一样,前者是解释器级别的(当然保护的就是解释器级别的数据,比如垃圾回收的数据),
 后者是保护用户自己开发的应用程序的数据,很明显GIL不负责这件事,只能用户自定义加锁处理,即Lock


python多线程并发执行写多个文件 python多线程并发请求_python_12


过程分析:所有线程抢的是GIL锁,或者说所有线程抢的是执行权限

  线程1抢到GIL锁,拿到执行权限,开始执行,然后加了一把Lock,还没有执行完毕,即线程1还未释放Lock,有可能线程2抢到GIL锁,开始执行,执行过程中发现Lock还没有被线程1释放,于是线程2进入阻塞,被夺走执行权限,有可能线程1拿到GIL,然后正常执行到释放Lock。。。这就导致了串行运行的效果

  既然是串行,那我们执行

  t1.start()

  t1.join

  t2.start()

  t2.join()

  这也是串行执行啊,为何还要加Lock呢,需知join是等待t1所有的代码执行完,相当于锁住了t1的所有代码,而Lock只是锁住一部分操作共享数据的代码。


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

详细解释

python多线程并发执行写多个文件 python多线程并发请求_python_12


from threading import Thread
import os,time
def work():
    global n
    temp=n
    time.sleep(0.1)
    n=temp-1
if __name__ == '__main__':
    n=100
    l=[]
    for i in range(100):
        p=Thread(target=work)
        l.append(p)
        p.start()
    for p in l:
        p.join()

    print(n) #结果可能为99


python多线程并发执行写多个文件 python多线程并发请求_python_12


锁通常被用来实现对共享资源的同步访问。为每一个共享资源创建一个Lock对象,当你需要访问该资源时,调用acquire方法来获取锁对象(如果其它线程已经获得了该锁,则当前线程需等待其被释放),待资源访问完后,再调用release方法释放锁:


python多线程并发执行写多个文件 python多线程并发请求_python_12


import threading

R=threading.Lock()

R.acquire()
'''
对公共数据的操作
'''
R.release()


python多线程并发执行写多个文件 python多线程并发请求_python_12


python多线程并发执行写多个文件 python多线程并发请求_python_12


from threading import Thread,Lock
import os,time
def work():
    global n
    lock.acquire()
    temp=n
    time.sleep(0.1)
    n=temp-1
    lock.release()
if __name__ == '__main__':
    lock=Lock()
    n=100
    l=[]
    for i in range(100):
        p=Thread(target=work)
        l.append(p)
        p.start()
    for p in l:
        p.join()

    print(n) #结果肯定为0,由原来的并发执行变成串行,牺牲了执行效率保证了数据安全


python多线程并发执行写多个文件 python多线程并发请求_python_12


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

GIL锁与互斥锁综合分析(重点!!!)

python多线程并发执行写多个文件 python多线程并发请求_数据库_03

互斥锁与join的区别(重点!!!)

 

九: 死锁现象与递归锁

进程也有死锁与递归锁,在进程那里忘记说了,放到这里一切说了额

所谓死锁: 是指两个或两个以上的进程或线程在执行过程中,因争夺资源而造成的一种互相等待的现象,若无外力作用,它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁,这些永远在互相等待的进程称为死锁进程,如下就是死锁


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

View Code

解决方法,递归锁,在Python中为了支持在同一线程中多次请求同一资源,python提供了可重入锁RLock。

这个RLock内部维护着一个Lock和一个counter变量,counter记录了acquire的次数,从而使得资源可以被多次require。直到一个线程所有的acquire都被release,其他的线程才能获得资源。上面的例子如果使用RLock代替Lock,则不会发生死锁:


mutexA=mutexB=threading.RLock() #一个线程拿到锁,counter加1,该线程内又碰到加锁的情况,则counter继续加1,
这期间所有其他线程都只能等待,等待该线程释放所有锁,即counter递减到0为止


python多线程并发执行写多个文件 python多线程并发请求_python_12


from threading import Thread,RLock
import time
mutexA=mutexB=RLock()
class MyThread(Thread):
    def run(self):
        self.func1()
        self.func2()
    def func1(self):
        mutexA.acquire()
        print('\033[41m%s 拿到A锁\033[0m' %self.name)

        mutexB.acquire()
        print('\033[42m%s 拿到B锁\033[0m' %self.name)
        mutexB.release()

        mutexA.release()

    def func2(self):
        mutexB.acquire()
        print('\033[43m%s 拿到B锁\033[0m' %self.name)
        time.sleep(2)

        mutexA.acquire()
        print('\033[44m%s 拿到A锁\033[0m' %self.name)
        mutexA.release()

        mutexB.release()

if __name__ == '__main__':
    for i in range(10):
        t=MyThread()
        t.start()


python多线程并发执行写多个文件 python多线程并发请求_python_12


 

十 :信号量Semaphore

同进程的一样

Semaphore管理一个内置的计数器, 每当调用acquire()时内置计数器-1; 调用release() 时内置计数器+1; 计数器不能小于0;当计数器为0时,acquire()将阻塞线程直到其他线程调用release()。

实例:(同时只有5个线程可以获得semaphore,即可以限制最大连接数为5):


python多线程并发执行写多个文件 python多线程并发请求_python_12


from threading import Thread,Semaphore
import threading
import time
# def func():
#     if sm.acquire():
#         print (threading.currentThread().getName() + ' get semaphore')
#         time.sleep(2)
#         sm.release()
def func():
    sm.acquire()
    print('%s get sm' %threading.current_thread().getName())
    time.sleep(3)
    sm.release()
if __name__ == '__main__':
    sm=Semaphore(5)
    for i in range(23):
        t=Thread(target=func)
        t.start()


python多线程并发执行写多个文件 python多线程并发请求_python_12


 


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

简写

与进程池是完全不同的概念,进程池Pool(4),最大只能产生4个进程,而且从头到尾都只是这四个进程,不会产生新的,而信号量是产生一堆线程/进程

 

十一: Event

同进程的一样

线程的一个关键特性是每个线程都是独立运行且状态不可预测。如果程序中的其 他线程需要通过判断某个线程的状态来确定自己下一步的操作,这时线程同步问题就会变得非常棘手。为了解决这些问题,我们需要使用threading库中的Event对象。 对象包含一个可由线程设置的信号标志,它允许线程等待某些事件的发生。在 初始情况下,Event对象中的信号标志被设置为假。如果有线程等待一个Event对象, 而这个Event对象的标志为假,那么这个线程将会被一直阻塞直至该标志为真。一个线程如果将一个Event对象的信号标志设置为真,它将唤醒所有等待这个Event对象的线程。如果一个线程等待一个已经被设置为真的Event对象,那么它将忽略这个事件, 继续执行


python多线程并发执行写多个文件 python多线程并发请求_python_12


event.isSet():返回event的状态值;

event.wait():如果 event.isSet()==False将阻塞线程;

event.set(): 设置event的状态值为True,所有阻塞池的线程激活进入就绪状态, 等待操作系统调度;

event.clear():恢复event的状态值为False。


python多线程并发执行写多个文件 python多线程并发请求_python_12


python多线程并发执行写多个文件 python多线程并发请求_python_39

例如,有多个工作线程尝试链接MySQL,我们想要在链接前确保MySQL服务正常才让那些工作线程去连接MySQL服务器,如果连接不成功,都会去尝试重新连接。那么我们就可以采用threading.Event机制来协调各个工作线程的连接操作


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

例子

 

十二 :条件Condition(了解)


 

十三 :定时器

定时器,指定n秒后执行某操作


python多线程并发执行写多个文件 python多线程并发请求_python_12


from threading import Timer
 
def hello():
    print("hello, world")
 
t = Timer(1, hello)
t.start()  # after 1 seconds, "hello, world" will be printed


python多线程并发执行写多个文件 python多线程并发请求_python_12


 


from threading import Timer
def hello(n):
    print("hello, world",n)
t = Timer(2, hello,args=(1,))
t.start()  # after 2 seconds, "hello, world" will be printed


 

十四 :线程queue

queue队列 :使用import queue,用法与进程Queue一样

class queue.Queue(maxsize=0) #先进先出


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

先进先出

class queue.LifoQueue(maxsize=0) #last in fisrt out 


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

后进先出

class queue.PriorityQueue(maxsize=0) #存储数据时可设置优先级的队列


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

优先级越高先出

 

十五  :Python标准模块--concurrent.futures


python多线程并发执行写多个文件 python多线程并发请求_python_12


#1 介绍
concurrent.futures模块提供了高度封装的异步调用接口
ThreadPoolExecutor:线程池,提供异步调用
ProcessPoolExecutor: 进程池,提供异步调用
Both implement the same interface, which is defined by the abstract Executor class.

#2 基本方法
#submit(fn, *args, **kwargs)
异步提交任务

#map(func, *iterables, timeout=None, chunksize=1) 
取代for循环submit的操作

#shutdown(wait=True) 
相当于进程池的pool.close()+pool.join()操作
wait=True,等待池内所有任务执行完毕回收完资源后才继续
wait=False,立即返回,并不会等待池内的任务执行完毕
但不管wait参数为何值,整个程序都会等到所有任务执行完毕
submit和map必须在shutdown之前

#result(timeout=None)
取得结果

#add_done_callback(fn)
回调函数


python多线程并发执行写多个文件 python多线程并发请求_python_12


python多线程并发执行写多个文件 python多线程并发请求_数据库_03

ProcessPoolExecutor

python多线程并发执行写多个文件 python多线程并发请求_数据库_03

ThreadPoolExecutor

python多线程并发执行写多个文件 python多线程并发请求_数据库_03

map的用法

python多线程并发执行写多个文件 python多线程并发请求_数据库_03

回调函数