python 多进程、多线程、协程

删除回忆录丶 提交于 2020-12-20 04:12:13

1、python的多线程

  多线程就是在同一时刻执行多个不同的程序,然而python中的多线程并不能真正的实现并行,这是由于cpython解释器中的GIL(全局解释器锁)捣的鬼,这把锁保证了同一时刻只有一个线程被执行。

  多线程的特点:

    线程比进程更轻量级,创建一个线程要比创建一个进程快10-100倍。

    线程共享全局变量。

    由于GIL的原因,当一个线程遇到IO操作时,会切换到另一个线程,所以线程适合IO密集型操作。

    在多核cpu系统中,最大限度的利用多核,可以开启多个线程,开销比进程小的多,但是这并不适合python。

  多线程互斥锁:

    因为线程共享全局变量,所以需要互斥锁去限制线程对全局变量的更改。

    假设,当一个线程在执行到获取全局变量的时候,这个后GIL切换到另一个线程执行,这个时候新的线程为全局变量+1后切换回之前的线程,之前的线程中的全局变量还是+1前的值,所以需要互斥锁。

  为什么有了GIL锁还要互斥锁呢?

    GIL锁只是控制同一时刻下只有一个线程被执行,这并不能控制同一时刻只有一个线程去获取并更改全局变量,所以需要使用互斥锁。

  多线程的实现:

# 导入threading模块
import threading
# 定义全局变量
i=0
# 定义互斥锁
mutex = threading.Lock()
def a():
    # 申明全局变量i
    global i
    for j in range(2000000):
        # 获取互斥锁
        mutex.acquire()
        i+=1
        # 释放互斥锁
        mutex.release()

def b():
    global i
    for j in range(2000000):
        mutex.acquire()
        i+=1
        mutex.release()
# 创建线程
t1 = threading.Thread(target=a)
t2 = threading.Thread(target=b)
# 开启线程
t1.start()
t2.start()
# 等待所有线程结束
t1.join()
t2.join()
print(i)

2、python中的多进程

  python的多线程不能利用多核的优势,如果想要充分的利用多核cpu的资源,python中大部分情况需要使用多进程。

  python多进程的特点:

    进程间不共享全局变量,进程修改的数据仅限于该进程内。

    进程创建和销毁的开销比较大。

    相对于线程,进程更适合与计算密集型操作。

    能充分利用多核的优势。  

  进程间通信:

    既然进程间中不公共享全局变量,那么多进程间怎么进行通信呢?可以使用multiprocessing中的Queue模块,当然也可以使用socket、管道、共享内存等方式。

  多进程的实现:

# 导入multiprocessin模块
import multiprocessing
# 创建队列
queue = multiprocessing.Queue()
# 定义全局变量
a = 0
# 定义函数
def work1(num):
    # 获取队列中的数据,如果没有数据,将堵塞
    a = queue.get()
    # 将队列中的数据+2000000次num
    for i in range(2000000):
        a+=num
    # 将数据存放在队列中
    queue.put(a)
    # 打印最终结果
    print("work1",a)
# 定义函数
def work2():
    # 申明全局变量a
    global a
    # 将a+2000000次1
    for i in range(2000000):
        a+=1
    # 打印最总结果
    print("work2",a)
# 将a存放在队列中
queue.put(a)
# 创建进程
p1 = multiprocessing.Process(target=work1, args=(2,))
p2 = multiprocessing.Process(target=work2)
# 启动进程
p1.start()
p2.start()
# 等待进程结束
p1.join()
p2.join()
# 获取队列中的数据
a = queue.get()
# 打印a
print(a)

  进程池的实现

  进程池能减少重复创建和销毁进程的开销问题

# 导入需要的模块
import multiprocessing
import time
import random
# 定义函数
def work(num):
    print("num=",num)
    time.sleep(random.randint(0,2))
# 创建进程池,设置进程的数量
pool = multiprocessing.Pool(3)
for i in range(10):
    # 开启进程
    pool.apply_async(work, args=(i,))
# 设置等待时间,等待所有进程结束
time.sleep(20)

3、python中的协程

  在linux中线程就是轻量级的进程,而我们通常也把协程称为轻量级的线程。

  对比进程和协程:

    进程是内核调度,而协程是在用户态调度,所以说进程的上下文在内核态保存恢复,而协程是在用户态保存恢复的,所以协程的开销比进程低。

    进程会被抢占,而协程不会,也就是说协程如果不主动让出cpu,那么其他的协程就没有执行的机会。

    进程所需要的内存比协程大得多

  对比线程和协程:

    线程的上下文切换成本相对于协程来说比较高。

    线程的切换由操作系统来控制,而协程的切换由我们自己控制。

  yield实现协程:

# 定义两个函数
def work1():
    while True:
        print("work1")
        # 当程序运行到yield就会暂停,等待下次的next调用,然后继续执行
        yield
def work2():
    while True:
        print("work2")
        yield

w1 = work1()
w2 = work2()
while True:
    # 使用next函数启动
    next(w1)
    next(w2)

   greenlet实现协程:

    greenlet安装:   

sudo pip3 install greenlet

    code:

# 导入greenlet模块
from greenlet import greenlet
def work1():
    for i in range(10):
        print("work1")
        # 打印过后跳转至协程g2继续执行
        g2.switch()

def work2():
    for i in range(10):
        print("work2")
        # 打印后跳转至协程g1继续执行
        g1.switch()

# 创建协程g1
g1 = greenlet(work1)
# 创建协程g2
g2 = greenlet(work2)
# 跳转至协程g1
g1.switch()

  gevent实现协程:

    gevent是基于greenlet的并发网络库,每当有一个协程堵塞的时,程序将自动调度。

    monkey-patching:

      一般称为猴子补丁,这个补丁能直接修改标准库里面大部分的阻塞式系统调用。但是如果在复杂的生产环境中使用了这些标准库,可能就会因为打了补丁而出现奇怪的问题。

    gevent安装:

sudo pip3 install gevent

    code:

# 导入所需要的模块
import gevent
import time
from gevent import monkey
# 猴子补丁,monkey.patch_all()方法将所有的标准库都替换掉
# 使用猴子补丁褒贬不一,但是官网上还是建议使用patch_all(),而且在程序的第一行就执行
monkey.patch_all()
def f(n):
    for i in range(n):
        print(i)
        # 设置延时
        time.sleep(0.5)
        # 如果没有导入monkey模块的话,需要使用gevent.sleep()
        # gevent.sleep(0.5)

# ----------------写法一--------------------
# 创建greenlet协程对象
# g1 = gevent.spawn(f,5)
# g2 = gevent.spawn(f,5)
# g3 = gevent.spawn(f,5)
# 等待所有greenlet携程结束后退出
# g1.join()
# g2.join()
# g3.join()

# ----------------写法二--------------------
gevent.joinall([gevent.spawn(f,5), gevent.spawn(f,5), gevent.spawn(f,5)])

 

  

  

 

    

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!