Python3 多进程编程(Multiprocess programming)
- 为什么使用多进程
- 具体用法
Python多线程的通信
- 进程对列Queue
- 管道Pipe

Python3 多进程编程(Multiprocess programming)

为什么使用多进程

python中的多线程其实并不是真正的多线程，不能充分地使用多核CPU的资源，此时需要使用需要使用多进程解决问题。

具体用法

Python中的多进程是通过multiprocessing模块来实现的，和多线程的threading.Thread类似，利用multiprocessing.Process来创建一个进程对象。进程对象的方法和线程对象的方法类似，也有start(), join()等。

直接启用

import multiprocessing
from time import sleep

def clock(interval):
    i = 0
    while i<5:
        i += 1
        print(f"Run >>> {i}")
        sleep(interval)
    print("Ending!")


if __name__ == '__main__':
    p = multiprocessing.Process(target = clock, args = (1,))
    p.start()
    p.join()

</details>

Run >>> 1
Run >>> 2
Run >>> 3
Run >>> 4
Run >>> 5
Ending!

</details>

继承自multiprocessing.Process调用

与多线程使用方法类似

直接继承Process
重写run函数
类实例可以直接运行

import multiprocessing
from time import sleep

class ClockProcess(multiprocessing.Process): 
    def __init__(self, interval):
        super().__init__()
        self.interval = interval

    def run(self):
        i = 0
        while i<5:
            i += 1
            print(f"Run >>> {i}")
            sleep(self.interval)
        print("Ending!")


if __name__ == '__main__':
    p = ClockProcess(1)
    p.start()
    p.join()

</details>

    Run >>> 1
    Run >>> 2
    Run >>> 3
    Run >>> 4
    Run >>> 5
    Ending!

</details>

守护进程

设置该进程为守护进程，即认为此进程不重要，主进程结束后，该进程随即结束。
用法Process.daemon = Ture

<details> <summary>未使用守护进程</summary>

import multiprocessing
from time import sleep

def clock(interval):
    i = 0
    while i<5:
        i += 1
        print(f"Run >>> {i}")
        sleep(interval)
    print("Ending!")

def run():
    p = multiprocessing.Process(target = clock, args = (1,))
    p.start()

if __name__ == '__main__':
    run()
    sleep(2)
    print("ENDING!")

</details>

Run >>> 1
Run >>> 2
ENDING!
Run >>> 3
Run >>> 4
Run >>> 5
Ending!

</details>

<details> <summary>使用守护进程</summary>

import multiprocessing
from time import sleep

def clock(interval):
    i = 0
    while i<5:
        i += 1
        print(f"Run >>> {i}")
        sleep(interval)
    print("Ending!")

def run():
    p = multiprocessing.Process(target = clock, args = (1,))
    p.daemon = True
    p.start()

if __name__ == '__main__':
    run()
    sleep(2)
    print("ENDING!")

</details>

Run >>> 1
Run >>> 2
ENDING!

</details>

Python多线程的通信

进程是系统独立调度核分配系统资源的基本单位，进程之间是相互独立的，进程之间的数据也不能共享，这是多进程在使用中与多线程最明显的区别。<br> 所以要使用多进程来弥补Python中多线程的不足，解决多进程之间的通信时关键。

进程对列Queue

在python多进程中，Queue其实就是进程之间的数据管道，实现进程通信。

生产者消费者问题

仓库(固定大小的中间缓冲区)
生产者

持续生产数据传入仓库
消费者

持续从仓库总提取数据

在实际运行时会产设的问题。生产者的主要作用是生成一定量的数据放到仓库中，然后重复此过程。<br> 与此同时，消费者也在仓库消耗这些数据。该问题的关键就是要保证生产者不会在仓库满时加入数据，消费者也不会在仓库空时消耗数据。

JoinableQueue

JoinableQueue同样通过multiprocessing使用。
JoinableQueue([maxsize])：就是一个Queue对象，但允许项目的使用者通知生成者项目已经被成功处理。
maxsize是队列中允许最大项数，省略则无大小限制。
方法介绍：

JoinableQueue与Queue对象的方法一致，且之外还具有：
- JoinableQueue.task_done()：使用者使用此方法发出信号，表示q.get()的返回项目已经被处理。如果调用此方法的次数大于从队列中删除项目的数量，将引发ValueError异常。
- JoinableQueue.join():生产者调用此方法进行阻塞，直到队列中所有的项目均被处理。阻塞将持续到队列中的每个项目均调用JoinableQueue.task_done()方法为止。

Queue实例

使用JoinableQueue实现生产者消费者模型


import multiprocessing
from time import ctime,sleep

def consumer(input_q):
    print("消费开始:", ctime())
    while True:
        # 处理项
        item = input_q.get()
        print ("消费 >>>>>>>>>", item) # 此处替换为有用的工作
        input_q.task_done() # 发出信号通知任务完成
        sleep(1)
    print ("消费结束:", ctime()) ##此句未执行，因为q.join()收集到四个task_done()信号后，主进程启动，未等到print此句完成，程序就结束了


def producer(sequence, output_q):
    print ("生产开始:", ctime())
    for item in sequence:
        output_q.put(item)
        print ("生产 >>>>>>>>>", item)
        sleep(1)
    print ("生产结束:", ctime())

if __name__ == '__main__':
    q = multiprocessing.JoinableQueue()
    # 运行消费者进程
    cons_p = multiprocessing.Process (target = consumer, args = (q,))
    cons_p.daemon = True
    cons_p.start()

    # 生产多个项，sequence代表要发送给消费者的项序列
    # 在实践中，这可能是生成器的输出或通过一些其他方式生产出来
    sequence = [1,2,3,4]
    producer(sequence, q)
    # 等待所有项被处理
    q.join()

</details>

生产开始: Wed Oct 16 22:06:11 2019
生产 >>>>>>>>> 1
消费开始: Wed Oct 16 22:06:11 2019
消费 >>>>>>>>> 1
生产 >>>>>>>>> 2
消费 >>>>>>>>> 2
生产 >>>>>>>>> 3
消费 >>>>>>>>> 3
生产 >>>>>>>>> 4
消费 >>>>>>>>> 4
生产结束: Wed Oct 16 22:06:15 2019

</details>

管道Pipe

待续

来源：oschina

链接：https://my.oschina.net/u/4291623/blog/3370406

标签

python

multiprocess