python协程

很多时候我们写了一个爬虫，实现了需求后会发现了很多值得改进的地方，其中很重要的一点就是爬取速度。本文 就通过代码讲解如何使用 多进程、多线程、协程 来提升爬取速度。注意：我们不深入介绍理论和原理，一切都在代码中。 二、同步 首先我们写一个简化的爬虫，对各个功能细分，有意识进行函数式编程。下面代码的目的是访问300次百度页面并返回状态码，其中 parse_1 函数可以设定循环次数，每次循环将当前循环数（从0开始）和url传入 parse_2 函数。 import requestsdef parse_1(): url = 'https://www.baidu.com' for i in range(300): parse_2(url)def parse_2(url): response = requests.get(url) print(response.status_code)if __name__ == '__main__': parse_1() 性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待 示例代码就是典型的串行逻辑， parse_1 将url和循环数传递给 parse_2 ， parse_2 请求并返回状态码后 parse_1 继续迭代一次，重复之前步骤 三、多线程 因为CPU在执行程序时每个时间刻度上只会存在一个线程

Event Loop event loop 对象包含两个部分：event 和 loop。event 负责 I/O 事件通知而 loop 负责循环处理 I/O 通知并在就绪时调用回调。这里 event 的含义与 select 中的 event mask 类似。 BaseEventLoop 类实现了基本的 loop 部分，而类似于 BaseSelectorEventLoop 这样的类实现了基于 selector 的 event 部分。 event loop 内部维护着两个容器： _ready 和 _scheduled 。类型分别是 deque 和 list 。_ready 代表已经可以执行，_scheduled 代表计划执行。_scheduled 中的 handle 是可以 cancel 的。 一次 loop 的基本流程可以参见 _run_once() 方法，其说明文档如下： This calls all currently ready callbacks, polls for I/O, schedules the resulting callbacks, and finally schedules 'call_later' callbacks. 流程为： 将 _scheduled 中已 canceled 的 handle 去掉 检查 _ready 和 _scheduled

前言 文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者：刘早起早起 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/A6Zvjdun 很多时候我们写了一个爬虫，实现了需求后会发现了很多值得改进的地方，其中很重要的一点就是爬取速度。本文就通过代码讲解如何使用 多进程、多线程、协程 来提升爬取速度。注意：我们不深入介绍理论和原理，一切都在代码中。 同步 首先我们写一个简化的爬虫，对各个功能细分，有意识进行函数式编程。下面代码的目的是访问300次百度页面并返回状态码，其中parse_1函数可以设定循环次数，每次循环将当前循环数（从0开始）和url传入parse_2函数。 性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待 示例代码就是典型的串行逻辑，parse_1将url和循环数传递给parse_2，parse_2请求并返回状态码后parse_1继续迭代一次，重复之前步骤 多线程 因为CPU在执行程序时每个时间刻度上只会存在一个线程，因此多线程实际上提高了进程的使用率从而提高了CPU的使用率 实现多线程的库有很多，这里用concurrent.futures中的ThreadPoolExecutor来演示

1. 操作系统/应用程序 a. 硬件 - 硬盘 - CPU - 主板 - 显卡 - 内存 - 电源 ... b. 装系统（软件） - 系统就是一个由程序员写出来软件，该软件用于控制计算机的硬件， 让他们之间进行相互配合。 c. 安软件（安装应用程序） - QQ - 百度云 - pycharm ... 2. 并发和并行 并发，伪，由于一个人执行速度特别快，人感觉不到停顿。 并行，真，创建10个人同时操作。3. 线程、进程 a. 单进程、单线程的应用程序 print('666') b. 到底什么是线程？什么是进程？ Python自己没有这玩意，Python中调用的操作系统的线程和进程。 c. 单进程、多线程的应用程序 代码： import threading print('666') def func(arg): print(arg) t = threading.Thread(target=func) t.start() print('end') 一个应用程序（软件），可以有多个进程（默认只有一个），一个进程中可以创建多个线程（默认一个）。 d. 故事: Alex甄嬛西游传 总结： 1. 操作系统帮助开发者操作硬件。 2. 程序员写好代码在操作系统上运行（依赖解释器）。 任务特别多的情况： 3. 以前的你，写代码： import threading import requests

如果你想选择一种语言来入门编程，那么Python绝对是首选！ Python非常接近自然语言，精简了很多不必要的分号和括号，非常容易阅读理解。编程简单直接，更适合初学编程者，让其专注于编程逻辑，而不是困惑于晦涩的语法细节上，比起JAVA、C#和C/C++这些编程语言相对容易很多。 因此，即使是非计算机专业或者没有基础的小白，也能分分钟入门。那么，Python到底该怎么学？从哪里入手呢？下面由小编资深团队为初级入门的小伙伴提供2020年最新Python学习路线图，还为小伙伴们免费提供学习视频。 读者福利，可直接点击链接领取相关学习福利包： 石墨文档​shimo.im 是安全网站放心，继续访问就可以领取了哦 python语言基础 （1）Python3入门，数据类型，字符串 （2）判断/循环语句，函数，命名空间，作用域 （3）类与对象，继承，多态 （4）tkinter界面编程 （5）文件与异常，数据处理简介 （6）Pygame实战飞机大战，2048 python语言高级 （1）Python常见第三方库与网络编程 （2）Python正则表达式 （3）邮箱爬虫，文件遍历，金融数据爬虫，多线程爬虫 （4）Python线程、进程 （5）Python MySQL数据库，协程，jython python全栈工程师前端 (1) HTML (2) HTML5 (3) CSS (4) CSS3 (5)

如果你想选择一种语言来入门编程，那么Python绝对是首选！ Python非常接近自然语言，精简了很多不必要的分号和括号，非常容易阅读理解。编程简单直接，更适合初学编程者，让其专注于编程逻辑，而不是困惑于晦涩的语法细节上，比起JAVA、C#和C/C++这些编程语言相对容易很多。 因此，即使是非计算机专业或者没有基础的小白，也能分分钟入门。那么，Python到底该怎么学？从哪里入手呢？下面由小编资深团队为初级入门的小伙伴提供2020年最新Python学习路线图，还为小伙伴们免费提供学习视频。 读者福利，可直接点击链接领取相关学习福利包： 石墨文档 ​shimo.im 是安全网站放心，继续访问就可以领取了哦 python语言基础 （1）Python3入门，数据类型，字符串 （2）判断/循环语句，函数，命名空间，作用域 （3）类与对象，继承，多态 （4）tkinter界面编程 （5）文件与异常，数据处理简介 （6）Pygame实战飞机大战，2048 python语言高级 （1）Python常见第三方库与网络编程 （2）Python正则表达式 （3）邮箱爬虫，文件遍历，金融数据爬虫，多线程爬虫 （4）Python线程、进程 （5）Python MySQL数据库，协程，jython python全栈工程师前端 (1) HTML (2) HTML5 (3) CSS (4) CSS3 (5)

1 进程和线程 进程 Process：一个正在运行的应用程序在操作系统中被视为一个进程，进程可以包括一个或多个线程。线程是操作系统分配处理器时间的基本单元，在进程中可以有多个线程同时执行代码。进程之间是相对独立的，一个进程无法访问另一个进程的数据（除非利用分布式计算方式）。 线程 Thread： 线程是进程中的基本执行单元，是操作系统分配CPU时间的基本单位，一个进程可以包含若干个线程，在进程入口执行的第一个线程被视为这个进程的主线程。线程主要是由CPU寄存器、调用栈和线程本地存储器（Thread Local Storage，TLS）组成的。CPU寄存器主要记录当前所执行线程的状态，调用栈主要用于维护线程所调用到的内存与数据，TLS主要用于存放线程的状态信息。线程的本质：线程不是一个计算机硬件的功能，而是操作系统提供的一种逻辑功能，线程本质上是进程中一段并发运行的代码，所以线程需要操作系统投入CPU资源来运行和调度。 进程和线程的区别：进程和线程的主要差别在于它们是不同的操作系统资源管理方式。进程有独立的地址空间，一个进程崩溃后，在保护模式下不会对其它进程产生影响，而线程只是一个进程中的不同执行路径。线程有自己的堆栈和局部变量，但线程之间没有单独的地址空间，一个线程死掉就等于整个进程死掉，所以多进程的程序要比多线程的程序健壮，但在进程切换时，耗费资源较大，效率要差一些

协程之前我们明白Python的进程和线程，这里我们来说一下协程 子程序切换不是线程切换，而是由程序自身控制 没有线程切换的开销，和多线程比，线程数量越多，协程的性能优势就越明显 不需要多线程的锁机制，因为只有一个线程，也不存在同时写变量冲突，在协程中控制共享资源不加锁 协程实现 def custumer(): r = '' while True: n = yield r # 接受send的值 返出yield的值 if not n: return print('custer {}'.format(n)) r = 'done' def produce(c): c.send(None) # 启动 n = 0 while n < 5: n += 1 print('custer {}'.format(n)) r = c.send(n) print('custer return {}'.format(r)) c.close() c = custumer() produce(c) 本文首发于 python黑洞网 ，博客园同步更新 来源： https://www.cnblogs.com/pythonzhilian/p/12553890.html

本节内容 迭代器&生成器 装饰器 Json & pickle 数据序列化 软件目录结构规范 作业:ATM项目开发 1.列表生成式，迭代器&生成器 列表生成式 孩子，我现在有个需求，看列表 [0, 1, 2, 3, 4, 5, 6, 7, 8, 9],我要求你把列表里的每个值加1，你怎么实现？你可能会想到2种方式 1 >>> a 2 [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 3 >>> b = [] 4 >>> for i in a:b.append(i+1) 5 ... 6 >>> b 7 [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 8 >>> a = b 9 >>> a 10 [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 普通青年版 a = [1,3,4,6,7,7,8,9,11] for index,i in enumerate(a): a[index] +=1 print(a) 原值修改 1 >>> a 2 [1, 2, 3, 4, 5, 6, 7, 8, 9, 10] 3 >>> a = map(lambda x:x+1, a) 4 >>> a 5 <map object at 0x101d2c630> 6 >>> for i in a:print(i) 7 ... 8 3 9 5 10 7 11 9 12 11

内容概要 操作系统介绍 进程 线程 协程 二. 进程 python并发编程之多进程理论部分 在python程序中的进程操作 　　运行中的程序就是一个进程。所有的进程都是通过它的父进程来创建的。因此，运行起来的python程序也是一个进程，那么我们也可以在程序中再创建子进程。多个进程可以实现并发效果，也就是说，当我们的程序中存在多个进程的时候，在某些时候，就会让程序的执行速度变快。创建进程这个功能需要借助python中强大的模块。 multiprocess模块 　 multiprocess不是一个模块而是python中一个操作、管理进程的包。 这个包中几乎包含了和进程有关的所有子模块。大致分为四个部分：创建进程部分，进程同步部分，进程池部分，进程之间数据共享。 multiprocess.process模块 process模块介绍 　　process模块是一个创建进程的模块，借助这个模块，就可以完成进程的创建。 class Process(object): def __init__(self, group=None, target=None, name=None, args=(), kwargs={}): self.name = '' self.daemon = False self.authkey = None self.exitcode = None self.ident = 0