python协程

引子 　　之前我们学习了线程、进程的概念，了解了在操作系统中 进程是资源分配的最小单位,线程是CPU调度的最小单位。 按道理来说我们已经算是把cpu的利用率提高很多了。但是我们知道无论是创建多进程还是创建多线程来解决问题，都要消耗一定的时间来创建进程、创建线程、以及管理他们之间的切换。 　　随着我们对于效率的追求不断提高， 基于单线程来实现并发 又成为一个新的课题，即只用一个主线程（很明显可利用的cpu只有一个）情况下实现并发。这样就可以节省创建线进程所消耗的时间。 　　为此我们需要先回顾下并发的本质：切换+保存状态 　　cpu正在运行一个任务，会在两种情况下切走去执行其他的任务（切换由操作系统强制控制），一种情况是该任务发生了阻塞，另外一种情况是该任务计算的时间过长 　 　 　　ps：在介绍进程理论时，提及进程的三种执行状态，而线程才是执行单位，所以也可以将上图理解为线程的三种状态 　　 一：其中第二种情况并不能提升效率，只是为了让cpu能够雨露均沾，实现看起来所有任务都被“同时”执行的效果，如果多个任务都是纯计算的，这种切换反而会降低效率。 　　为此我们可以基于yield来验证。yield本身就是一种在单线程下可以保存任务运行状态的方法，我们来简单复习一下： #1 yiled可以保存状态，yield的状态保存与操作系统的保存线程状态很像，但是yield是代码级别控制的，更轻量级

Python被誉为全世界高效的编程语言，同时也被称作是“胶水语言”，那它为何能如此受欢迎，下面我们就来说说Python入门学习的必备11个知识点，也就是它为何能够如此受欢迎的原因. Python 简介 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。 Python 是一种解释型语言： 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。 Python 是交互式语言： 这意味着，你可以在一个Python提示符，直接互动执行写你的程序。 Python 是面向对象语言: 这意味着Python支持面向对象的风格或代码封装在对象的编程技术。 Python 是初学者的语言：Python 对初级程序员而言，是一种伟大的语言，它支持广泛的应用程序开发，从简单的文字处理到 WWW 浏览器再到游戏。 Python 发展历史 Python 是由 Guido van Rossum 在八十年代末和九十年代初，在荷兰国家数学和计算机科学研究所设计出来的。 Python 本身也是由诸多其他语言发展而来的,这包括 ABC、Modula-3、C、C++、Algol-68、SmallTalk、Unix shell 和其他的脚本语言等等。 像

一、简介 协程是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是协程： 协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。 需要强调的是： # 1.python的线程属于内核级别的，即由操作系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cup执行权限，切换其它线程运行） # 2.单线程内开户协程，一旦遇到io，就会从应用程序级别（而非操作系统）控制切换，以此来提升效率（非io操作的切换与效率无关） 对比操作系统控制线程的切换，用户在单线程内控制协程的切换 优点如下： # 1.协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级 # 2.单线程内就可以实现并发的效果，最大限度地利用cpu 缺点如下： # 1.协程的本质是单线程，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程 # 2.协程指的是单线程，因而一旦协程出现阻塞，将会阻塞整个线程 总结协程特点： 1. 必须在只有一个单线程里实现并发 2. 修改共享数据不需要加锁 3. 用户程序里自己保存多个控制流的上下文栈 附加：一个协程遇到IO操作自动切换到其它协程（如何实现检测IO，yield，greenlet都无法实现，就用到了gevent模块（select机制）） 二、Greenlet 如果我们在单个线程内有20个任务

相关概念 并发： 指一个时间段内，有几个程序在同一个 cpu 上运行，但是任意时刻只有一个程序在cpu上运行。比如说在一秒内cpu切换了100个进程，就可以认为cpu的并发是100。 并行： 值任意时刻点上，有多个程序同时运行在cpu上，可以理解为多个cpu，每个cpu独立运行自己程序，互不干扰。并行数量和cpu数量是一致的。 我们平时常说的高并发而不是高并行，是因为cpu的数量是有限的，不可以增加。 形象的理解：cpu对应一个人，程序对应喝茶，人要喝茶需要四个步骤（可以对应程序需要开启四个线程）：1烧水，2备茶叶，3洗茶杯，4泡茶。 并发方式：烧水的同时做好2备茶叶，3洗茶杯，等水烧好之后执行4泡茶。这样比顺序执行1234要省时间。 并行方式：叫来四个人（开启四个进程），分别执行任务1234，整个程序执行时间取决于耗时最多的步骤。 同步 （ 注意同步和异步只是针对于I/O操作来讲的 ）值调用IO操作时，必须等待IO操作完成后才开始新的的调用方式。 异步 　指调用IO操作时，不必等待IO操作完成就开始新的的调用方式。 阻塞 指调用 函数 的时候，当前线程被挂起。 非阻塞 指调用 函数 的时候，当前线程不会被挂起，而是立即返回。 IO多路复用 　　sllect， poll， epoll都是IO多路复用的机制。IO多路复用就是通过这样一种机制：一个进程可以监听多个描述符

文章目录 ==已更新到第二篇完结== Python入门（目录全览） 第一篇 计算机基础 第二篇 Python解释器和集成环境 第三篇 Python基础 第四篇 Python进阶 第五篇 文件处理 第六篇 函数基础 第七篇 函数进阶 第八篇 模块基础 第九篇 Python常用模块 第十篇 面向对象基础 第十一篇 面向对象进阶 第十二篇 面向对象高阶 第十三篇 网络编程 第十四篇 并发编程 第十五篇 MySQL数据库 已更新到第二篇完结 Python入门（目录全览） 第一篇 计算机基础 002 计算机基础之编程 003 计算机组成原理 004 计算机操作系统 005 编程语言分类 006 网络的瓶颈效应 007 计算机基础小结 第二篇 Python解释器和集成环境 008 Python和Python解释器 009 Python解释器安装 010 Anaconada安装 011 Python解释器镜像源修改 012 执行Python程序的两种方式 013 Python的IDE之Pycharm的使用 014 Python的IDE之Jupyter的使用 015 pip的使用 第三篇 Python基础 017 变量 018 常量 019 Python变量内存管理 020 变量的三个特征 021 花式赋值 022 注释 023 数据类型基础 024 数字类型 025 字符串类型 026 列表类型

Python学习之路，点击有全套Python笔记 协程是什么 简单点说协程是进程和线程的升级版,进程和线程都面临着内核态和用户态的切换问题而耗费许多切换时间,而协程就是用户自己控制切换的时机,不再需要陷入系统的内核态. 迭代器 迭代器就是用于迭代操作(for 循环的对象)，它像列表一样可以迭代获取其中的每一个元素，任何实现了__next__方法的对象都可以称为迭代器。 它与列表的区别在于，构建迭代器的时候，不像列表把所有元素一次性加载到内存，而是以一种延迟计算方式返回元素。它并没有把所有元素装在到内存中，而是等到调用next方法的时候才返回元素 生成器 方法一：把列表生成器的[]改成() 方法二：只要函数里有yield关键字，就被称为生成器 yield关键字有两点作用： 保存当前运行状态（断点），然后暂停执行，即将生成器（函数）挂起 将yield关键字后面表达式的值作为返回值返回，此时可以理解为起到了return的作用 可以使用next()函数让生成器从断点处继续执行，即唤醒生成器（函数） Python3中的生成器可以使用return返回最终运行的返回值。 # 用yield实现协程 import time def task_1 ( ) : while True : print ( "-----1-----" ) time . sleep ( 0.1 ) yield def task

Python中的进程与线程 学习知识，我们不但要知其然，还是知其所以然。你做到了你就比别人NB。 我们先了解一下什么是进程和线程。 进程与线程的历史 我们都知道计算机是由硬件和软件组成的。硬件中的CPU是计算机的核心，它承担计算机的所有任务。 操作系统是运行在硬件之上的软件，是计算机的管理者，它负责资源的管理和分配、任务的调度。 程序是运行在系统上的具有某种功能的软件，比如说浏览器，音乐播放器等。 每次执行程序的时候，都会完成一定的功能，比如说浏览器帮我们打开网页，为了保证其独立性，就需要一个专门的管理和控制执行程序的数据结构——进程控制块。 进程就是一个程序在一个数据集上的一次动态执行过程。 进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成；数据集则是程序在执行过程中所需要使用的资源；进程控制块用来记录进程的外部特征，描述进程的执行变化过程，系统可以利用它来控制和管理进程，它是系统感知进程存在的唯一标志。 在早期的操作系统里，计算机只有一个核心，进程执行程序的最小单位，任务调度采用时间片轮转的抢占式方式进行进程调度。每个进程都有各自的一块独立的内存，保证进程彼此间的内存地址空间的隔离。 随着计算机技术的发展，进程出现了很多弊端，一是进程的创建、撤销和切换的开销比较大，二是由于对称多处理机（对称多处理机

第一部分 必答题 简述 OSI 7层模型及其作用？（2分） 应用层：与用户直接交互，软件、网站等 表示层：使用软件、网站可以查看的数据，图片等 会话层：保持登录状态，电脑中为cookie 传输层：选择TCP/UDP协议，进行数据发送。 网络层：通过IP路径寻址，并且对数据进行封装 数据链路层：使用mac地址寻址，又进行了数据封装 物理层：将上面得到的数据转化为信号 简述 TCP三次握手、四次回收的流程。（3分） 三次握手： 第一次握手：Client将标志设置为SYN=1，随机产生一个seq=J，并将该数据包发送给server，client进入SYN_SENT状态，等待server确认。 第二次握手：server收到数据包后由标志位SYN=1知道client请求建立链接，server将标志位SYN和ACK都设置为1，ack=J+1，随机产生一个值seq=K，并将数据包发送给client确认连接，server进入syn_rcvd状态。 第三次握手：client收到确认后，检查ack是否为J+1,ACK是否为1，如果正确则将标志位ACK设置为1，ack=K+1，并将该数据包发送给server，server检查ack是否为K+1,ACK是否为1，如果正确则建立链接，client和server进入ESTABALISED状态，完成三次握手。 四次挥手： 第一次挥手

写python协程时使用gevent模块和queue模块可以大大提高爬虫速度。在同时爬取多个网站时，原来用for循环一个网站一个网站按循序顺序爬，就像先烧饭后烧菜，两个步骤异步进行。使用多协程可以让爬虫自己选择爬取顺序，就像边烧饭边烧菜，两个步骤同步进行，速度自然快了。 不多说了，来看下代码吧： from gevent import monkey monkey.patch_all() #打上多协程布丁，下面的程序就可以执行多协程了 import requests,gevent,csv from gevent.queue import Queue from bs4 import BeautifulSoup #把所有URL都放到一个列表里： url_list=[] i=1 for i in range(10): i=i+1 url='http://www.mtime.com/top/tv/top100/index-'+str(i)+'.html' url_list.append(url) #第一个url和别的不一样，需要单独加入 url_0='http://www.mtime.com/top/tv/top100/' url_list.append(url_0) headers={ 'User-Agent': } csv_file=open('时光网电影列表.csv','a+'

import threading if __name__ == '__main__': ct = threading.currentThread print(ct().getName()) print(ct().name) # MainThread # MainThread threading.currentThread 当前的线程对象 线程池实现 起一定数量的线程 线程从任务列表中获取处理对象 task队列最后插入结束标志的对象，终止线程 task = queue.Queue() # 基于deque的队列 task.get() # 如果没有内容，会阻塞在这里 task.put(obj) # 添加处理对象 python3 建议使用 concurrent，使用协程效率更佳，与时俱进。 # [https://www.cnblogs.com/lovesoo/p/7741576.html#_label2](https://www.cnblogs.com/lovesoo/p/7741576.html#_label2) 来源： oschina 链接： https://my.oschina.net/redhands/blog/3164814