python多线程并发

粉丝朋友们，不知道大家看故事看腻了没（要是没腻可一定留言告诉我^_^），今天这篇文章换换口味，正经的来写写技术文。言归正传，咱们开始吧！ 本文结构： 需求背景 进击的Python Java和Python 给Python加速 寻找方向 Jython? Python->Native代码 整体思路 实际动手 关键问题 import的问题 Python GIL问题 测试效果 总结 需求背景 进击的Python 随着人工智能的兴起，Python这门曾经小众的编程语言可谓是焕发了第二春。 以tensorflow、pytorch等为主的机器学习／深度学习的开发框架大行其道，助推了python这门曾经以爬虫见长（python粉别生气）的编程语言在TIOBE编程语言排行榜上一路披荆斩棘，坐上前三甲的宝座，仅次于Java和C，将C++、JavaScript、PHP、C#等一众劲敌斩落马下。 当然，轩辕君向来是不提倡编程语言之间的竞争对比，每一门语言都有自己的优势和劣势，有自己应用的领域。 另一方面，TIOBE统计的数据也不能代表国内的实际情况，上面的例子只是侧面反映了Python这门语言如今的流行程度。 Java 还是 Python 说回咱们的需求上来，如今在不少的企业中，同时存在Python研发团队和Java研发团队，Python团队负责人工智能算法开发，而Java团队负责算法工程化

多线程 线程拥有自己独立的栈和共享的堆，共享堆，不共享栈，线程亦由操作系统调度(标准线程是的)。 　　thread在python3中被废弃了 　　python3中threading代替thread模块 　　为了兼容性 python3将thread改名为 “_thread” 　　python的标准库提供了两个模块 ，_thread（低级模块） 和 threading（高级模块） 1.threading 启动一个线程就是把一个函数传入并创建threading.Thread( )实例，然后调用start( )开始执行： import threading #导入线程模块 import time #线程函数 def foo(num): print('我的进程名字为:'+threading.current_thread().name) time.sleep(2) print(num) #创建进程 #callback:回调函数 一般用来接收子进程运行函数的返回值 t1 = threading.Thread(target=foo,args=(1,),callback=func) t2 = threading.Thread(target=foo,args=(2,)) #启动线程 t1.start() t2.start() #获取线程运行状态 True为运行 False为未运行 print(t1.is

线程池&进程池 在python2中没有提供，在python3之后才提供 作用：保证程序中最多可以创建的线程的个数 import time from concurrent.futures import ThreadPoolExecutordef task(n1,n2): time.sleep(1) print('星空不问赶路人')pool = ThreadPoolExecutor(10) # 创建线程池for i in range(100): pool.submit(task,i,1)pool.shutdown(True) # 等线程池中任务执行完毕之后，再继续往后走print('岁月不负有心人') import time from concurrent.futures import ThreadPoolExecutordef task(arg): time.sleep(1) print('星空不问赶路人') return '岁月不负有心人'ret = pool.map(task,range(1,20)) # 具有返回值print('end',ret)pool.shutdwon(True)for i in ret: print(i) # 直接输出i import timefrom concurrent.futures import ThreadPoolExecutordef task

Python是一门目前很流行的编程语言，因其语法简洁、功能强大、上手简单，目前已广泛应用于人工智能等领域，但是python运算效率低，具体是什么原因呢，下列罗列一些： 第一：python是动态语言 一个变量所指向对象的类型在运行时才确定，编译器做不了任何预测，也就无从优化。举一个简单的例子：　r = a + b。　a和b相加，但a和b的类型在运行时才知道，对于加法操作，不同的类型有不同的处理，所以每次运行的时候都会去判断a和b的类型，然后执行对应的操作。而在静态语言如C++中，编译的时候就确定了运行时的代码。 另外一个例子是属性查找，关于具体的查找顺序在《python属性查找》中有详细介绍。简而言之，访问对象的某个属性是一个非常复杂的过程，而且通过同一个变量访问到的python对象还都可能不一样（参见Lazy property的例子）。而在C语言中，访问属性用对象的地址加上属性的偏移就可以了。 第二：python是解释执行，但是不支持JIT（just in time compiler）。虽然大名鼎鼎的google曾经尝试Unladen Swallow 这个项目，但最终也折了。 第三：python中一切都是对象，每个对象都需要维护引用计数，增加了额外的工作。 第四：python GIL，GIL是Python最为诟病的一点，因为GIL，python中的多线程并不能真正的并发

队列(queue) 队列只在多线程里有意义，是一种线程安全的数据结构。 get与put方法 ''' 创建一个“队列”对象 import queue q = queue.Queue(maxsize = 10) queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。 将一个值放入队列中： q.put() 调用队列对象的put()方法在队尾插入一个项目。put()有两个参数，第一个item为必需的，为插入项目的值；第二个block为可选参数，默认为True。如果队列当前为空且block为True，put()方法就使调用线程暂停,直到空出一个数据单元。如果block为False，put方法将引发Full异常。 import queue q=queue.Queue(3) q.put(11) q.put(22) q.put(33) q.put(44,False) #queue.Full ==q.put_nowait() 将一个值从队列中取出 q.get() 调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block，默认为True。如果队列为空且block为True，get()就使调用线程暂停，直至有项目可用。如果队列为空且block为False

什么是python的生成器? python生成器是一个返回可以迭代对象的函数,可以被用作控制循环的迭代行为。生成器类似于返回值为数组的一个函数,这个函数可以接受参数,可以被调用,一般的函数会返回包括所有数值的数组,生成器一次只能返回一个值,这样消耗的内存将会大大减小。 yield生成器解释 Java抽象类和接口的区别? Java中,一个类可以实现多个接口,但是一个类只能继承一个抽象类。 接口中只包含接口签名,而抽象类可以提高默认实现,子类可以重载抽象类方法。 接口中默认的所有方法均为public修饰,而抽象类可以用protected修饰符。 接口中不允许定义任何属性,而抽象类中可以定义属性和常量在应用场景中。 在应用场景中使用接口来完成同一方法的不同实现,若不同的方法实现需要共享同样的行为或状态则用抽象类。 python中is和==的区别 is是用来判断两个变量引用的对象是否为同一个,==用于判断引用对象的值是否相等。可以通过id()函数查看引用对象的地址。 python方法解析顺序 Python的方法解析顺序优先级从高到低为:实例本身->类->继承类(继承关系越近,越先定义,优先级越高) 方法解析:是一种在多重继承中用于确定方法搜索顺序的算法. Ctrl+C程序挂掉还是抛出异常,如何判断两个dict是否一样,list头上删除元素,字符串拼接? Ctrl+C会挂掉程序

最近在群里，同学们对于 python基础课程 到底要学什么，一直不能很好的确定，那么我在这里针对python基础知识的几个阶段，做一个总结，新手朋友们，可以根据这个来进行学习，那么由于我是做web开发的，所以会从web的角度去涉及。 第一阶段知识---基础语法 （1） python的数据结构的认识： python所有数据结构的认识 字符串的使用以及字符串的相关方法 列表的使用以及列表的相关方法 字典的使用以及字典的相关方法 元组的使用以及远足的相关方法 （2）逻辑判断的使用 if else if elif else （3）循环的使用 for 循环的使用 while循环的使用 continue 与 break 在循环里的使用 集合 set的使用 （4）函数的学习 函数的定义 函数的返回 （5）异常的学习 try except 的使用 raise 的学习 了解python内部的异常方法 （6）类的学习 类的创建，init的使用，类的实例化 继承的学习 （7）包的概念 定义一个包 __init__.py 如何导入一个包 安装第三方包，esay_install 与 pip 第二阶段知识----基础内置包与内置函数的使用（顺序不分前后） （1）os 包的使用 使用场景如常用的获取文件夹内文件，检查文件夹或文件等操作 （2）sys包的使用 使用场景如调用系统命令等简单操作，添加系统path等

线程概念的引入背景 进程 　　之前我们已经了解了操作系统中进程的概念，程序并不能单独运行，只有将程序装载到内存中，系统为它分配资源才能运行，而这种执行的程序就称之为进程。程序和进程的区别就在于：程序是指令的集合，它是进程运行的静态描述文本；进程是程序的一次执行活动，属于动态概念。在多道编程中，我们允许多个程序同时加载到内存中，在操作系统的调度下，可以实现并发地执行。这是这样的设计，大大提高了CPU的利用率。进程的出现让每个用户感觉到自己独享CPU，因此，进程就是为了在CPU上实现多道编程而提出的。 有了进程为什么要有线程 　　进程有很多优点，它提供了多道编程，让我们感觉我们每个人都拥有自己的CPU和其他资源，可以提高计算机的利用率。很多人就不理解了，既然进程这么优秀，为什么还要线程呢？其实，仔细观察就会发现进程还是有很多缺陷的，主要体现在两点上： 进程只能在一个时间干一件事，如果想同时干两件事或多件事，进程就无能为力了。 进程在执行的过程中如果阻塞，例如等待输入，整个进程就会挂起，即使进程中有些工作不依赖于输入的数据，也将无法执行。 　　如果这两个缺点理解比较困难的话，举个现实的例子也许你就清楚了：如果把我们上课的过程看成一个进程的话，那么我们要做的是耳朵听老师讲课，手上还要记笔记，脑子还要思考问题，这样才能高效的完成听课的任务。而如果只提供进程这个机制的话

引子 　　之前我们学习了线程、进程的概念，了解了在操作系统中 进程是资源分配的最小单位,线程是CPU调度的最小单位。 按道理来说我们已经算是把cpu的利用率提高很多了。但是我们知道无论是创建多进程还是创建多线程来解决问题，都要消耗一定的时间来创建进程、创建线程、以及管理他们之间的切换。 　　随着我们对于效率的追求不断提高， 基于单线程来实现并发 又成为一个新的课题，即只用一个主线程（很明显可利用的cpu只有一个）情况下实现并发。这样就可以节省创建线进程所消耗的时间。 　　为此我们需要先回顾下并发的本质：切换+保存状态 　　cpu正在运行一个任务，会在两种情况下切走去执行其他的任务（切换由操作系统强制控制），一种情况是该任务发生了阻塞，另外一种情况是该任务计算的时间过长 　 　 　　ps：在介绍进程理论时，提及进程的三种执行状态，而线程才是执行单位，所以也可以将上图理解为线程的三种状态 　　 一：其中第二种情况并不能提升效率，只是为了让cpu能够雨露均沾，实现看起来所有任务都被“同时”执行的效果，如果多个任务都是纯计算的，这种切换反而会降低效率。 　　为此我们可以基于yield来验证。yield本身就是一种在单线程下可以保存任务运行状态的方法，我们来简单复习一下： #1 yiled可以保存状态，yield的状态保存与操作系统的保存线程状态很像，但是yield是代码级别控制的，更轻量级

4 python下多线程的限制以及多进程中传递参数的方式 python多线程有个全局解释器锁（global interpreter lock），这个锁的意思是任一时间只能有一个线程使用解释器，跟单cpu跑多个程序一个意思，大家都是轮着用的，这叫“并发”，不是“并行”。 多进程间共享数据，可以使用 multiprocessing.Value 和 multiprocessing.Array 5 python多线程与多进程的区别： 在UNIX平台上，当某个进程终结之后，该进程需要被其父进程调用wait，否则进程成为僵尸进程(Zombie)。所以，有必要对每个Process对象调用join()方法 (实际上等同于wait)。对于多线程来说，由于只有一个进程，所以不存在此必要性。 多进程应该避免共享资源。在多线程中，我们可以比较容易地共享资源，比如使用全局变量或者传递参数。在多进程情况下，由于每个进程有自己独立的内存空间，以上方法并不合适。此时我们可以通过共享内存和Manager的方法来共享资源。但这样做提高了程序的复杂度，并因为同步的需要而降低了程序的效率。 6 请写出一段Python代码实现删除一个list里面的重复元素 >>> l = [1,1,2,3,4,5,4] >>> list(set(l)) [1, 2, 3, 4, 5] 或者 d = {} for x in mylist: