信号量

############### 信号量和事件 ############## # 信号量 # 信号量就是控制只能有n个线程能访问这段代码 # from threading import Semaphore,Thread # import time # def func(sem,a,b): # sem.acquire() # time.sleep(1) # print(a+b) # sem.release() # # sem = Semaphore(4) # for i in range(10): # t = Thread(target=func,args=(sem,i,i+5)) # t.start() # 事件： # 事件被创建的时候是false状态，这个false状态会导致wait被阻塞， # true状态的时候，wait就不阻塞了 # clear，设置为false # set，设置状态未false， # 上次举例的是红绿灯的例子， # 现在我们举一个例子，检测数据库的可连接情况 # 启动两个线程， # 第一个线程连接数据库， # 等待一个信号，告诉我们之间的网络是通的 # 第二个线程，检测和数据自己之间的网络是否是通的 # 通了之后把事件的状态改为true， import time,random from threading import Thread,Event def

　JUC包中的锁，包括：Lock接口，ReadWriteLock接口，LockSupport阻塞原语，Condition条件，AbstractOwnableSynchronizer/AbstractQueuedSynchronizer/AbstractQueuedLongSynchronizer三个抽象类，ReentrantLock独占锁，ReentrantReadWriteLock读写锁。由于CountDownLatch，CyclicBarrier和Semaphore也是通过AQS来实现的；因此，我也将它们归纳到锁的框架中进行介绍。 　　先看看锁的框架图，如下所示。 01. Lock接口 　　JUC包中的 Lock 接口支持那些语义不同(重入、公平等)的锁规则。所谓语义不同，是指锁可是有"公平机制的锁"、"非公平机制的锁"、"可重入的锁"等等。"公平机制"是指"不同线程获取锁的机制是公平的"，而"非公平机制"则是指"不同线程获取锁的机制是非公平的"，"可重入的锁"是指同一个锁能够被一个线程多次获取。 02. ReadWriteLock 　　ReadWriteLock 接口以和Lock类似的方式定义了一些读取者可以共享而写入者独占的锁。JUC包只有一个类实现了该接口，即 ReentrantReadWriteLock，因为它适用于大部分的标准用法上下文。但程序员可以创建自己的

本文首发于 vivo互联网技术 微信公众号 链接： https://mp.weixin.qq.com/s/ZqkmoAR4JEYr0x0Suoq7QQ 作者：马运杰 本文通过阅读Tomcat启动和关闭流程的源码，深入分析不同的Tomcat关闭方式背后的原理，让开发人员能够了解在使用不同的关闭方式时需要注意的点，避免因JVM进程异常退出导致的各种非预见性错误。 一、 Tomcat的启动过程 要了解Tomcat关闭的原理，首先需要关注下Tomcat是如何启动的。这里我们简单介绍下。 Tomcat启动的入口是Bootstrap类中的main方法，而后根据server.xml中的配置，对Server、Service、Enigin、Connector、Host、Context等组件进行初始化，之后便是启动这些组件。我们重点来看下启动之后，Tomcat做了哪些工作。 在Tomcat的各组件启动完毕之后，main主线程会进入Catalina.out的await()方法，而此方法又是主要调用了Server组件的await()方法，从名字便可以看出，这个方法的目的是为了阻塞当前线程（main主线程）。 分析await的源码（源码比较长，这里截取了部分，全部的可以自行拉取Tomcat源码进行阅读）。 （StandardServer.await()） 我们发现await()方法主要是根据server

英文 | I'm not feeling the async pressure 【1】 原作 | Armin Ronacher，2020.01.01 译者 | 豌豆花下猫@Python猫 声明 ：本翻译基于 CC BY-NC-SA 4.0 【2】授权协议，内容略有改动，转载请保留原文出处，请勿用于商业或非法用途。 异步（async）正风靡一时。异步Python、异步Rust、go、node、.NET，任选一个你最爱的语言生态，它都在使用着一些异步。异步这东西有多好，这在很大程度上取决于语言的生态及其运行时间，但总体而言，它有一些不错的好处。它使得这种事情变得非常简单：等待可能需要一些时间才能完成的操作。 它是如此简单，以至于创造了无数新的方法来坑人（blow ones foot off）。我想讨论的一种情况是，直到系统出现超载，你才意识到自己踩到了脚的那一种，这就是背压（back pressure）管理的主题。在协议设计中有一个相关术语是流量控制（flow control）。 什么是背压 关于背压的解释有很多，我推荐阅读的一个很好的解释是： Backpressure explained — the resisted flow of data through software 【3】。因此，与其详细介绍什么是背压，我只想对其做一个非常简短的定义和解释：背压是阻碍数据在系统中流通的阻力

本文首发于 vivo互联网技术 微信公众号 链接： https://mp.weixin.qq.com/s/ZqkmoAR4JEYr0x0Suoq7QQ 作者：马运杰 本文通过阅读Tomcat启动和关闭流程的源码，深入分析不同的Tomcat关闭方式背后的原理，让开发人员能够了解在使用不同的关闭方式时需要注意的点，避免因JVM进程异常退出导致的各种非预见性错误。 一、 Tomcat的启动过程 要了解Tomcat关闭的原理，首先需要关注下Tomcat是如何启动的。这里我们简单介绍下。 Tomcat启动的入口是Bootstrap类中的main方法，而后根据server.xml中的配置，对Server、Service、Enigin、Connector、Host、Context等组件进行初始化，之后便是启动这些组件。我们重点来看下启动之后，Tomcat做了哪些工作。 在Tomcat的各组件启动完毕之后，main主线程会进入Catalina.out的await()方法，而此方法又是主要调用了Server组件的await()方法，从名字便可以看出，这个方法的目的是为了阻塞当前线程（main主线程）。 分析await的源码（源码比较长，这里截取了部分，全部的可以自行拉取Tomcat源码进行阅读）。 （StandardServer.await()） 我们发现await()方法主要是根据server

内核同步措施：为了避免并发防止竞争，内核提供了一组同步方法来提供对共享数据的保护。 Linux同步机制从2.0到2.6以来不断发展完善。从最初的原子操作，到后来的信号量，从大内核锁到自旋锁。这些同步机制的发展伴随 Linux 从单处理器到对称多处理器 的过度，伴随着从非抢占内核到抢占内核的过度。锁机制越来越有效，也越来越复杂。 目前，内核中原子操作多用来做计数使用，其它情况最常用的是两种锁及它们的变种: 一个是自旋锁，另一个是信号量。 自旋锁 ：专为防止多处理器并发而引入的一种锁，它在内核中大量应用于中断处理等部分(对于单处理器来说，防止中断处理中的并发可简单采用关闭中断的方式，不需要自旋锁)。 自旋锁最多只能被一个内核任务持有 ，如果一个内核任务试图请求一个已被争用(已经被持有)的自旋锁，那么这个任务就会一直进行忙循环——旋转——等待锁重新可用。要是锁未被争用，请求它的内核任务便能立刻得到它并且继续进行。自旋锁可以在任何时刻防止多于一个的内核任务同时进入临界区，因此这种锁可有效地避免多处理器上并发运行的内核任务竞争共享资源。 事实上，自旋锁的初衷就是：在短期间内进行轻量级的锁定。一个被争用的自旋锁使得请求它的线程在等待锁重新可用的期间进行自旋(特别浪费处理器时间)，所以 自旋锁不应该被持有时间过长 。如果需要长时间锁定的话, 最好使用信号量。 自旋锁的基本形式如下： spin

内核同步措施 为了避免并发，防止竞争。内核提供了一组同步方法来提供对共享数据的保护。 我们的重点不是介绍这些方法的详细用法，而是强调为什么使用这些方法和它们之间的差别。 Linux 使用的同步机制可以说从2.0到2.6以来不断发展完善。从最初的原子操作，到后来的信号量，从大内核锁到今天的自旋锁。这些同步机制的发展伴随 Linux从单处理器到对称多处理器的过度；伴随着从非抢占内核到抢占内核的过度。锁机制越来越有效，也越来越复杂。 目前来说内核中原子操作多用来做计数使用，其它情况最常用的是两种锁以及它们的变种:一个是自旋锁，另一个是信号量。我们下面就来着重介绍一下这两种锁机制。 自旋锁 ------------------------------------------------------ 自旋锁是专为防止多处理器并发而引入的一种锁，它在内核中大量应用于中断处理等部分(对于单处理器来说，防止中断处理中的并发可简单采用关闭中断的方式，不需要自旋锁)。 自旋锁最多只能被一个内核任务持有，如果一个内核任务试图请求一个已被争用(已经被持有)的自旋锁，那么这个任务就会一直进行忙循环——旋转——等待锁重新可用。要是锁未被争用，请求它的内核任务便能立刻得到它并且继续进行。自旋锁可以在任何时刻防止多于一个的内核任务同时进入临界区，因此这种锁可有效地避免多处理器上并发运行的内核任务竞争共享资源。

为了避免并发，防止竞争。内核提供了一组同步方法来提供对共享数据的保护。 我们的重点不是介绍这些方法的详细用法，而是强调为什么使用这些方法和它们之间的差别。 Linux 使用的同步机制可以说从2.0到2.6以来不断发展完善。从最初的原子操作，到后来的信号量，从大内核锁到今天的自旋锁。这些同步机制的发展伴随 Linux从单处理器到对称多处理器的过度；伴随着从非抢占内核到抢占内核的过度。锁机制越来越有效，也越来越复杂。 目前来说内核中原子操作多用来做计数使用，其它情况最常用的是两种锁以及它们的变种:一个是自旋锁，另一个是信号量。我们下面就来着重介绍一下这两种锁机制。 自旋锁 ------------------------------------------------------ 自旋锁是专为防止多处理器并发而引入的一种锁，它在内核中大量应用于中断处理等部分(对于单处理器来说，防止中断处理中的并发可简单采用关闭中断的方式，不需要自旋锁)。 自旋锁最多只能被一个内核任务持有，如果一个内核任务试图请求一个已被争用(已经被持有)的自旋锁，那么这个任务就会一直进行忙循环——旋转——等待锁重新可用。要是锁未被争用，请求它的内核任务便能立刻得到它并且继续进行。自旋锁可以在任何时刻防止多于一个的内核任务同时进入临界区，因此这种锁可有效地避免多处理器上并发运行的内核任务竞争共享资源。 事实上

一、线程模型： 线程是程序中完成一个独立任务的完整执行序列，即一个可调度的实体。根据运行环境和调度者的身份，线程可分为 内核线程和 用户线程。 内核线程：运行在内核空间，由内核来调度； 用户线程：运行在用户空间，由线程库来调用。 当进程的一个内核线程获得CPU的使用权时，它就加载并运行一个用户线程。可见，内核程序相当于用户线程运行的容器。一个进程可以拥有M个内核线程和N个用户线程，其中M≤N。并且在一个系统的所有进程中，M和N的比值都是固定的。按照M:N的取值，线程的实现方式可分为三种模式： 完全在用户空间实现、 完全由内核调度和 双层调度。 1、完全在用户空间实现的线程无须内核的支持，内核甚至根本不知道这些现成的存在。线程库负责管理所有执行线程，比如线程的优先级、时间片等。线程库利用longjmp来切换线程的执行，使它们看起来像是“并发”执行的。但实际上内核仍然是把整个进程作为最小单位来调度的。换句话说，一个进程的所有执行线程共享该进程的时间片，它们对外表现出相同的优先级。因此，对于这种实现方式而言，M=1，即N个用户空间线程对应1个内核线程，而该内核线程实际上就是进程本身。 完全在用户空间实现的线程的优点是：创建和调度线程都无需内核的干预，因此速度相当快。并且由于它不占用额外的内核资源，所以即使一个进程创建了很多线程，也不会对系统性能造成明显的影响。其缺点是：对于多处理器系统

管道( pipe )：管道是一种半双工的通信方式，数据只能单向流动，而且只能在具有亲缘关系的进程间使用。进程的亲缘关系通常是指父子进程关系。 命名管道 (named pipe) ： 命名管道也是半双工的通信方式，但是它允许无亲缘关系进程间的通信。 信号量( semophore ) ： 信号量是一个计数器，可以用来控制多个进程对共享资源的访问。它常作为一种锁机制，防止某进程正在访问共享资源时，其他进程也访问该资源。因此，主要作为进程间以及同一进程内不同线程之间的同步手段。 消息队列( message queue ) ： 消息队列是由消息的链表，存放在内核中并由消息队列标识符标识。消息队列克服了信号传递信息少、管道只能承载无格式字节流以及缓冲区大小受限等缺点。 信号 ( sinal ) ： 信号是一种比较复杂的通信方式，用于通知接收进程某个事件已经发生。 共享内存( shared memory ) ：共享内存就是映射一段能被其他进程所访问的内存，这段共享内存由一个进程创建，但多个进程都可以访问。共享内存是最快的 IPC 方式，它是针对其他进程间通信方式运行效率低而专门设计的。它往往与其他通信机制，如信号量，配合使用，来实现进程间的同步和通信。 套接字( socket ) ： 套接字也是一种进程间通信机制，与其他通信机制不同的是，它可用于不同及其间的进程通信。 来源： https:/