ThreadPoolExecutor详解

FixedThreadPool详解

SingleThreadExecutor详解

CachedThreadPool详解

ScheduledThreadPoolExecutor详解

ScheduledThreadPoolExecutor的运行机制

ScheduledThreadPoolExecutor的实现

在Java中，使用线程来异步执行任务。Java线程的创建与销毁需要一定的开销，如果我们为每一个任务创建一个新线程来执行，这些线程的创建与销毁将消耗大量的计算资源。同时，为每一个任务创建一个新线程来执行，这种策略可能会使处于高负荷状态的应用最终崩溃。

Java的线程既是工作单元，也是执行机制。从JDK5开始，把工作单元与执行机制分离开来。工作单元包括Runable和Callable, 而执行机制由Executor框架提供。

Executor框架简介

Executor框架的两级调度模型

在HotSpotVM的线程模型中，Java线程(java.lang. Thread)被一对一映射为本地操作系统线程。Java线程启动时会创建一个本地操作系统线程；当该Java线程终止时，这个操作系统线程也会被回收。操作系统会调度所有线程并将它们分配给可用的CPU。

在上层，Java多线程程序通常把应用分解为若干个任务，然后使用用户级的调度器 (Executor框架）将这些任务映射为固定数量的线程；在底层，橾作系统内核将这些线程映射到硬件处理器上。这种两级调度模型的示意图如图。

从图中可以看出，应用程序通过Executor框架控制上层的调度；而下层的调度由操作系统内核控制，下层的调度不受应用程序的控制。

Executor框架的结构与成员

本文将分两部分来介绍Executor : Executor的结构和Executor框架包含的成员组件。

Executor框架的结构

Executor框架主要由3大部分组成如下。

任务。包括被执行任务需要实现的接口： Runnable接口或Callable接口。

任务的执行。包括任务执行机制的核心接口Executor, 以及继承自Executor的 ExecutorService接口。Executor框架有两个关键类实现了Executor Service接口 (ThreadPoolExecutor和ScheduledThreadPoolExecutor)。

异步计算的结果。包括接口Future和实现Future接口的FutureTask类。 Executor框架包含的主要的类与接口如图所示。

下面是这些类和接口的简介。

Executor是一个接口，它是Executor框架的基础，它将任务的提交与任务的执行分离开来。

ThreadPoolExecutor是线程池的核心实现类，用来执行被提交的任务。

ScheduledThreadPoolExecutor是一个实现类，可以在给定的延迟后运行命令，或者定期执行命令。ScheduledThreadPoolExecutor比Timer更灵活，功能更强大。

Future接口和实现Future接口的FutureTask类，代表异步计算的结果。

·Runnable接口和Callable接口的实现类，都可以被ThreadPoolExecutor或ScheduledThreadPoolExecutor执行。

Executor框架的使用示意图如图

主线程首先要创建实现Runnable或者Callable接口的任务对象。工具类Executors可以把一个Runnable对象封装为一个Callable对象(Executors.callable (Runnable task)或Executors.callable (Runnable task, Object result))。

然后可以把Runnable对象直接交给ExecutorService执行(ExecutorService.execute (Runnable command)); 或者也可以把Runnable对象或Callable对象提交给ExecutorService执行(ExecutorService.submit(Runnable task)或ExecutorService.submit (Callable<T>task))。

如果执行ExecutorService.submit(...), ExecutorService将返回一个实现Future接口的对象（到目前为止的JDK中，返回的是FutureTask对象）。由于FutureTask实现了Runnable, 程序员也可以创建FutureTask, 然后直接交给ExecutorService执行。

最后，主线程可以执行Future Task.get()方法来等待任务执行完成。主线程也可以执行FutureTask.cancel (boolean maylnterruptlfRunning)来取消此任务的执行。

Executor框架的成员

Executor框架的主要成员： ThreadPoolExecutor、ScheduledThreadPoolExecutor、 Future接口、Runnable接口、Callable接口和Executors。

(1) ThreadPoolExecutor

ThreadPoolExecutor通常使用工厂类Executors来创建。Executors可以创建3种类型的 ThreadPoolExecutor: SingleThreadExecutor、FixedThreadPool和CachedThreadPool。

下面分别介绍这3种ThreadPoolExecutor。

1) FixedThreadPool。下面是Executors提供的，创建使用固定线程数的FixedThreadPool的API。

FixedThreadPool适用于为了满足资源管理的需求，而需要限制当前线程数量的应用场景，它适用于负载比较重的服务器。

2) SingleThreadExecutor。下面是Executors提供的，创建使用单个线程的Single ThreadExecutor的API。

Single ThreadExecutor适用于需要保证顺序地执行各个任务；并且在任意时间点，不会有多个线程是活动的应用场景。

3) CachedThreadPool。下面是Executors提供的创建一个会根据需要创建新线程的 CachedThreadPool的API。

CachedThreadPool是大小无界的线程池，适用于执行很多的短期异步任务的小程序，或者是负载较轻的服务器。

(2) ScheduledThreadPoolExecutor

Schedul edThreadPoo !Executor通常使用工厂类Executors来创建。Executors可以创建2种类型的ScheduledThreadPoolExecutor, 如下。

ScheduledThreadPoolExecutor。包含若干个线程的ScheduledThreadPoolExecutor。

SingleThreadScheduledExecutor。只包含一个线程的ScheduledThreadPoolExecutor。

下面分别介绍这两种ScheduledThreadPoolExecutor。

下面是工厂类Executors提供的创建固定个数线程的ScheduledThreadPoolExecutor的API。

Schedul edThreadPoolExecutor适用于需要多个后台线程执行周期任务，同时为了满足资源管理的需求而需要限制后台线程的数量的应用场景。下面是Executors提供的，创建单个线程的SingleThreadScheduledExecutor的API。

Single ThreadSchedul edExecutor适用于需要单个后台线程执行周期任务，同时需要保证顺序地执行各个任务的应用场景。

(3) Future接口

Future接口和实现Future接口的FutureTask类用来表示异步计算的结果。当我们把Runnable 接口或Callable接口的实现类提交(submit)给ThreadPoolExecutor或 Schedul edThreadPoolExecutor时，ThreadPoolExecutor或Schedul edThreadPoolExecutor会向我们返回一个FutureTask对象。下面是对应的API。

到目前最新的JDK8为止，Java通过上述API返回的是一个 FutureTask对象。但从API可以看到，Java仅仅保证返回的是一个实现了Future接口的对象。在将来的JDK实现中，返回的可能不一定是FutureTask。

(4)Runnable接口和Callable接口

Runnable接口和Callable接口的实现类，都可以被ThreadPoolExecutor或ScheduledThreadPoolExecutor执行。它们之间的区别是Runnable不会返回结果，而Callable可以返回结果。

除了可以自己创建实现Callable接口的对象外，还可以使用工厂类Executors来把一个 Runnable包装成一个Callable。

下面是Executors提供的，把一个Runnable包装成一个Callable的API。

前面讲过，当我们把一个Callable对象（比如上面的Callable1或Callable2)提交给 ThreadPoolExecutor或ScheduledThreadPoolExecutor执行时，submit(...)会向我们返回一个 FutureTask对象。我们可以执行FutureTask get()方法来等待任务执行完成。当任务成功完成后 FutureTask get()将返回该任务的结果。例如，如果提交的是对象Callable1, FutureTask.get()方法将返回null; 如果提交的是对象Callable2, FutureTask.get()方法将返回result对象。

ThreadPoolExecutor详解

Executor框架最核心的类是ThreadPoolExecutor, 它是线程池的实现类，主要由下列4个组件构成。

corePool: 核心线程池的大小。

maximumPool: 最大线程池的大小。

BlockingQueue : 用来暂时保存任务的工作队列。

Rej ectedExecuti onHandl er : 当ThreadPoolExecutor已经关闭或ThreadPoolExecutor已经饱和时（达到了最大线程池大小且工作队列已满），execute()方法将要调用的Handler。

通过Executor框架的工具类Executors, 可以创建3种类型的ThreadPoolExecutor。

FixedThreadPool。

Single ThreadExecutor。

CachedThreadPool。

下面将分别介绍这3种ThreadPoolExecutor。

FixedThreadPool详解

FixedThreadPool被称为可重用固定线程数的线程池。下面是FixedThreadPool的源代码实现。

FixedThreadPool的corePoolSize和maximumPoolSize都被设置为创建F ixedThreadPool时指定的参数nThreads。

当线程池中的线程数大于corePoolSize时，keep Ali veTime为多余的空闲线程等待新任务的最长时间，超过这个时间后多余的线程将被终止。这里把keep Ali veTime设置为0L, 意味着多余的空闲线程会被立即终止。

FixedThreadPool的execute()方法的运行示意图如图

1)如果当前运行的线程数少于corePoolSize, 则创建新线程来执行任务。

2)在线程池完成预热之后（当前运行的线程数等于corePoolSize), 将任务加入 LinkedBlockingQueue。

3)线程执行完1中的任务后，会在循环中反复从LinkedBlockingQueue获取任务来执行。

FixedThreadPool使用无界队列LinkedBlockingQueue作为线程池的工作队列（队列的容量为 Integer.MAX_VALUE)。使用无界队列作为工作队列会对线程池带来如下影响。

1)当线程池中的线程数达到corePoolSize后，新任务将在无界队列中等待，因此线程池中的线程数不会超过corePoolSize。

2)由于1, 使用无界队列时maxmumPoolSize将是一个无效参数。

3)由于1和2, 使用无界队列时keep Ali veTime将是一个无效参数。

4)由于使用无界队列，运行中的FixedThreadPool (未执行方法shutdown()或 shutdownNow())不会拒绝任务（不会调用RejectedExecuti onHandler.rejectedExecuti on方法）。

SingleThreadExecutor详解

Single ThreadExecutor是使用单个worker线程的Executor。下面是SingleThreadExecutor的代码实现。

Single ThreadExecutor的corePoolSize和maximumPoolSize被设置为1。其他参数与FixedThreadPool相同。Single ThreadExecutor使用无界队列LinkedBlockingQueue作为线程池的工作队列（队列的容量为Integer.MAX_VALUE)。Single ThreadExecutor使用无界队列作为工作队列对线程池带来的影响与FixedThreadPool相同，这里就不赘述了。

1)如果当前运行的线程数少于corePoolSize (即线程池中无运行的线程），则创建一个新线程来执行任务。

2)在线程池完成预热之后（当前线程池中有一个运行的线程），将任务加入LinkedBlockingQueue。

3)线程执行完1中的任务后，会在一个无限循环中反复从LinkedBlockingQueue获取任务来执行。

CachedThreadPool详解

CachedThreadPool是一个会根据需要创建新线程的线程池。下面是创建Cached ThreadPool的源代码。

CachedThreadPool的corePoolSize被设置为0, 即corePool为空； maximumPoolSize被设置为Integer.MAX_VALUE, 即maximumPool是无界的。这里把keep Ali veTime设置为60L, 意味着CachedThreadPool中的空闲线程等待新任务的最长时间为60秒，空闲线程超过60秒后将会被终止。

FixedThreadPool和Single ThreadExecutor使用无界队列LinkedBlockingQueue作为线程池的工作队列。CachedThreadPool使用没有容量的Synchronous Queue作为线程池的工作队列，但 CachedThreadPool的maximumPool是无界的。这意味着如果主线程提交任务的速度高于 maximurnPool中线程处理任务的速度时，CachedThreadPool会不断创建新线程。极端情况下， CachedThreadPool会因为创建过多线程而耗尽CPU和内存资源。

CachedThreadPool的execute()方法的执行示意图如图

1)首先执行SynchronousQueue.offer (Runnable task).如果当前maximumPool中有空闲线程正在执行SynchronousQueue.poll (keepAliveTime, Time Unit.NANOSECONDS), 那么主线程执行 offer操作与空闲线程执行的poll操作配对成功，主线程把任务交给空闲线程执行，execute()方法执行完成；否则执行下面的步骤2。

2)当初始maximumPool为空，或者maximumPool中当前没有空闲线程时，将没有线程执行 SynchronousQueue.poll(keepAliveTime, Time Unit.NANOSECONDS)。这种情况下，步骤1将失败。此时CachedThreadPool会创建一个新线程执行任务，execute()方法执行完成。

3)在步骤2中新创建的线程将任务执行完后，会执行SynchronousQueue.poll (keepAliveTime, Time Unit.NANOSECONDS)。这个poll操作会让空闲线程最多在Synchronous Queue中等待60秒钟。如果60秒钟内主线程提交了一个新任务（主线程执行步骤1)), 那么这个空闲线程将执行主线程提交的新任务；否则，这个空闲线程将终止。由于空闲60秒的空闲线程会被终止，因此长时间保持空闲的CachedThreadPool不会使用任何资源。

前面提到过Synchronous Queue是一个没有容量的阻塞队列。每个插入操作必须等待另一个线程的对应移除橾作，反之亦然。CachedThreadPool使用Synchronous Queue, 把主线程提交的任务传递给空闲线程执行。CachedThreadPool中任务传递的示意图如图

ScheduledThreadPoolExecutor详解

Schedul edThreadPoolExecutor继承自ThreadPoolExecutor。它主要用来在给定的延迟之后运行任务，或者定期执行任务。ScheduledThreadPoolExecutor的功能与Timer类似，但 Schedul edThreadPoolExecutor功能更强大、更灵活。Timer对应的是单个后台线程，而 Schedul edThreadPoolExecutor可以在构造函数中指定多个对应的后台线程数。

ScheduledThreadPoolExecutor的运行机制

Schedul edThreadPoolExecutor的执行示意图（本文基于JDK6)如图所示。

DelayQueue是一个无界队列，所以ThreadPoolExecutor的maximumPoolSize在ScheduledThreadPoolExecutor中没有什么意义（设置maximumPoolSize的大小没有什么效果）。

ScheduledThreadPoolExecutor的执行主要分为两大部分。

1)当调用Schedul edThreadPoolExecutor的schedul eAtFixedRate()方法或者schedule WithFixedDelay()方法时，会向ScheduledThreadPoolExecutor的DelayQueue添加一个实现了 RunnableScheduledFutur接口的ScheduledFuture Task。

2)线程池中的线程从DelayQueue中获取ScheduledFutureTask, 然后执行任务。

Schedul edThreadPoolExecutor为了实现周期性的执行任务，对ThreadPoolExecutor做了如下的修改。

使用DelayQueue作为任务队列。

获取任务的方式不同（后文会说明）。

执行周期任务后，增加了额外的处理（后文会说明）。

ScheduledThreadPoolExecutor的实现

前面我们提到过Schedul edThreadPoolExecutor会把待调度的任务(ScheduledFutureTask) 放到一个DelayQueue中。

Schedul edFuture Task主要包含3个成员变量，如下。

long型成员变量time, 表示这个任务将要被执行的具体时间。

long型成员变量sequenceNumber, 表示这个任务被添加到ScheduledThreadPoolExecutor中的序号。

long型成员变量period, 表示任务执行的间隔周期。

DelayQueue封装了一个Priori tyQueue, 这个PriorityQueue会对队列中的ScheduledFutureTask排序。排序时，time小的排在前面（时间早的任务将被先执行）。如果两个 Schedul edFuture Task的time相同，就比较sequenceNumber, sequenceNumber小的排在前面（也就是说如果两个任务的执行时间相同，那么先提交的任务将被先执行）。

首先，让我们看看Schedul edThreadPoolExecutor中的线程执行周期任务的过程。图是Schedul edThreadPoolExecutor中的线程1执行某个周期任务的4个步骤。

下面是对这4个步骤的说明。

1)线程1从DelayQueue中获取已到期的ScheduledFutureTask (DelayQueue. take())。到期任务是指ScheduledFutureTask的time大于等于当前时间。

2)线程1执行这个ScheduledFutureTask。

3)线程1修改ScheduledFutureTask的time变量为下次将要被执行的时间。

4)线程1把这个修改time之后的ScheduledFutureTask放回DelayQueue中(DelayQueue.add())。

接下来，让我们看看上面的步骤1)获取任务的过程。下面是DelayQueue. take()方法的源代码实现。

DelayQueue. take()的执行示意图。

如图所示，获取任务分为3大步骤。

1)获取Lock。

2)获取周期任务。

如果Priori tyQueue为空，当前线程到Condition中等待否则执行下面的2.2。

如果Priori tyQueue的头元素的time时间比当前时间大，到Condition中等待到time时间；否则执行下面的2.3。

获取Priori tyQueue的头元素(2.3.1) ; 如果Priori tyQueue不为空，则唤醒在Condition中等待的所有线程(2.3.2)。

3)释放Lock。

ScheduledThreadPoolExecutor在一个循环中执行步骤2, 直到线程从Priori tyQueue获取到一个元素之后（执行2.3.1之后），才会退出无限循环（结束步骤2)。

最后，让我们看看Schedul edThreadPoolExecutor中的线程执行任务的步骤4, 把 Schedul edFuture Task放入DelayQueue中的过程。下面是DelayQueue.add()的源代码实现。

DelayQueue.add()的执行示意图。

如图所示，添加任务分为3大步骤。

1)获取Lock。

2)添加任务。向PriorityQueue添加任务。如果在上面2.1中添加的任务是Priori tyQueue的头元素，唤醒在Condition中等待的所有线程。

3)释放Lock。

FutureTask详解

Future接口和实现Future接口的FutureTask类，代表异步计算的结果。

FutureTask简介

FutureTask除了实现Future接口外，还实现了Runnable接口。因此，FutureTask可以交给 Executor执行，也可以由调用线程直接执行(Future Task.run())。根据Future Task.run()方法被执行的时机，FutureTask可以处于下面3种状态。

1)未启动。Future Task.run()方法还没有被执行之前，FutureTask处于未启动状态。当创建一个FutureTask, 且没有执行Future Task.run()方法之前，这个FutureTask处于未启动状态。

2)Task.run()方法被执行的过程中，FutureTask处于已启动状态。

3)Task.run()方法执行完后正常结束，或被取消(Future Task.cancel (...)) , 或执行Future Task.run()方法时抛出异常而异常结束，FutureTask处于已完成状态。

图是FutureTask的状态迁移的示意图。

当FutureTask处于已完成状态时，执行Future Task. get()方法将导致调用线程立即返回结果或抛出异常。

当FutureTask处于未启动状态时，执行Future Task.cancel()方法将导致此任务永远不会被执行

当FutureTask处于已启动状态时，执行FutureTask.cancel (true)方法将以中断执行此任务线程的方式来试图停止任务

当FutureTask处于已启动状态时，执行FutureTask.cancel (false)方法将不会对正在执行此任务的线程产生影响（让正在执行的任务运行完成）

当FutureTask处于已完成状态时，执行Future Task.cancel (...)方法将返回false。

get方法和cancel方法的执行示意图。

FutureTask的使用

可以把FutureTask交给Executor执行；也可以通过ExecutorService.submit (...)方法返回一个 FutureTask, 然后执行Future Task.get()方法或Future Task.cancel (...)方法。除此以外，还可以单独使用FutureTask。

当一个线程需要等待另一个线程把某个任务执行完后它才能继续执行，此时可以使用 FutureTask。假设有多个线程执行若干任务，每个任务最多只能被执行一次。当多个线程试图同时执行同一个任务时，只允许一个线程执行任务，其他线程需要等待这个任务执行完后才能继续执行。下面是对应的示例代码。

当两个线程试图同时执行同一个任务时，如果Thread 1执行1.3后Thread 2执行2.1, 那么接下来Thread 2将在2.2等待，直到Thread 1执行完1.4后Thread 2才能从2.2 (Future Task.get())返回。

FutureTask的实现

FutureTask的实现基于AbstractQueuedSynchronizer (以下简称为AQS)。java.util.concurrent中的很多可阻塞类（比如ReentrantLock)都是基于AQS来实现的。AQS是一个同步框架，它提供通用机制来原子性管理同步状态、阻塞和唤醒线程，以及维护被阻塞线程的队列。JDK6中AQS 被广泛使用，基于AQS实现的同步器包括： ReentrantLock、Semaphore、ReentrantReadWri teLock、 CountDownLatch和FutureTask。

每一个基于AQS实现的同步器都会包含两种类型的操作，如下。

至少一个acquire操作。这个操作阻塞调用线程，除非／直到AQS的状态允许这个线程继续执行。FutureTask的acquire操作为get()/get(long timeout, TimeUnit unit)方法调用。

至少一个release橾作。这个操作改变AQS的状态，改变后的状态可允许一个或多个阻塞线程被解除阻塞。FutureTask的release操作包括run()方法和cancel(. ..)方法。

基于“复合优先于继承＂的原则，FutureTask声明了一个内部私有的继承于AQS的子类 Sync, 对FutureTask所有公有方法的调用都会委托给这个内部子类。

AQS被作为“模板方法模式”的基础类提供给FutureTask的内部子类Sync, 这个内部子类只需要实现状态检查和状态更新的方法即可，这些方法将控制FutureTask的获取和释放橾作。具体来说，Sync实现了AQS的tryAcquireShared (int)方法和tryReleaseShared (int)方法，Sync通过这两个方法来检查和更新同步状态。

FutureTask的设计示意图如图

如图所示，Sync是FutureTask的内部私有类，它继承自AQS。创建FutureTask时会创建内部私有的成员对象Sync, FutureTask所有的的公有方法都直接委托给了内部私有的Sync。

Future Task get()方法会调用AQS.acquireSharedinterruptibly(int arg)方法，这个方法的执行过程如下。

1)调用AQS.acquireSharedlnterruptibly(int arg)方法，这个方法首先会回调在子类Sync中实现的try Acquire Shared()方法来判断acquire操作是否可以成功。acquire操作可以成功的条件为： state为执行完成状态RAN或已取消状态CANCELLED, 且runner不为null。

2)如果成功则get()方法立即返回。如果失败则到线程等待队列中去等待其他线程执行 release橾作。

3)当其他线程执行release操作（比如Future Task.run()或Future Task.cancel (...))唤醒当前线程后，当前线程再次执行try Acquire Shared()将返回正值1, 当前线程将离开线程等待队列并唤醒它的后继线程（这里会产生级联唤醒的效果，后面会介绍）。

4)最后返回计算的结果或抛出异常。

Future Task.run()的执行过程如下。

1)执行在构造函数中指定的任务(Callable.call())。

2)以原子方式来更新同步状态（调用AQS.compareAndSetState (int expect, int upclate), 设置 state为执行完成状态RAN,如果这个原子操作成功，就设置代表计算结果的变量result的值为 Callable.call()的返回值，然后调用AQS.releaseShared(int arg)。

3) AQS.releaseShared (int arg)首先会回调在子类Sync中实现的tryR.eleaseShared (arg)来执行release操作（设置运行任务的线程runner为null, 然会返回true) ; AQS.releaseShared (int arg), 然后唤醒线程等待队列中的第一个线程。

4)调用Future Task. done()。

当执行Future Task. get()方法时，如果FutureTask不是处于执行完成状态RAN或已取消状态 CANCELLED, 当前执行线程将到AQS的线程等待队列中等待（见下图的线程A、B、C和D)。当某个线程执行Future Task.run()方法或FutureTask.cancel (…）方法时，会唤醒线程等待队列的第一个线程（见图10-16所示的线程E唤醒线程A)。