epoll函数

介绍： Python中的select模块专注于I/O多路复用，提供了select poll epoll三个方法(其中后两个在Linux中可用，windows仅支持select)，另外也提供了kqueue方法(freeBSD系统) select方法： 进程指定内核监听哪些文件描述符(最多监听1024个fd)的哪些事件，当没有文件描述符事件发生时，进程被阻塞；当一个或者多个文件描述符事件发生时，进程被唤醒。 当我们调用select()时： 　　1 上下文切换转换为内核态 　　2 将fd从用户空间复制到内核空间 　　3 内核遍历所有fd，查看其对应事件是否发生 　　4 如果没发生，将进程阻塞，当设备驱动产生中断或者timeout时间后，将进程唤醒，再次进行遍历 　　5 返回遍历后的fd 　　6 将fd从内核空间复制到用户空间 fd:file descriptor 文件描述符 fd_r_list, fd_w_list, fd_e_list = select.select(rlist, wlist, xlist, [timeout]) 参数： 可接受四个参数（前三个必须）rlist: wait until ready for readingwlist: wait until ready for writingxlist: wait for an “exceptional condition

推荐阅读 Linux IO模式及 select、poll、epoll详解 补充：epoll的回调机制 epoll是对select系统调用的改善，适用于同时关注文件比较多的时候的一个中优化方法，例如一个具有大量连接的系统。 那么select的缺点在哪里呢？ 当select被唤醒的时候，它并不知道是被哪个或者哪些文件唤醒的，所以它要对位图中所有的文件进行遍历查询(调用该文件的poll接口)。 可以想象，如果select的文件比较多，并且大部分文件都是不活跃的，那么这些select中的大部分poll将会没有任何意义。 所以epoll就使用一个相对智能的回调机制： 当某个文件准备好之后要唤醒等待线程时，它不是简单的把等待者设置为可运行，它还会进一步在等待者的结构中刻上“XXX到此一游”，这样，当线程被唤醒之后，它就可以通过这些留言看到是谁唤醒了自己，而不是逐个询问刚才是谁把我唤醒了。 这里就体现了软件中比较常用的“回调机制”(callback)，当然有些比较通俗的叫法就叫做“钩子”(hook)，也就是在某些事件发生的时候知会一些实体，知会的方法就是调用对方提供的钩子函数。因为可能某一个实体对一个事件的发生很感兴趣，但是这个事件并不是随时随地都会发生的，而具体在什么时候发生只有"体制内"流程才知道。比方说你去一个地方找一个同事A，但是他不在，你可能会给他附近的同事B说：

read 函数返回值 >0 ：实际读到的字节数 =0 ：socket中，表示对端关闭 close（） -1 ： 如果errno = EINTR 被异常中断。需要重启。 如果errno =EAGIN 或 EWOULDBLOCK 以非阻塞的方式读数据，但是没有数据。需要再次读 如果errno = ECONNRESET 说明连接被重置。需要close（）。 移除监听队列 错误 突破 1024 文件描述符限制 cat /proc/sys/fs/file-max 当前计算机能打开的最大文件个数。受硬件影响 ulimit -a -->当前用户下的进程。默认打开文件件描述符个数 缺省 为 1024 修改： 打开 sudo vi /etc/security/limits.conf 写入 * soft nofile 65536 -->设置默认值 可以直接借助命令修改【注销用户 使其生效】 * hard nofile 100000 --》命令修改上限 命令修改： ulimit -n 21000 突破 1024 文件描述符限制 cat /proc/sys/fs/file-max 当前计算机能打开的最大文件个数。受硬件影响 ulimit -a -->当前用户下的进程。默认打开文件件描述符个数 缺省 为 1024 修改： 打开 sudo vi /etc/security/limits.conf 写入 *

同步与异步 ： 同步就是一个任务的完成需要依赖另外一个任务时，只有等待被依赖的任务完成后，依赖的任务才能算完成。 异步是不需要等待被依赖的任务完成，只是通知被依赖的任务要完成什么工作，依赖的任务也立即执行，只要自己完成了整个任务就算完成了，异步一般使用状态、通知和回调。 阻塞与非阻塞 阻塞是指调用结果返回之前，当前线程会被挂起，一直处于等待消息通知，不能够执行其他业务。 非阻塞是指在不能立刻得到结果之前，该函数不会阻塞当前线程，而会立刻返回。 五种IO模型 对于一次IO访问，数据会先被拷贝到内核的缓冲区中，然后才会从内核的缓冲区拷贝到应用程序的地址空间。需要经历两个阶段： 1. 准备数据 2. 将数据从内核缓冲区拷贝到进程地址空间 由于存在这两个阶段，Linux产生了下面五种IO模型。 阻塞IO 当用户进程调用了recvfrom调用时，内核进入IO的第一个阶段：准备数据（内核需要等待足够的数据再拷贝），这个过程需要等待，用户进程会被阻塞，等内核将数据准备好，然后拷贝到用户地址空间，内核返回结果，用户进程才从阻塞态进入就绪态。 Linux中，默认情况下所有的socket都是阻塞的。 非阻塞IO 当用户进程发出read操作时，如果kernel中的数据还没有准备好，那么它并不会block用户进程，而是立刻返回一个error。用户进程判断结果是一个error时，它就知道数据还没有准备好

IO复用是Linux中的IO模型之一，IO复用就是进程预先告诉内核需要监视的IO条件，使得内核一旦发现进程指定的一个或多个IO条件就绪，就通过进程进程处理，从而不会在单个IO上阻塞了。Linux中，提供了select、poll、epoll三种接口函数来实现IO复用。 1、select函数 #include <sys/select.h> #include <sys/time.h> int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout); // 返回：若有就绪描述符则为其个数，超时为0，出错-1 nfds参数指定了被监听文件描述符的个数，通常设置为监听的所有描述符最大值加1，因为文件描述符是从0开始的。readfs、writefds和exceptfds分别对应可读、可写和异常等事件文件描述符集合，当调用select时，通过这3个参数传入自己感兴趣的文件描述符，select函数返回后，内核通过修改他们来通知应用程序那些文件描述符已经就绪。 fd_set结构体包含一个整形数组，该数组中每一个元素的每一位标记一个文件描述符，fd_set容纳的文件描述符数量由FD_SETSIZE指定，这就限制了select能同时处理的文件描述符最大个数

文章目录 多路复用selector 多路复用 unix内核中的select/epoll/poll select poll epoll 代码样例 多路复用selector 多路复用 I/O多路复用，I/O是指网络I/O, 多路指多个TCP连接(即socket或者channel），复用指复用一个或几个线程；简单来说：就是使用一个或者几个线程处理多个TCP连接；最大优势是减少系统开销小，不必创建过多的进程/线程，也不必维护这些进程/线程；多路复用分为三种形式select/epoll/poll，在 Java 中, Selector 这个类是 select/epoll/poll 的外包类 , 在不同的平台上, 底层的实现可能有所不同, 但其基本原理是一样的, 其原理图如下所示: unix内核中的select/epoll/poll select 函数： int select ( int maxfdp1 , fd_set * readset , fd_set * writeset , fd_set * exceptset , const struct timeval * timeout ) 返回值：就绪描述符的数目，超时返回 0 ，出错返回 - 1 maxfdp1：描述符个数 * readset、 * writeset、 * exceptset：读、写和异常条件的描述字 * timeout

一、阻塞I/O 首先，要从你常用的IO操作谈起，比如read和write，通常IO操作都是阻塞I/O的，也就是说当你调用read时，如果没有数据收到，那么线程或者进程就会被挂起，直到收到数据。阻塞的意思，就是一直等着。阻塞I/O就是等着数据过来，进行读写操作。应用的函数进行调用，但是内核一直没有返回，就一直等着。应用的函数长时间处于等待结果的状态，我们就称为阻塞I/O。每个应用都得等着，每个应用都在等着，浪费啊！很像现实中的情况。大家都不干活，等着数据过来，过来工作一下，没有的话继续等着。 二、非阻塞I/O 非阻塞IO很简单，通过fcntl（POSIX）或ioctl（Unix）设为非阻塞模式，这时，当你调用read时，如果有数据收到，就返回数据，如果没有数据收到，就立刻返回一个错误，如EWOULDBLOCK。这样是不会阻塞线程了，但是你还是要不断的轮询来读取或写入。相当于你去查看有没有数据，告诉你没有，过一会再来吧！应用过一会再来问，有没有数据？没有数据，会有一个返回。但是依旧很不好。应用必须得过一会来一下，问问内核有木有数据啊。这和现实很像啊！好多情况都得去某些地方问问好了没有？木有，明天再过来。明天，好了木有？木有，后天再过来。。。。。忙碌的应用。。。。 三、I/O多路复用 多路复用是指使用一个线程来检查多个文件描述符（Socket）的就绪状态

除了自己实现之外，还有个c语言写的基于事件的开源网络库：libevent http://www.cnblogs.com/Anker/p/3265058.html 最简单的select示例： #include <stdio.h> #include <sys/time.h> #include <sys/types.h> #include <unistd.h> #define STDIN 0 // file descriptor for standard input int main(void) { struct timeval tv; fd_set readfds; tv.tv_sec = 2; tv.tv_usec = 500000; FD_ZERO(&readfds); FD_SET(STDIN, &readfds); // don't care about writefds and exceptfds: select(STDIN+1, &readfds, NULL, NULL, &tv); if (FD_ISSET(STDIN, &readfds)) printf("A key was pressed!\n"); else printf("Timed out.\n"); return 0; } select、poll、epoll之间的区别总结[整理] select，poll

Redis 事件处理实现 Redis事件介绍 Redis服务器是一个事件驱动程序。下面先来简单介绍什么是事件驱动。 所谓事件驱动，就是当你输入一条命令并且按下回车，然后消息被组装成Redis协议的格式发送给Redis服务器，这就会产生一个事件，Redis服务器会接收该命令，处理该命令和发送回复，而当你没有与服务器进行交互时，那么服务器就会处于阻塞等待状态，会让出CPU从而进入睡眠状态，当事件触发时，就会被操作系统唤醒。事件驱动使CPU更高效的利用。 事件驱动是一种概括和抽象，也可以称为I/O多路复用（I/O multiplexing），它的实现方式各个系统都不同，一会会说到Redis的方式。 在redis服务器中，处理了两类事件： 文件事件（file event）：Redis服务器通过套接字于客户端（或其他Redis服务器）进行连接，而文件事件就是服务器对套接字操作的抽象。 时间事件（time event）：Redis服务器的一些操作需要在给定的事件点执行，而时间事件就是服务器对这类定时操作的抽象。 2. 事件的抽象 Redis将这两个事件分别抽象成一个数据结构来管理。redis 所有源码注释 2.1 文件事件结构 /* File event structure */ typedef struct aeFileEvent { // 文件时间类型：AE_NONE，AE

Android系统消息处理机制 前言 在Android应用开发中，主线程一般都是UI操作，子线程去完成一些耗时操作。主线程会一直等待系统或者用户的响应，从而完成对UI的渲染和显示。在学些之前，先了解两个linux的知识点： 管道(pipe)：管道是一种IPC机制，作用于有血缘关系的进程之间，完成数据传递，调用pipe系统函数可创建一个管道。其本质是一个虚拟文件（实际为内核缓冲区），采用半双工通信方式，数据只能在一个方向流动。 int pipe ( int pipefd [ 2 ] ) ; //成功：0；失败：-1，设置errno 函数调用成功后返回r/w两个文件描述符，无需open，但要显示的close，fd[0] --> r，fd[1] --> w，向管道文件读写数据实际上是在读写内核缓冲区。下面是完成进程间通信的调用逻辑： 父进程调用pipe函数创建管道，得到两个文件描述符fd[0]、fd[1]指向管道的读写端。 父进程调用fork创建子进程，那么子进程也有两个文件描述符指向同一管道。 3)父进程关闭管道读端，子进程关闭管道写端。父进程可以向管道中写入数据，子进程向管道中的数据读出，由于管道是利用环形缓冲区实现得，数据从写端流入管道，从读端流出，这样就实现了进程间通信。 epoll 机制：epoll是linux内核的一种可拓展的IO事件处理机制