epoll函数

一 了解select，poll，epoll IO复用：为了解释这个名词，首先来理解下复用这个概念，复用也就是共用的意思，这样理解还是有些抽象， 为此，咱们来理解下复用在通信领域的使用，在通信领域中为了充分利用网络连接的物理介质， 往往在同一条网络链路上采用时分复用或频分复用的技术使其在同一链路上传输多路信号，到这里我们就基本上理解了复用的含义， 即公用某个“介质”来尽可能多的做同一类(性质)的事，那IO复用的“介质”是什么呢？为此我们首先来看看服务器编程的模型， 客户端发来的请求服务端会产生一个进程来对其进行服务，每当来一个客户请求就产生一个进程来服务，然而进程不可能无限制的产生， 因此为了解决大量客户端访问的问题，引入了IO复用技术，即：一个进程可以同时对多个客户请求进行服务。 也就是说IO复用的“介质”是进程(准确的说复用的是select和poll，因为进程也是靠调用select和poll来实现的)， 复用一个进程(select和poll)来对多个IO进行服务，虽然客户端发来的IO是并发的但是IO所需的读写数据多数情况下是没有准备好的， 因此就可以利用一个函数(select和poll)来监听IO所需的这些数据的状态，一旦IO有数据可以进行读写了，进程就来对这样的IO进行服务。 理解完IO复用后，我们在来看下实现IO复用中的三个API(select、poll和epoll

select，poll，epoll简介 select select本质上是通过设置或者检查存放fd标志位的数据结构来进行下一步处理。这样所带来的缺点是： 1 单个进程可监视的fd 数量被限制 2 需要维护一个用来存放大量fd的数据结构，这样会使得用 户空间和内核空间在传递该结构时复制开销大 3 对socket进行扫描时是 线性扫描 poll poll本质上和select没有区别，它将用户传入的数组拷贝到内核空间，然后 查询每个fd对应的设备状态，如果设备就绪则在设备等待队列中加入一项并继续遍历，如果遍历完所有fd后没有发现就绪设备，则挂起当前进程，直到设备就绪或者主动超时，被唤醒后它又要再次遍历fd。这个过程经历了多次无谓的遍历。 它 没有最大连接数的限制 ，原因是它是基于链表来存储的，但是同样有一个缺点： 大量的fd的数组被整体 复制于用户态和内核地址空间之间 ，而不管这样的复制是不是有意义。 poll还有一个特点是“水平触发” ， 如果报告了fd后，没有被处理，那么下次poll时会再次报告该fd 。 epoll epoll支持水平触发和边缘触发，最大的特点在于边缘触发， 它只告诉进程哪些fd刚刚变为就需态，并且只会通知一次。 在前面说到的复制问题上，epoll使用mmap减少复制开销。 还有一个特点是， epoll使用“事件”的就绪通知方式，通过epoll_ctl注册fd

场景：mac 下导入的 ‘select’ 包 import select， 然后在 主函数 中创建的 epoll 对象 epl = select.epoll()，运行报错如下 Traceback (most recent call last): File "tests.py", line 77, in <module> emsc.run() File "tests.py", line 16, in run epoll = select.epoll() AttributeError: module 'select' has no attribute 'epoll' python官方文档介绍 select.epoll([sizehint=-1]) (Only supported on Linux 2.5.44 and newer.) Returns an edge polling object, which can be used as Edge or Level Triggered interface for I/O events; see section Edge and Level Trigger Polling (epoll) Objects below for the methods supported by epolling objects. 答案：仅仅支持Linux2.5

golang版本1.12.9；操作系统：readhat 7.4 golang的底层使用epoll来实现IO复用。netPoll将文件描述符与底层进行了绑定。netpoll实现了用户的与底层网络IO相关的goroutine阻塞/非阻塞管理。 对netpoll的介绍按照这篇 文章 的思路按照tcp建链中的listen/accept/read/write/close动作详解过程。 下面以TCP为例完整解析TCP的建链/断链以及读写过程 listen流程： ListenTCP --> listenTCP --> internetSocket --> socket --> listenStream unix的listen函数用于将一个socket转换为监听socket。golang中同时结合了创建socket的步骤。 // src/net/tcpsock.gofunc ListenTCP(network string, laddr *TCPAddr) (*TCPListener, error) { switch network { //支持tcp协议为”tcp4“和“tcp6”，当使用"tcp"时可以通过地址格式进行判断 case "tcp", "tcp4", "tcp6": default: return nil, &OpError{Op: "listen", Net: network,

大并发服务器框架 大并发服务器设计目标 高性能(High Performance). 要求编写出来的服务器能够最大限度发挥机器性能, 使得机器在满负荷的情况下能够处理尽可能多的并发请求, 对于大量并发请求能够及时快速做出响应 高可用(High Availability). 要求服务器7*24小时服务, 故障转移 伸缩性(Scalability). 服务器具有良好框架, 分层设计, 业务分离, 并且能够进行灵活部署 分布式: 负载均衡 分布式存储 分布式计算 C/S结构: 任何网络系统都可以抽象为C/S结构(客户端, 服务端) 网络I/O+服务器高性能编程技术+数据库 超出数据库连接数: 数据库并发连接数10个, 应用服务器这边有1000个并发请求, 将会有990个请求失败. 解决办法: 增加一个中间层DAL(数据库访问控制层), 一个队列进行排队 超出时限: 数据库并发连接数10个, 数据库1秒钟之内最能处理1000个请求, 应用服务器这边有10000个并发请求, 会出现0-10秒的等待. 如果系统规定响应时间5秒, 则该系统不能处理10000个并发请求, 这时数据库并发能力5000, 数据出现瓶颈. 数据库瓶颈缓解 提高数据库的并发能力 队列+连接池(DAL) 主要逻辑挪到应用服务器处理, 数据库只做辅助的业务处理. 在数据库上进行计算能力或处理处理逻辑不如操作系统效率高. --

1. 引言 同步（synchronous） I/O和异步（asynchronous） I/O，阻塞（blocking） I/O和非阻塞（non-blocking）I/O分别是什么，到底有什么区别？这个问题其实不同的人给出的答案都可能不同，比如wiki，就认为asynchronous I/O和non-blocking I/O是一个东西。这其实是因为不同的人的知识背景不同，并且在讨论这个问题的时候上下文(context)也不相同。所以，为了更好的回答这个问题，我先限定一下本文的上下文。 本文讨论的背景是Linux环境下的network I/O。 本文最重要的参考文献是Richard Stevens的“UNIX® Network Programming Volume 1, Third Edition: The Sockets Networking ”，6.2节“I/O Models ”，Stevens在这节中详细说明了各种I/O的特点和区别，如果英文够好的话，推荐直接阅读。Stevens的文风是有名的深入浅出，所以不用担心看不懂。本文中的流程图也是截取自参考文献。 Linux下的五种I/O模型 阻塞I/O（blocking I/O） 非阻塞I/O （nonblocking I/O） I/O复用(select 和poll) （I/O multiplexing） 信号驱动I/O

// IO多路复用，事件驱动+非阻塞，实现一个线程完成对多个fd的监控和响应，提升CPU利用率 // epoll优点: // 1.select需要每次调用select时拷贝fd，epoll_ctl拷贝一次，epoll_wait就不需要重复拷贝 // 2.不需要像select遍历fd做检查，就绪的会被加入就绪list，遍历list完成处理 // 3.没有最大连接限制，与最大文件数目相关：cat /proc/sys/fs/file-max，与内存相关 // epoll实现相关: // 1.epoll_ctl,将fd的event使用RB tree保存，读写O(logN)； // 2.一旦有event，内核负责添加到rdlist链表 // 3.epoll_wait检查链表看是否有事件，并进行处理 // Ref // https://www.cnblogs.com/lojunren/p/3856290.html // http://blog.chinaunix.net/uid-28541347-id-4273856.html // Question: // 是否需要每个event一个实例？ #include <cstdlib> /* exit() */ #include <cstdio> /* perror(): 打印信息+发生错误的原因，可用于定位。 */ #include

原文作者：杨阳 1. eventfd/timerfd 简介 目前越来越多的应用程序采用事件驱动的方式实现功能，如何高效地利用系统资源实现通知的管理和送达就愈发变得重要起来。在Linux系统中，eventfd是一个用来通知事件的文件描述符，timerfd是的定时器事件的文件描述符。二者都是内核向用户空间的应用发送通知的机制，可以有效地被用来实现用户空间的事件/通知驱动的应用程序。 简而言之，就是eventfd用来触发事件通知，timerfd用来触发将来的事件通知。 开发者使用eventfd相关的系统调用，需要包含头文件；对于timerfd，则是。 系统调用eventfd/timerfd自linux 2.6.22版本加入内核，由Davide Libenzi最初实现和维护。 2. 接口及参数介绍 eventfd 对于eventfd，只有一个系统调用接口 1int eventfd(unsigned int initval, int flags); 创建一个eventfd对象，或者说打开一个eventfd的文件，类似普通文件的open操作。 该对象是一个内核维护的无符号的64位整型计数器。初始化为initval的值。 flags可以以下三个标志位的OR结果： EFD_CLOEXEC：FD_CLOEXEC，简单说就是fork子进程时不继承，对于多线程的程序设上这个值不会有错的。 EFD

1、支持一个进程所能打开的最大连接数 select 单个进程所能打开的最大连接数有FD_SETSIZE宏定义，其大小是32个整数的大小（在32位的机器上，大小就是32 32，同理64位机器上FD_SETSIZE为32 64），当然我们可以对进行修改，然后重新编译内核，但是性能可能会受到影响，这需要进一步的测试。 poll poll本质上和select没有区别，但是它没有最大连接数的限制，原因是它是基于链表来存储的 epoll 虽然连接数有上限，但是很大，1G内存的机器上可以打开10万左右的连接，2G内存的机器可以打开20万左右的连接 2、FD剧增后带来的IO效率问题 select 因为每次调用时都会对连接进行线性遍历，所以随着FD的增加会造成遍历速度慢的“线性下降性能问题”。 poll 同上 epoll 因为epoll内核中实现是根据每个fd上的callback函数来实现的，只有活跃的socket才会主动调用callback，所以在活跃socket较少的情况下，使用epoll没有前面两者的线性下降的性能问题，但是所有socket都很活跃的情况下，可能会有性能问题。 3、 消息传递方式 select 内核需要将消息传递到用户空间，都需要内核拷贝动作 poll 同上 epoll epoll通过内核和用户空间共享一块内存来实现的。 总结： 综上，在选择select，p oll

内容目录 什么是EPOLL EPOLL接口 EPOLL机制 两张图 什么是EPOLL 摘录自manpage介绍 man：epoll（7） epoll（4） epoll is a variant of poll(2) that can be used either as an edge-triggered or a level-triggered interface and scales well to large numbers of watched file descriptors. EPOLL接口 epoll_create (or epoll_create1) epoll_create opens an epoll file descriptor by requesting the kernel to allocate an event backing store dimensioned for size descriptors. epoll_ctl epoll_ctl() opens an epoll file descriptor by requesting the kernel to allocate an event backing store dimensioned for size descriptors. epoll_wait The epoll_wait()