poll

golang版本1.12.9；操作系统：readhat 7.4 golang的底层使用epoll来实现IO复用。netPoll将文件描述符与底层进行了绑定。netpoll实现了用户的与底层网络IO相关的goroutine阻塞/非阻塞管理。 对netpoll的介绍按照这篇 文章 的思路按照tcp建链中的listen/accept/read/write/close动作详解过程。 下面以TCP为例完整解析TCP的建链/断链以及读写过程 listen流程： ListenTCP --> listenTCP --> internetSocket --> socket --> listenStream unix的listen函数用于将一个socket转换为监听socket。golang中同时结合了创建socket的步骤。 // src/net/tcpsock.gofunc ListenTCP(network string, laddr *TCPAddr) (*TCPListener, error) { switch network { //支持tcp协议为”tcp4“和“tcp6”，当使用"tcp"时可以通过地址格式进行判断 case "tcp", "tcp4", "tcp6": default: return nil, &OpError{Op: "listen", Net: network,

大并发服务器框架 大并发服务器设计目标 高性能(High Performance). 要求编写出来的服务器能够最大限度发挥机器性能, 使得机器在满负荷的情况下能够处理尽可能多的并发请求, 对于大量并发请求能够及时快速做出响应 高可用(High Availability). 要求服务器7*24小时服务, 故障转移 伸缩性(Scalability). 服务器具有良好框架, 分层设计, 业务分离, 并且能够进行灵活部署 分布式: 负载均衡 分布式存储 分布式计算 C/S结构: 任何网络系统都可以抽象为C/S结构(客户端, 服务端) 网络I/O+服务器高性能编程技术+数据库 超出数据库连接数: 数据库并发连接数10个, 应用服务器这边有1000个并发请求, 将会有990个请求失败. 解决办法: 增加一个中间层DAL(数据库访问控制层), 一个队列进行排队 超出时限: 数据库并发连接数10个, 数据库1秒钟之内最能处理1000个请求, 应用服务器这边有10000个并发请求, 会出现0-10秒的等待. 如果系统规定响应时间5秒, 则该系统不能处理10000个并发请求, 这时数据库并发能力5000, 数据出现瓶颈. 数据库瓶颈缓解 提高数据库的并发能力 队列+连接池(DAL) 主要逻辑挪到应用服务器处理, 数据库只做辅助的业务处理. 在数据库上进行计算能力或处理处理逻辑不如操作系统效率高. --

poll函数的实现及原理： poll实际上和select类似，都是在内核中开辟一个空间，但是不是监控每种事件，poll监控的是事件结构化的事件集合； 1.函数模型： struct pollfd{ int fd; short events;//监控的事件 short revents;//就绪的事件 } 常用的事件就是POLLIN和POLLOUT： #include <poll.h> int poll(struct pollfd *fds, nfds_t nfds, int timeout); 2.poll函数原理： 1.用户定义事件数组，对描述符添加关心事件； 2.poll实现监控也是将数据拷贝到内核中，然后进行轮询遍历监控，性能随着文件描述符增多而下降； 3.用户根据返回的revents判断哪一个事件就绪然后重新操作； 4.poll也不会告诉用户哪一个描述符就绪，只是告诉用户有就绪事件，需要用户遍历查找； 3.poll的优点和缺点： 优点： 1）采用事件结构的方式对描述符进行监控，简化了多个事件集合的监控方式； 2）没有描述符的具体上限； 缺点： 1）不能跨平台； 2）随着描述符增多性能下降； poll已经被淘汰了，因为他的功能可以使用其他模型替代，而且性能高，比如epoll；select比poll的优点就是poll不能跨平台；但是比起epoll来说poll一无是处。 4

1. 引言 同步（synchronous） I/O和异步（asynchronous） I/O，阻塞（blocking） I/O和非阻塞（non-blocking）I/O分别是什么，到底有什么区别？这个问题其实不同的人给出的答案都可能不同，比如wiki，就认为asynchronous I/O和non-blocking I/O是一个东西。这其实是因为不同的人的知识背景不同，并且在讨论这个问题的时候上下文(context)也不相同。所以，为了更好的回答这个问题，我先限定一下本文的上下文。 本文讨论的背景是Linux环境下的network I/O。 本文最重要的参考文献是Richard Stevens的“UNIX® Network Programming Volume 1, Third Edition: The Sockets Networking ”，6.2节“I/O Models ”，Stevens在这节中详细说明了各种I/O的特点和区别，如果英文够好的话，推荐直接阅读。Stevens的文风是有名的深入浅出，所以不用担心看不懂。本文中的流程图也是截取自参考文献。 Linux下的五种I/O模型 阻塞I/O（blocking I/O） 非阻塞I/O （nonblocking I/O） I/O复用(select 和poll) （I/O multiplexing） 信号驱动I/O

// IO多路复用，事件驱动+非阻塞，实现一个线程完成对多个fd的监控和响应，提升CPU利用率 // epoll优点: // 1.select需要每次调用select时拷贝fd，epoll_ctl拷贝一次，epoll_wait就不需要重复拷贝 // 2.不需要像select遍历fd做检查，就绪的会被加入就绪list，遍历list完成处理 // 3.没有最大连接限制，与最大文件数目相关：cat /proc/sys/fs/file-max，与内存相关 // epoll实现相关: // 1.epoll_ctl,将fd的event使用RB tree保存，读写O(logN)； // 2.一旦有event，内核负责添加到rdlist链表 // 3.epoll_wait检查链表看是否有事件，并进行处理 // Ref // https://www.cnblogs.com/lojunren/p/3856290.html // http://blog.chinaunix.net/uid-28541347-id-4273856.html // Question: // 是否需要每个event一个实例？ #include <cstdlib> /* exit() */ #include <cstdio> /* perror(): 打印信息+发生错误的原因，可用于定位。 */ #include

原文作者：杨阳 1. eventfd/timerfd 简介 目前越来越多的应用程序采用事件驱动的方式实现功能，如何高效地利用系统资源实现通知的管理和送达就愈发变得重要起来。在Linux系统中，eventfd是一个用来通知事件的文件描述符，timerfd是的定时器事件的文件描述符。二者都是内核向用户空间的应用发送通知的机制，可以有效地被用来实现用户空间的事件/通知驱动的应用程序。 简而言之，就是eventfd用来触发事件通知，timerfd用来触发将来的事件通知。 开发者使用eventfd相关的系统调用，需要包含头文件；对于timerfd，则是。 系统调用eventfd/timerfd自linux 2.6.22版本加入内核，由Davide Libenzi最初实现和维护。 2. 接口及参数介绍 eventfd 对于eventfd，只有一个系统调用接口 1int eventfd(unsigned int initval, int flags); 创建一个eventfd对象，或者说打开一个eventfd的文件，类似普通文件的open操作。 该对象是一个内核维护的无符号的64位整型计数器。初始化为initval的值。 flags可以以下三个标志位的OR结果： EFD_CLOEXEC：FD_CLOEXEC，简单说就是fork子进程时不继承，对于多线程的程序设上这个值不会有错的。 EFD

1、支持一个进程所能打开的最大连接数 select 单个进程所能打开的最大连接数有FD_SETSIZE宏定义，其大小是32个整数的大小（在32位的机器上，大小就是32 32，同理64位机器上FD_SETSIZE为32 64），当然我们可以对进行修改，然后重新编译内核，但是性能可能会受到影响，这需要进一步的测试。 poll poll本质上和select没有区别，但是它没有最大连接数的限制，原因是它是基于链表来存储的 epoll 虽然连接数有上限，但是很大，1G内存的机器上可以打开10万左右的连接，2G内存的机器可以打开20万左右的连接 2、FD剧增后带来的IO效率问题 select 因为每次调用时都会对连接进行线性遍历，所以随着FD的增加会造成遍历速度慢的“线性下降性能问题”。 poll 同上 epoll 因为epoll内核中实现是根据每个fd上的callback函数来实现的，只有活跃的socket才会主动调用callback，所以在活跃socket较少的情况下，使用epoll没有前面两者的线性下降的性能问题，但是所有socket都很活跃的情况下，可能会有性能问题。 3、 消息传递方式 select 内核需要将消息传递到用户空间，都需要内核拷贝动作 poll 同上 epoll epoll通过内核和用户空间共享一块内存来实现的。 总结： 综上，在选择select，p oll

内容目录 什么是EPOLL EPOLL接口 EPOLL机制 两张图 什么是EPOLL 摘录自manpage介绍 man：epoll（7） epoll（4） epoll is a variant of poll(2) that can be used either as an edge-triggered or a level-triggered interface and scales well to large numbers of watched file descriptors. EPOLL接口 epoll_create (or epoll_create1) epoll_create opens an epoll file descriptor by requesting the kernel to allocate an event backing store dimensioned for size descriptors. epoll_ctl epoll_ctl() opens an epoll file descriptor by requesting the kernel to allocate an event backing store dimensioned for size descriptors. epoll_wait The epoll_wait()

LinkedBlockingQueue add(Object obj) 添加元素到队列 take()获取元素 会阻塞 poll()不会阻塞的获取元素 ConcurrentLinkedQueue 高效的队列 add(Object obj) 添加元素到队列 poll()不会阻塞的获取元素 转载于:https://my.oschina.net/u/580135/blog/612230 来源： https://blog.csdn.net/chuteng3602/article/details/100772982

1.支持一个进程打开大数目的socket描述符(FD) select 最不能忍受的是一个进程所打开的FD是有一定限制的，由FD_SETSIZE设置，默认值是2048。对于那些需要支持的上万连接数目的IM服务器来说显然太少了。这时候你一是可以选择修改这个宏然后重新编译内核，不过资料也同时指出这样会带来网络效率的下降，二是可以选择多进程的解决方案(传统的 Apache方案)，不过虽然linux上面创建进程的代价比较小，但仍旧是不可忽视的，加上进程间数据同步远比不上线程间同步的高效，所以也不是一种完美的方案。不过 epoll则没有这个限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右，具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。 2.IO效率不随FD数目增加而线性下降 传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合，不过由于网络延时，任一时间只有部分的socket是"活跃"的，但是select/poll每次调用都会线性扫描全部的集合，导致效率呈现线性下降。但是epoll不存在这个问题，它只会对"活跃"的socket进行操作---这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的。那么，只有"活跃