poll

上一篇我们分析了Metadata的更新机制，其中涉及到一个问题，就是Sender如何跟服务器通信，也就是网络层。同很多 Java 项目一样，Kafka client的网络层也是用的Java NIO，然后在上面做了一层封装。 下面首先看一下，在Sender和服务器之间的部分： 可以看到，Kafka client基于Java NIO封装了一个网络层，这个网络层最上层的接口是KakfaClient。其层次关系如下： 在本篇中，先详细对最底层的Java NIO进行讲述。< 喎�"/kf/ware/vc/" target="_blank" class="keylink">vcD4NCjxoMSBpZD0="nio的4大 组件 ">NIO的4大组件 Buffer与Channel Channel: 在通常的Java网络 编程 中，我们知道有一对Socket/ServerSocket对象，每1个socket对象表示一个connection，ServerSocket用于服务器监听新的连接。 在NIO中，与之相对应的一对是SocketChannel/ServerSocketChannel。 下图展示了SocketChannel/ServerSocketChannel的类继承层次 ? 1 2 3 4 5 6 7 8 9 10 11 12 public interface Channel extends

golang版本1.12.9；操作系统：readhat 7.4 golang的底层使用epoll来实现IO复用。netPoll将文件描述符与底层进行了绑定。netpoll实现了用户的与底层网络IO相关的goroutine阻塞/非阻塞管理。 对netpoll的介绍按照这篇 文章 的思路按照tcp建链中的listen/accept/read/write/close动作详解过程。 下面以TCP为例完整解析TCP的建链/断链以及读写过程 listen流程： ListenTCP --> listenTCP --> internetSocket --> socket --> listenStream unix的listen函数用于将一个socket转换为监听socket。golang中同时结合了创建socket的步骤。 // src/net/tcpsock.gofunc ListenTCP(network string, laddr *TCPAddr) (*TCPListener, error) { switch network { //支持tcp协议为”tcp4“和“tcp6”，当使用"tcp"时可以通过地址格式进行判断 case "tcp", "tcp4", "tcp6": default: return nil, &OpError{Op: "listen", Net: network,

应用程序使用KafkaConsumer向Kafka订阅主题，并从订阅的主题上接受消息。 消费者和消费者群组 消费者对象用于订阅主题并接收消息，然后验证消息并保存结果。 Kafka消费者从属于消费者群组。一个群组里的消费者订阅的是同一个主题，每个消费者接收主题一部分分区的消息。 如果一个消费者群组里的消费者数量大于主题分区数量，那么有一部分消费者就会被闲置，不会接收到任何消息。 一个新的消费者加入群组时，它读取的是原本由其他消费者读取的消息。当一个消费者被关闭或发生崩溃时，它就离开群组，原本由它选取的分区将由群组里的其他消费者来读取。 往群组里增加消费者是横向伸缩消费能力的主要方式。 我们有必要为主题创建大量的分区，在负载增长时可以加入更多的消费者。 不同于传统的消息系统，横向伸缩Kafka消费者和消费者群组并不会对性能造成负面影响。 分区再均衡 分区的所有权从一个消费者转移到另一个消费者，这样的行为被称为再均衡。 再均衡为消费者群组带来了高可用性和伸缩性。 正常情况下，我们并不希望发生这样的行为。 在再均衡期间，消费者无法读取消息，造成整个群组一小段时间的不可用。另外，当分区被重新分配给另一个消费者时，消费者当前的读取状态会丢失，它有可能还需要去刷新缓存，在它重新恢复状态之前会拖慢应用程序。 消费者通过向被指派群组协调器的broker（不同群组可以有不同的协调器

libevent函数库核心思想 /*** epoll_loop.c ***/ #include <stdio.h> #include <sys/epoll.h> #include <sys/socket.h> #include <arpa/inet.h> #include <fcntl.h> #include <unistd.h> #include <errno.h> #include <string.h> #include <stdlib.h> #include <time.h> #define MAX_EVENTS 2014 #define BUFLEN 4096 #define SERV_PORT 8080 void recvdata ( int fd , int events , void * arg ); void senddata ( int fd , int events , void * arg ); struct myevent_s { int fd ; int events ; void * arg ; void (* call_back )( int fd , int events , void * arg ); int status ; char buf [ BUFLEN ]; int len ; long last_active ; }; int g

大并发服务器设计目标 高性能(High Performance). 要求编写出来的服务器能够最大限度发挥机器性能, 使得机器在满负荷的情况下能够处理尽可能多的并发请求, 对于大量并发请求能够及时快速做出响应 高可用(High Availability). 要求服务器7*24小时服务, 故障转移 伸缩性(Scalability). 服务器具有良好框架, 分层设计, 业务分离, 并且能够进行灵活部署 分布式: 负载均衡 分布式存储 分布式计算 C/S结构: 任何网络系统都可以抽象为C/S结构(客户端, 服务端) 网络I/O+服务器高性能编程技术+数据库 超出数据库连接数: 数据库并发连接数10个, 应用服务器这边有1000个并发请求, 将会有990个请求失败. 解决办法: 增加一个中间层DAL(数据库访问控制层), 一个队列进行排队 超出时限: 数据库并发连接数10个, 数据库1秒钟之内最能处理1000个请求, 应用服务器这边有10000个并发请求, 会出现0-10秒的等待. 如果系统规定响应时间5秒, 则该系统不能处理10000个并发请求, 这时数据库并发能力5000, 数据出现瓶颈. 提高数据库的并发能力 队列+连接池(DAL) 主要逻辑挪到应用服务器处理, 数据库只做辅助的业务处理. 在数据库上进行计算能力或处理处理逻辑不如操作系统效率高. --> 很有限降低数据库的压力,

今天下班早些来普及下nginx io模型： 用户空间与内核空间： 现在操作系统都是采用虚拟存储器，那么对32位操作系统而言，它的寻址空间（虚拟存储空间）为4G（2的32次方）。操作系统的核心是内核，独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限。为了保证用户进程不能直接操作内核（kernel），保证内核的安全，操作系统将虚拟空间划分为两部分，一部分为内核空间，一部分为用户空间。针对linux操作系统而言，将最高的1G字节（从虚拟地址0xC0000000到0xFFFFFFFF），供内核使用，称为内核空间，而将较低的3G字节（从虚拟地址0x00000000到0xBFFFFFFF），供各个进程使用，称为用户空间。 进程切换： 为了控制进程的执行，内核必须有能力挂起正在CPU上运行的进程，并恢复以前挂起的某个进程的执行。这种行为被称为进程切换。因此可以说，任何进程都是在操作系统内核的支持下运行的，是与内核紧密相关的。 从一个进程的运行转到另一个进程上运行，这个过程中经过下面这些变化： 保存处理机上下文，包括程序计数器和其他寄存器。 更新PCB信息。 把进程的PCB移入相应的队列，如就绪、在某事件阻塞等队列。 选择另一个进程执行，并更新其PCB。 更新内存管理的数据结构。 恢复处理机上下文。 注：总而言之就是很耗资源，具体的可以参考这篇文章： http:/

Socket 编程发展 Linux Socket 编程领域，为了处理大量连接请求场景，需要使用非阻塞 I/O 和复用。select、poll 和 epoll 是 Linux API 提供的 I/O 复用方式，自从 Linux 2.6 中加入了 epoll 之后，高性能服务器领域得到广泛的应用，现在比较出名的 Nginx 就是使用 epoll 来实现 I/O 复用支持高并发，目前在高并发的场景下，Nginx 越来越收到欢迎。 据 w3techs 在 2015 年 8 月 10 日的统计数据表明，在全球 Top 1000 的网站中，有 43.7% 的网站在使用 Nginx，这使得 Nginx 超越了 Apache，成为了高流量网站最信任的 Web 服务器足足有两年时间。已经确定在使用 Nginx 的站点有：Wikipedia，WordPress，Reddit，Tumblr，Pinterest，Dropbox，Slideshare，Stackexchange 等，可以持续罗列好几个小时，他们太多了。 下图是统计数据： select 模型 下面是 select 函数接口： int select (int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout); <br> select

关于异步的一些基本了解请 参考这篇文章 , 或者 内核态和用户态 由于需要限制不同的程序之间的访问能力，防止他们获取别的程序的内存数据，或者获取外围设备的数据，操作系统划分出两个权限等级：用户态和内核态。 内核态：当一个任务（进程）执行系统调用而陷入内核代码中执行时，称进程处于内核运行态（内核态）。 用户态：当进程在执行用户自己的代码时，则称其处于用户运行态（用户态）。 五种 IO 模型中， IO 复用的技术较为成熟，因此使用也比较广泛。而最为理想的是异步 IO，整个过程没有阻塞，而且有通知。 IO 多路复用模型有三种：select poll epoll，它们的性能是层层递增。 2.1 select sokect 是通过一个 select() 系统调用来监视多个文件描述符，当 select() 返回后，该数组中就绪的文件描述符便会被该内核修改标志位，使得进程可以获得这些文件描述符从而进行后续的读写操作。 select 的优点是支持跨平台，缺点在于单个进程能够监视的文件描述符的数量存在最大限制。 另外 select() 所维护的存储大量文件描述符的数据结构，随着文件描述符数量的增大，其复制的开销也线性增长。同时，由于网络响应时间的延迟使得大量 TCP 连接处于非活跃状态，但调用 select() 会对所有 socket 进行一次线性扫描，所以这也浪费了一定的开销。 文件描述符 fd

我们知道，计算机的硬件资源由操作系统管理、调度，我们的应用程序运行在操作系统之上，我们的程序运行需要访问计算机上的资源（如读取文件，接收网络请求），操作系统有内核空间和用户空间之分，所以数据读取，先由内核读取数据到内核缓冲区，然后才会从操作系统的内核空间拷贝到用户空间，这个就是缓存I/O，又被称作标准I/O。 几种常见的IO模式：阻塞I/O、非阻塞I/O、I/O多路复用 1、阻塞I/O 用户进程向内核发起I/O系统调用，内核去准备所需的数据，直到数据都准备好了（需要一段时间）返回给用户进程，在这期间，用户进程一直处于阻塞状态，拿到所需数据，才会继续向下执行。 2、非阻塞I/O 用户进程向内核发起I/O系统调用，内核发现数据还没准备好，立即返回error，用户进程拿到error，可以再次向内核发起请求，直到获取所需数据 3、I/O多路复用 下面详细介绍 定义：I/O multiplexing allows us to simultaneously monitor multiple file descriptors to see if I/O is possible on any of them. 传统的阻塞I/O模型可以满足大部分的应用程序使用场景，但有的时候，一些应用程序会 ͬʱ 需要如下特性： 检查文件I/O是否已经ready，如果没有，不阻塞，直接返回 同时监视多个文件描述符

Ŀ¼ epoll介绍 Epoll的优点： 1、支持一个进程打开大数目的socket描述符(FD) 2、IO效率不随FD数目增加而线性下降 3、支持边缘触发模式 4、使用mmap加速内核与用户空间的消息传递。 epoll的系统调用 epoll_create epoll_ctl epoll_wait epoll示例程序 epoll的行为与poll(2)相似，监视多个有IO事件的文件描述符。epoll除了提供select/poll那种IO事件的水平触发（Level Triggered）外，还提供了边缘触发（Edge Triggered），这就使得用户空间程序有可能缓存IO状态，减少epoll_wait/epoll_pwait的调用，提高应用程序效率。 epoll_create(2) 创建一个新的epoll实例，并返回一个引用该实例的文件描述符 epoll_ctl(2) 创建epoll实例后，注册对感兴趣的文件描述符。当前注册在epoll实例上的文件描述符集被称为epoll集合。 epoll_wait(2) 等待I/O事件，如果当前没有事件可用，则阻塞调用线程。 水平触发 和 边沿触发 epoll事件分布接口既可以表现为边缘触发(ET)，也可以表现为水平触发(LT)。这两种机制的区别 可以这样描述。假设有这种情况发生: 表示管道(rfd)的读侧的文件描述符在epoll实例上注册。