IO多路复用之epoll(一)讲解

网络通信中socket有自己的内核发送缓冲区内核接受缓冲区,好比是一个水池,当用户发送数据的时候会从用户缓冲区拷贝到socket的内核发送缓冲区,然后从

socket发送缓冲区发出去, 当用户要读取数据时,就是从socket内核读缓冲区读到用户缓冲区。所以TCP中recv, send, read, write等函数并不是真的直接读写

发送报文,而是将数据分别写到socket内核缓冲区,或者从socket内核缓冲区读到用户区。

对于读有两种状态,可读不可读,当用户从socket中读取数据的时候,如果socket读缓冲区内容为空,那么读数据会失败,阻塞情况下会等待数据到来,非阻塞情况下

会返回一个EWOULDBLOCK 或者EAGAIN,反之如果读缓冲区内容不为空,那么就会返回读到的字节数。

对于用户向socket中写数据,存在可写不可写,如果socket写缓冲区内容满了,此时向socket写缓冲区里写数据会失败,阻塞情况下会等待socket的写缓冲区非满(有空闲空间),非阻塞情况下回返回-1,根据errono 为EWOULDBLOCK或者EAGAIN判断写缓冲区满

反之,如果socket写缓冲区此时非满,那么写会成功,返回写入的字节数。

综上所述,对于读的情况,我们关注socket读缓冲区空还是非空,对于写的情况,我们关注

写缓冲区满还是非满。

讲述epoll 的几个参数含义

EPOLLIN:关联文件用来监听读事件
EPOLLOUT:关联文件用来监听写事件

POLLRDNORM,有普通数据可读。
POLLRDBAND,有优先数据可读。
POLLPRI,有紧迫数据可读。

POLLWRNORM,写普通数据不会导致阻塞。
POLLWRBAND,写优先数据不会导致阻塞。
POLLMSG,SIGPOLL消息可用。
此外,还可能返回下列事件:
POLLER,指定的文件描述符发生错误。
POLLHUP,指定的文件描述符挂起事件。
POLLNVAL,指定的文件描述符非法。

EPOLL有两种模式LT(水平触发模式)ET(边缘触发模式)

LT:水平触发 一直触发

1 内核中的socket接受缓冲区不为空,那么有数据可读,一直出发读事件
2 内核中的socket发送缓冲区不满,可以继续写入数据,写事件一直出发
试想一下,如果一开始就关注EPOLLOUT,会是什么情况呢?对于LT模式,由于刚开始socket的发送缓冲区肯定是空的,那么
由于socket的发送缓冲区可以一直写数据,所以写事件会一直触发。正确的做法是,我们向socket中写数据,当返回EAGAIN(socket
发送缓冲区满了)的时候,这个时候如果关注EPOLLOUT,当socket发送缓冲区由满变为非满,会触发写事件。这个时候,就从应用
缓冲区取出数据拷贝到内核缓冲区。如果应用缓冲区的数据已经全部拷贝到内核缓冲区,说明数据全部在socket的发送缓冲区,
就取消EPOLLOUT的关注,如果应用缓冲区还有数据没拷贝完全,就不需要取消对EPOLLOUT的关注。

优点是对于read操作比较简单,只要有read事件就读,读多读少都可以。
缺点是write相关操作较复杂, 由于socket在空闲状态发送缓冲区一定是不满的, 故若socket一直在epoll wait列表中,则epoll会一直通知write事件
所以必须保证没有数据要发送的时候,要把socket的write事件从epoll wait列表中删除。
而在需要的时候在加入回去,这就是LT模式的最复杂部分。

ET:边沿触发模式

由未就绪变为就绪状态才可触发,比如写事件由缓冲区满变为缓冲区非满,读事件由缓冲区空到非空才触发
1.内核中socket接受缓冲区不为空,那么有数据可读,可以触发读事件,但是对于边缘模式,只触发一次
例如,当listen一个文件描述符,当有很多新的连接连上来的时候,只触发一次。所以要在循环中accept,取出所以新连接上来的socket
例如,当监听的socket有读事件,一定要读完所有的数据,否则之后到来的数据就会被漏掉。解决办法是在循环体内读取数据,
直到读完或者读出的返回值为EAGIN(缓冲区为空)才可以。对于写事件,发送数据,直到发送完或者产生EAGIN(缓冲区为满)
ET模式下,只有socket的状态发生变化时才会通知,也就是读取缓冲区由无数据到有数据时通知read事件,发送缓冲区由满变成未满通知write事件。

缺点是epoll read事件触发时,必须保证socket的读取缓冲区数据全部读完(事实上这个要求很容易达到)
优点:对于write事件,发送缓冲区由满到未满时才会通知,若无数据可写,忽略该事件,若有数据可写,直接写。
当向socket写数据,返回的值小于传入的buffer大小或者write系统调用返回EWouldBlock时,表示发送缓冲区已满。

平时大家使用 epoll 时都知道其事件触发模式有默认的 level-trigger 模式和通过 EPOLLET 启用的 edge-trigger 模式两种。
从 epoll 发展历史来看,它刚诞生时只有 edge-trigger 模式,后来因容易产生 race-cond 且不易被开发者理解,
又增加了 level-trigger 模式并作为默认处理方式。二者的差异在于 level-trigger 模式下只要某个 fd
处于 readable/writable 状态,无论什么时候进行 epoll_wait 都会返回该 fd;
而 edge-trigger 模式下只有某个 fd 从 unreadable 变为 readable 或从 unwritable 变为 writable 时,
epoll_wait 才会返回该 fd。

然后我们来说说epoll几个函数

epoll的接口非常简单,一共就三个函数:
1 int epoll_create(int size);
创建一个epoll句柄,size用来告诉内核这个监听的数目一共有多大。size为最大监听数量+1,因为创建好epoll句柄后,他就会占用一个fd值,
在linux下如果查看/proc/进程/id/fd/,能看到这个fd,使用完epoll后,必须调用close()关闭,否则可能导致fd被耗尽。

2 int epoll_ctl(int epfd, int op, int fd, struct epoll_event * event);
epoll的事件注册函数,先注册想要监听的事件类型,第一个参数是epoll_create()的返回值,第二个参数表示动作,
用三个宏来表示:

EPOLL_CTL_ADD:注册新的fd到epfd中
EPOLL_CTL_MOD:修改已经注册的fd的监听事件;
EPOLL_CTL_DEL:从epfd中删除一个fd
第三个参数是需要监听的fd,第四个参数是告诉内核需要监听什么事,struct epoll_event结构如下:

  1. typedef union epoll_data {
  2. void *ptr;
  3. int fd;
  4. __uint32_t u32;
  5. __uint64_t u64;
  6. } epoll_data_t;
  7. struct epoll_event {
  8. __uint32_t events; /* Epoll events */
  9. epoll_data_t data; /* User data variable */
  10. };

events可以是以下几个宏的集合:
EPOLLIN :表示对应的文件描述符可以读(包括对端SOCKET正常关闭);
EPOLLOUT:表示对应的文件描述符可以写;
EPOLLPRI:表示对应的文件描述符有紧急的数据可读(这里应该表示有带外数据到来);
EPOLLERR:表示对应的文件描述符发生错误;
EPOLLHUP:表示对应的文件描述符被挂断;
EPOLLET: 将EPOLL设为边缘触发(Edge Triggered)模式,这是相对于水平触发(Level Triggered)来说的。
EPOLLONESHOT:只监听一次事件,当监听完这次事件之后,如果还需要继续监听这个socket的话,需要再次把这个socket加入到EPOLL队列里

3 int epoll_wait(int epfd, struct epoll_event* events, int maxevents, int tiemout);
等待事件产生,参数events用来从内核中得到事件的集合,maxevents告知内核这个events有多大,这个maxevents的值不能大于创建epoll_create()
的size,参数timeout是超时时间,毫秒,0表示立即返回,-1会永久阻塞。该函数返回需要处理的事件数目,如果返回0,表示已超时。

下面我查阅相关资料,仿照别人写了一个类似的epoll demo代码,这个是LT的,下一篇写ET的

  1. #include <unistd.h>
  2. #include <sys/types.h>
  3. #include <fcntl.h>
  4. #include <sys/socket.h>
  5. #include <netinet/in.h>
  6. #include <arpa/inet.h>
  7. #include <signal.h>
  8. #include <fcntl.h>
  9. #include <sys/wait.h>
  10. #include <sys/epoll.h>
  11. #include <stdlib.h>
  12. #include <stdio.h>
  13. #include <errno.h>
  14. #include <string.h>
  15. #include <vector>
  16. #include <algorithm>
  17. #include <iostream>
  18. #define ERR_EXIT(m) \
  19. do \
  20. { \
  21. perror(m); \
  22. exit(EXIT_FAILURE); \
  23. } while(0)
  24. //先定义一个类型,epoll_event连续的存储空间,可以是数组,也可以是vector
  25. //当然也可以malloc一块连续内存 (struct epoll_event *)malloc(n * sizeof(struct epoll_event));
  26. typedef std::vector<struct epoll_event> EventList;
  27. int main()
  28. {
  29.   //打开一个空的描述符
  30.   int idlefd = open("/dev/null",O_RDONLY|O_CLOEXEC);
  31.   //生成listen描述符
  32.   int listenfd = socket(PF_INET, SOCK_CLOEXEC | SOCK_STREAM | SOCK_NONBLOCK, IPPROTO_TCP);
  33.   if(listenfd < 0)
  34.   {
  35.     ERR_EXIT("socketfd");
  36.   }
  37.   //初始化地址信息
  38.   struct sockaddr_in servaddr;
  39.   memset(&servaddr,0 ,sizeof(struct sockaddr_in));
  40.   servaddr.sin_family = AF_INET;
  41.   servaddr.sin_port = htons(6666);
  42.   servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
  43.   int on = 1;
  44.   if (setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
  45.   ERR_EXIT("setsockopt");
  46.   if(bind(listenfd, (struct sockaddr*)&servaddr, sizeof(servaddr)))
  47.   ERR_EXIT("bindError");
  48.   if (listen(listenfd, SOMAXCONN) < 0)
  49.   ERR_EXIT("listen");
  50.   //记录客户端连接对应的socket
  51.   std::vector<int> clients;
  52.   //创建epollfd, 用于管理epoll事件表
  53.   int epollfd;
  54.   epollfd = epoll_create1(EPOLL_CLOEXEC);
  55.   struct epoll_event event;
  56.   event.data.fd = listenfd;
  57.   event.events = EPOLLIN;
  58.   //将listenfd加入到epollfd管理的表里
  59.   epoll_ctl(epollfd, EPOLL_CTL_ADD, listenfd, &event);
  60.   //创建长度为16的epoll_event队列
  61.   EventList events(16);
  62.   //用于接收新连接的客户端地址
  63.   struct sockaddr_in peeraddr;
  64.   socklen_t peerlen;
  65.   int connfd;
  66.   int nready;
  67.   while(1)
  68.   {
  69.     nready = epoll_wait(epollfd, &*events.begin(), static_cast<int>(events.size()), -1);
  70.     if (nready == -1)
  71.     {
  72.       if (errno == EINTR)
  73.       continue;
  74.       ERR_EXIT("epoll_wait");
  75.     }
  76.     if (nready == 0) // nothing happended
  77.       continue;
  78.     //大小不够了就重新开辟
  79.     if ((size_t)nready == events.size())
  80.     events.resize(events.size()*2);
  81.   
  82.     for (int i = 0; i < nready; ++i)
  83.     {
  84.       //判断wait返回的events数组状态是否正常
  85.       if ((events[i].events & EPOLLERR) ||
  86.         (events[i].events & EPOLLHUP) ||
  87.         (!(events[i].events & EPOLLIN)))
  88.         {
  89.           fprintf (stderr, "epoll error\n");
  90.           close (events[i].data.fd);
  91.           continue;
  92.         }
  93.         if (events[i].data.fd == listenfd)
  94.         {
  95.           peerlen = sizeof(peeraddr);
  96.           //LT模式accept不用放在while循环里
  97.           connfd = ::accept4(listenfd, (struct sockaddr*)&peeraddr,
  98.             &peerlen, SOCK_NONBLOCK | SOCK_CLOEXEC);
  99.           //accept失败,判断是否是文件描述符达到上限
  100.           if (connfd == -1)
  101.           {
  102.             if (errno == EMFILE)
  103.             {
  104.               //关闭之前打开的描述符,重新accept,然后关闭这个accept得到的描述符,
  105.               //因为LT模式,如果socket读缓冲区有数据一直读取失败会造成busyloop         
  106.               close(idlefd);
  107.               idlefd = accept(listenfd, NULL, NULL);
  108.               close(idlefd);
  109.               idlefd = open("/dev/null", O_RDONLY | O_CLOEXEC);
  110.               continue;
  111.             }
  112.             else
  113.               ERR_EXIT("accept4");
  114.          }
  115.             std::cout<<"ip="<<inet_ntoa(peeraddr.sin_addr)<<
  116.               " port="<<ntohs(peeraddr.sin_port)<<std::endl;
  117.                 clients.push_back(connfd);
  118.             //将connd加入epoll表里,关注读事件
  119.             event.data.fd = connfd;
  120.             event.events = EPOLLIN ;
  121.             epoll_ctl(epollfd, EPOLL_CTL_ADD, connfd, &event);
  122.         }
  123.         else if (events[i].events & EPOLLIN)
  124.         {
  125.           connfd = events[i].data.fd;
  126.           if (connfd < 0)
  127.           continue;
  128.           char buf[1024] = {0};
  129.           int ret = read(connfd, buf, 1024);
  130.           if (ret == -1)
  131.           //ERR_EXIT("read");
  132.           {
  133.             if((errno == EAGAIN) ||
  134.               (errno == EWOULDBLOCK))
  135.             {
  136.               //由于内核缓冲区空了,下次再读,
  137.               //这个是LT模式不需要重新加入EPOLLIN事件,下次还会通知
  138.               continue;
  139.             }
  140.             ERR_EXIT("read");
  141.           }
  142.           if (ret == 0)
  143.           {
  144.             std::cout<<"client close"<<std::endl;
  145.             close(connfd);
  146.             event = events[i];
  147.             epoll_ctl(epollfd, EPOLL_CTL_DEL, connfd, &event);
  148.             clients.erase(std::remove(clients.begin(), clients.end(), connfd), clients.end());
  149.             continue;
  150.           }
  151.           //
  152.           std::cout<<buf;
  153.           write(connfd, buf, strlen(buf));
  154.         }
  155.         else //写事件
  156.           if(events[i].events & EPOLLOUT)
  157.           {
  158.             connfd = events[i].data.fd;
  159.             char buf[512];
  160.             int count = write(events[i].data.fd, buf, strlen(buf));
  161.             if(count == -1)
  162.             {
  163.               if((errno == EAGAIN) ||
  164.                 (errno == EWOULDBLOCK))
  165.               {
  166.                 //由于内核缓冲区满了,下次再写,
  167.                 //这个是LT模式不需要重新加入EPOLLOUT事件
  168.                  continue;
  169.               }
  170.               ERR_EXIT("write");
  171.             }
  172.               //写完要记得从epoll内核中删除,因为LT模式写缓冲区不满就会触发EPOLLOUT事件,防止busyloop
  173.               event.data.fd = connfd;
  174.               event.events = EPOLLOUT;
  175.               epoll_ctl (epollfd, EPOLL_CTL_DEL, events[i].data.fd, &event);
  176.               //close 操作会将events[i].data.fd从epoll表里删除,所以上面的操作可以不写
  177.               //close(events[i].data.fd); 此处是关闭了和客户端的连接,不关闭也可以,只和策划需求有关
  178.           }
  179.       }
  180.     }
  181. return 0;
  182. }

好了,这就是epoll 的LT模式,demo源代码下载地址 http://download.csdn.net/detail/secondtonone1/9484752
谢谢关注我的公众号
https://cdn.llfc.club/gzh.jpg

热门评论

热门文章

  1. Linux环境搭建和编码

    喜欢(594) 浏览(13730)
  2. Qt环境搭建

    喜欢(517) 浏览(25084)
  3. vscode搭建windows C++开发环境

    喜欢(596) 浏览(84647)
  4. 聊天项目(28) 分布式服务通知好友申请

    喜欢(507) 浏览(6151)
  5. 使用hexo搭建个人博客

    喜欢(533) 浏览(12049)

最新评论

  1. 聊天项目(9) redis服务搭建 pro_lin:redis线程池的析构函数,除了pop出队列,还要free掉redis连接把
  2. 聊天项目(7) visualstudio配置grpc diablorrr:cmake文件得改一下 find_package(Boost REQUIRED COMPONENTS system filesystem),要加上filesystem。在target_link_libraries中也同样加上
  3. string类 WangQi888888:确实错了,应该是!isspace(sind[index]). 否则不进入循环,还是原来的字符串“some string”
  4. Qt 对话框 Spade2077:QDialog w(); //这里是不是不需要带括号
  5. protobuf配置和使用 熊二:你可以把dll放到系统目录,也可以配置环境变量,还能把dll丢到lib里
  6. 网络编程学习方法和图书推荐 Corleone:啥程度可以找工作
  7. visual studio配置boost库 一giao里我离giaogiao:请问是修改成这样吗:.\b2.exe toolset=MinGW
  8. C++ 线程安全的单例模式演变 183******95:单例模式的析构函数何时运行呢? 实际测试里:无论单例模式的析构函数为私有或公有,使用智能指针和辅助回收类,两种方法都无法在main()结束前调用单例的析构函数。
  9. boost::asio之socket的创建和连接 项空月:发现一些错别字 :每隔vector存储  是不是是每个. asio::mutable_buffers_1 o或者    是不是多打了个o
  10. 处理网络粘包问题 zyouth: //消息的长度小于头部规定的长度,说明数据未收全,则先将部分消息放到接收节点里 if (bytes_transferred < data_len) { memcpy(_recv_msg_node->_data + _recv_msg_node->_cur_len, _data + copy_len, bytes_transferred); _recv_msg_node->_cur_len += bytes_transferred; ::memset(_data, 0, MAX_LENGTH); _socket.async_read_some(boost::asio::buffer(_data, MAX_LENGTH), std::bind(&CSession::HandleRead, this, std::placeholders::_1, std::placeholders::_2, shared_self)); //头部处理完成 _b_head_parse = true; return; } 把_b_head_parse = true;放在_socket.async_read_some前面是不是更好
  11. 面试题汇总(一) secondtonone1:看到网络上经常提问的go的问题,做了一下汇总,结合自己的经验给出的答案,如有纰漏,望指正批评。
  12. 聊天项目(15) 客户端实现TCP管理者 lkx:已经在&QTcpSocket::readyRead 回调函数中做了处理了的。
  13. slice介绍和使用 恋恋风辰:切片作为引用类型极大的提高了数据传递的效率和性能,但也要注意切片的浅拷贝隐患,算是一把双刃剑,这世间的常态就是在两极之间寻求一种稳定。
  14. 利用C11模拟伪闭包实现连接的安全回收 搁浅:看chatgpt说 直接传递 shared_from_this() 更安全 提问: socket_.async_read_some(boost::asio::buffer(data_, BUFFSIZE), // 接收客户端发生来的数据 std::bind(&Session::handle_read, this, std::placeholders::_1, std::placeholders::_2, shared_from_this())); socket_.async_read_some(boost::asio::buffer(data_, BUFFSIZE), std::bind(&Session::handle_read, shared_from_this(), std::placeholders::_1, std::placeholders::_2)); 这两种方式有区别吗? 回答 : 第一种方式:this 是裸指针,可能会导致生命周期问题,虽然 shared_from_this() 提供了一定的保护,但 this 依然存在风险。 第二种方式:完全使用 shared_ptr 来管理生命周期,更加安全。 通常,第二种方式更推荐使用,因为它可以确保在异步操作完成之前,Session 对象的生命周期得到完全管理,避免使用裸指针的潜在风险。
  15. interface应用 secondtonone1:interface是万能类型,但是使用时要转换为实际类型来使用。interface丰富了go的多态特性,也降低了传统面向对象语言的耦合性。
  16. 堆排序 secondtonone1:堆排序非常实用,定时器就是这个原理制作的。
  17. 类和对象 陈宇航:支持!!!!
  18. 构造函数 secondtonone1:构造函数是类的基础知识,要着重掌握
  19. 创建项目和编译 secondtonone1:谢谢支持
  20. Qt MVC结构之QItemDelegate介绍 胡歌-此生不换:gpt, google
  21. 基于锁实现线程安全队列和栈容器 secondtonone1:我是博主,你认真学习的样子的很可爱,哈哈,我画的是链表由空变成1个的情况。其余情况和你思考的类似,只不过我用了一个无效节点表示tail的指向,最初head和tail指向的都是这个节点。
  22. 利用栅栏实现同步 Dzher:作者你好!我觉得 std::thread a(write_x); std::thread b(write_y); std::thread c(read_x_then_y); std::thread d(read_y_then_x); 这个例子中的assert fail并不会发生,原子变量设定了非relaxed内存序后一个线程的原子变量被写入,那么之后的读取一定会被同步的,c和d线程中只可能同时发生一个z++未执行的情况,最终z不是1就是2了,我测试了很多次都没有assert,请问我这个观点有什么错误,谢谢!
  23. 解决博客回复区被脚本注入的问题 secondtonone1:走到现在我忽然明白一个道理,无论工作也好生活也罢,最重要的是开心,即使一份安稳的工作不能给我带来事业上的积累也要合理的舍弃,所以我还是想去做喜欢的方向。
  24. C++ 并发三剑客future, promise和async Yunfei:大佬您好,如果这个线程池中加入的异步任务的形参如果有右值引用,这个commit中的返回类型推导和bind绑定就会出现问题,请问实际工程中,是不是不会用到这种任务,如果用到了,应该怎么解决?
  25. 无锁并发队列 TenThousandOne:_head  和 _tail  替换为原子变量。那里pop的逻辑,val = _data[h] 可以移到循环外面吗
  26. 答疑汇总(thread,async源码分析) Yagus:如果引用计数为0,则会执行 future 的析构进而等待任务执行完成,那么看到的输出将是 这边应该不对吧,std::future析构只在这三种情况都满足的时候才回block: 1.共享状态是std::async 创造的(类型是_Task_async_state) 2.共享状态没有ready 3.这个future是共享状态的最后一个引用 这边共享状态类型是“_Package_state”,引用计数即使为0也不应该block啊
  27. 聊天项目(13) 重置密码功能 Doraemon:万一一个用户多个邮箱呢 有可能的
  28. 再谈单例模式 secondtonone1:是的,C++11以后返回局部static变量对象能保证线程安全了。

个人公众号

个人微信