Linux设计Linux异步IO编程实例剖析仓酷云
经常看到有人问用什么版本的linux好,其实只要你认真学习无论什么版本都挺好的。在DirectIO形式下,异步长短常有需要的(由于绕过了pagecache,间接和磁盘交互)。linuxNativeAIO恰是基于这类场景计划的,详细的先容见:KernelAsynchronousI/O(AIO)SupportforLinux。上面我们就来剖析一下AIO编程的相干常识。
堵塞形式下的IO历程以下:
intfd=open(constchar*pathname,intflags,mode_tmode);
ssize_tpread(intfd,void*buf,size_tcount,off_toffset);
ssize_tpwrite(intfd,constvoid*buf,size_tcount,off_toffset);
intclose(intfd);
由于全部历程会守候read/write的前往,以是不必要任何分外的数据布局。但异步IO的头脑是:使用程序不克不及堵塞在高贵的体系挪用上让CPU睡年夜觉,而是将IO操纵笼统成一个个的义务单位提交给内核,内核完成IO义务后将了局放在使用程序能够取到的中央。如许在底层做I/O的这段工夫内,CPU能够往干其他的盘算义务。但异步的IO义务批量的提交和完成,必需有本身可形貌的布局,最主要的两个就是iocb和io_event。
libaio中的structs
structiocb{
void*data;/*Returnintheiocompletionevent*/
unsignedkey;/*ruseinidentifyingiorequests*/
shortaio_lio_opcode;
shortaio_reqprio;
intaio_fildes;
union{
structio_iocb_commonc;
structio_iocb_vectorv;
structio_iocb_pollpoll;
structio_iocb_sockaddrsaddr;
}u;
};
structio_iocb_common{
void*buf;
unsignedlongnbytes;
longlongoffset;
unsignedflags;
unsignedresfd;
};
iocb是提交IO义务时用到的,能够完全地形貌一个IO哀求:
data是留给用来自界说的指针:能够设置为IO完成后的callback函数;
aio_lio_opcode暗示操纵的范例:IO_CMD_PWRITE|IO_CMD_PREAD;
aio_fildes是要操纵的文件:fd;
io_iocb_common中的buf,nbytes,offset分离纪录的IO哀求的membuffer,巨细和偏移。
structio_event{
void*data;
structiocb*obj;
unsignedlongres;
unsignedlongres2;
};
io_event是用来形貌前往了局的:
obj就是之条件交IO义务时的iocb;
res和res2来暗示IO义务完成的形态。
libaio供应的API和完成IO的历程
libaio供应的API有:io_setup,io_submit,io_getevents,io_destroy。
1.创建IO义务
intio_setup(intmaxevents,io_context_t*ctxp);
io_context_t对应内核中一个布局,为异步IO哀求供应高低文情况。注重在setup前必需将io_context_t初始化为0。
固然,这里也必要open必要操纵的文件,注重设置O_DIRECT标记。
2.提交IO义务
longio_submit(aio_context_tctx_id,longnr,structiocb**iocbpp);
提交义务之前必需先添补iocb布局体,libaio供应的包装函数申明了必要完成的事情:
voidio_prep_pread(structiocb*iocb,intfd,void*buf,size_tcount,longlongoffset)
{
memset(iocb,0,sizeof(*iocb));
iocb->aio_fildes=fd;
iocb->aio_lio_opcode=IO_CMD_PREAD;
iocb->aio_reqprio=0;
iocb->u.c.buf=buf;
iocb->u.c.nbytes=count;
iocb->u.c.offset=offset;
}
voidio_prep_pwrite(structiocb*iocb,intfd,void*buf,size_tcount,longlongoffset)
{
memset(iocb,0,sizeof(*iocb));
iocb->aio_fildes=fd;
iocb->aio_lio_opcode=IO_CMD_PWRITE;
iocb->aio_reqprio=0;
iocb->u.c.buf=buf;
iocb->u.c.nbytes=count;
iocb->u.c.offset=offset;
}
这里注重读写的buf都必需是按扇区对齐的,能够用posix_memalign来分派。
3.猎取完成的IO
longio_getevents(aio_context_tctx_id,longmin_nr,longnr,structio_event*events,structtimespec*timeout);
这里最主要的就是供应一个io_event数组给内核来copy完成的IO哀求到这里,数组的巨细是io_setup时指定的maxevents。
timeout是指守候IO完成的超不时间,设置为NULL暗示一向守候一切到IO的完成。
4.烧毁IO义务
intio_destroy(io_context_tctx);
libaio和epoll的分离
在异步编程中,任何一个环节的堵塞城市招致全部程序的堵塞,以是必定要制止在io_getevents挪用时堵塞式的守候。还记得io_iocb_common中的flags和resfd吗?看看libaio是怎样供应io_getevents和事务轮回的分离:
voidio_set_eventfd(structiocb*iocb,inteventfd)
{
iocb->u.c.flags|=(1<<0)/*IOCB_FLAG_RESFD*/;
iocb->u.c.resfd=eventfd;
}
这里的resfd是经由过程体系挪用eventfd天生的。
inteventfd(unsignedintinitval,intflags);
eventfd是linux2.6.22内核以后加出去的syscall,感化是内核用来关照使用程序产生的事务的数目,从而使使用程序不必频仍地往轮询内核是不是偶然间产生,而是有内核将产生事务的数目写进到该fd,使用程序发明fd可读后,从fd读取该数值,并即刻往内核读取。
有了eventfd,就能够很好地将libaio和epoll事务轮回分离起来:
1.创立一个eventfd
efd=eventfd(0,EFD_NONBLOCK|EFD_CLOEXEC);
2.将eventfd设置到iocb中
io_set_eventfd(iocb,efd);
3.交代AIO哀求
io_submit(ctx,NUM_EVENTS,iocb);
4.创立一个epollfd,并将eventfd加到epoll中
epfd=epoll_create(1);
epoll_ctl(epfd,EPOLL_CTL_ADD,efd,&epevent);
epoll_wait(epfd,&epevent,1,-1);
5.当eventfd可读时,从eventfd读出完成IO哀求的数目,并挪用io_getevents猎取这些IO
read(efd,&finished_aio,sizeof(finished_aio);
r=io_getevents(ctx,1,NUM_EVENTS,events,&tms);
一个完全的编程实例
http://blog.sina.com.cn/s/blog_6b19f21d0100znza.html
以上就是linux异步IO编程的一些基本常识,但愿对感乐趣的同砚或多或少有些协助,感谢。
linux系统的文件布置,etc/,opt/目录的内容等; 一定要养成在命令行下工作的习惯,要知道X-window只是运行在命令行模式下的一个应用程序。在命令行下学习虽然一开始进度较慢。 对Linux命令熟悉后,你可以开始搭建一个小的Linux网络,这是最好的实践方法。Linux是网络的代名词,Linux网络服务功能非常强大,不论是邮件服务器、Web服务器、DNS服务器等都非常完善。 然我们对Linux的学习首先是通过对它的产生,发展,到今天仍然在不断完善开始的。 上课传授的不仅仅是知识,更重要的是一些道理,包括一些做人的道理,讲课时也抓住重点,循序渐进,让同学理解很快;更可贵的是不以你过去的成绩看问题. 在学习linux的工程中,linux学习方法有很多种,这里是小编的学习心得,给大家拿出来分享一下。 学习Linux应具备的。[书籍+网络资源] 在学习的过程中,我们用的是VM虚拟机,开始时真的不真的该怎么去做,特别是我的是命令窗口界面,别人的是图形界面,我都不知道怎么调过来。 其实当你安装了一个完整的Linux系统后其中已经包含了一个强大的帮助,只是可能你还没有发现和使用它们的技巧。 Linux的成功就在于用最少的资源最短的时间实现了所有功能,这也是符合人类进化的,相信以后节能问题会日益突出。 掌握硬件配置,如显卡,声卡,网卡等,硬件只要不是太老或太新一般都能被支持,作为一名Linux系统管理员建议多阅读有关硬件配置文章,对各种不支持或支持不太好的硬件有深刻的了解。 在系统检测不到与Linux兼容的显卡,那么此次安装就可能不支持图形化界面安装,而只能用文本模式安装等等。 未来的学习之路将是以指数增加的方式增长的。从网管员来说,命令行实际上就是规则,它总是有效的,同时也是灵活的。
页:
[1]