用户级通信中基于网络接口的虚实地址变换技术

《用户级通信中基于网络接口的虚实地址变换技术》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、CN43．1258／TPISsN1007-130X计算机工程与科学COMPUTERENGINEERING&SCIENCE2008年第30卷第9期VoL30。No．9，2008文章编号：1007—130X(2008)09-0154-04用户级通信中基于网络接口的虚实地址变换技术’Network—Interface—BasedVirtual—to-PhysicalAddressTranslationinUser—LevelCommunications刘路．谢晏，张磊．傅清朝LIULu．XIEMin．ZHANGLe

2、i。FUQing-dmo(国防科技大学计算机学院．湖南长沙410073)(SchoolofComputerScienoe．NationalUnim'sityofDefenseTechnology．Changsha410073。China)摘要：用户级通信允许应用程序直接访问网络接口，减小了通信操作的软件层开销。为了支持用户级通信，高效的虚拟地址到物理地址的变换起到关键作用。本文提出了基于地址变换表的地址变换机制，虚实地址变换都在网络接口控制器上完成，变换过程不需要操作系统的参与，并且无需失效处理。采用这种机制

3、，我们实现了基于PCI_X面向集群系统的互连通信子系统CNI。实际测试获得了2．4t,．s的最小单边延迟和850MWs的峰值带宽。Abstract：User-levelcommunicationsalleviatethesoftwareoverheadofthecommunicationsubsystembyallowingappli—cationstOacce．．蜘tthenetworkintexfacedirectly．Forthatpurpose，efficientvirtual-to-physical

4、addresstranslationiscritical．Inthispaper，weproposealladdress-translation-table-basedaddresstranslationschemewhereeverytranslationisdoneOilthenetworkinterfacecontrollerwithoutOSinvolvementandwithoutmisshandling．Adoptingthisfiaechanism，weimple-meritourcommuni

5、cationsubsystemCNIorientedtoclustersystemsbasedOnPCI-YkTheexperimentalresultsshowsthelowestone-waylatency2．4psandthe850MB／speakbandwidtK关键词：地址变换；用户级通信；RDMAKeywords：addresstranslation；user-levdcommunications；尉眦中图分类号：TP316．4文献标识码：A1引言近年来，基于Linux的集群系统已成为高性能并行计

6、算的流行形式。通过将大量的工作站或高性能PC用商业或定制的互连网络连接起来，就可以构成低成本的大规模并行计算系统。但是，在这些集群系统中，并行计算的性能往往并不尽人意，应用程序的运行时间并不是简单地随着集群系统规模的扩大而成比例缩短。这其中有多方面的原因，如应用程序的并行可扩展特性等，但其中一个很重要的原因还在于并行任务间数据传输性能问题。虽然网络硬件的性能大幅度提高，但软件层过多的通信协议开销无法发挥通信硬件的最大性能。为了实现集群系统内消息的快速传递，要求互连网络应具有低延迟、高带宽、高可靠等特性．这些特

7、性是互连通信子系统设计者一直追求的目标。为了减小互连网络通信协议的软件开销，用户级通信(User-LevelCommunication)被大量应用于通信子系统的设计。用户级通信中，操作系统内核将网络接口控制器(NetworkInterfaceController，简称NIC)的寄存器和存储器映射到用户地址空间，允许用户进程旁路操作系统内核而直接访问NIC，需要传输的数据直接从用户缓冲区被发送到网络中进行传输。通信过程旁路操作系统内核可以明显得到的好处是可以省掉执行系统调用、用户进程和内核问的数据拷贝、用户和内

8、核的上下文切换等软件开销，减少对主机CPU资源的占用，缩短通信操作的关键路径，数据传输过程可以和计算过程重叠起来。以往的研究表明，在一些早期的系统中，网络协议花费了大量时间将数据从用户缓冲区拷贝到核心缓冲区m。用户级通信则使用零拷贝协议，直接将数据从用户空间发送到网络中进行传输，避免了这种无谓的数据拷贝。进程访问用户空间的数据结构使用的是虚地址，而一般来说NIC是Io总线上的设备，只能使用物理地址通