面向internet海量数据应用的tcp2fip协议处理优化技术分析

《面向internet海量数据应用的tcp2fip协议处理优化技术分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、声明我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。作者签名：I八去弋乞日期：删‘．一‘一z7论文版权使用授权书本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机构送交本论文的复印件和电子文档，允许本论文被查阅和借阅，可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编本论文。(保密论文在解密后适用本授权书

2、。)作者虢，q毒弦师虢绷舳飙删枷一z，'．1研究意义第一章引言仅仅是几年前，以太网的带宽还是100Mbps。因特网的飞速发展，使得以太网的带宽在这短短的几年问，从100Mbps发展到1000Mbps，再到10Gbps。相信不久的将来，lOOps的以太网将会像现在的千兆以太网一样被广泛应用。但是处理器的性能却没有紧跟其步伐，尤其是内存带宽和访问延迟的改进速度大大滞后于网络带宽的发展(见图1．1)【l】。图1．1CPU、内存与网络带宽技术进步率根据中国互连网络信息中心2005年一月份统计报告[21显示，我国因特网发展迅速。截止2004年底，我国总共拥

3、有四千一百六十万台计算机，比前年增加了五百三十万台，增长率为14．6％。它是1997年第一次调查结果的139．1倍。而我国网络国际出口带宽为74429Mbps，与2004年上半年相比，增加了20488Mbps，增长率为38％，是1997年第一次调查结果的2929．4倍。同时，网络数据包的处理非常耗CPU资源。即使使用当今最快的处理器，TCP／IP协议处理能轻易地消耗掉80％到90％的可获得的计算周期，并且还不能达到千兆线速的性能131。在网络中，一直流传着这样一句经验之谈：在最好的情况下，1MI-Iz的CPU能处理IMb的网络带宽。如果按照这个规

4、律，现在3．9GHz的CPU只能处理3．9Gb的网络带宽．这在10Gbps的网络带宽还没有被广泛使用的当今，CPU的性能是能满足网络带宽的需求的，验证了当更快的网络被广泛地应用时，总能找到足够快的CPU满足其需求[41。但是相比较而言，内存带宽与访问延迟却发展得不够快，与cPu性能间的差距中国科学院硕士学位论文在不断增大。这所带来的一个结果是为等待访存结果而耗的CPU周期日益增多，即所浪费掉的CPU资源增多。如果网络带宽中的内存缺口每增加十倍，则要求CPU以原来十分之一的时间处理每个所到来的报文，以跟上报文到来的步伐【l】。因此，随着相关技术发展

5、的步调不一致，仅仅靠CPU主频的提高并不能完全解决高网络带宽带来的问题。特别是在{0Gbps的以太网中，报文到来的速度已超过了系统处理报文的速度，这必然导致报文的丢弃，也使得网络带宽的增长失去了其意义所在。此外，如果为了快速处理网络数据包以满足网络带宽的需求而耗光了几乎所有的系统资源的话，这必然会带来一个非常严峻的后果：没有多少系统资源可用于满足应用需求，进而导致应用的吞吐率降低。而网络带宽的增加，系统性能的提高等这一切的—切，最终目的是为了满足应用的需求．为了能更快地处理网络数据包以满足当今网络带宽的需要，而又不过多地占用系统资源，使得系统能有

6、更多的资源用于应用处理，有必要再一次对网络数据包处理加速技术进行研究，以弥补内存带宽与访问延迟发展速度跟不上步伐所带来的缺陷。1．2国内外相关研究在过去十五年间，由于网络技术的不断进步，人们对终端系统(end-systems)的网络处理优化做了大量的研究，如【5】和[61。最近几年，随着以太网带宽的飞速增长，服务器网络负担日益加重，研究者们和工业界又再一次将注意力放到加速服务器网络处理速度、减轻服务器网络负担的技术研究上。这些技术包括TOF_ffCPOttloadEngines)技术和Intel的TCPOnloading技术。TOE技术TOE技术

7、是一种将TCP／IP协议处理从服务器的处理器上移到外围设备上(如网卡)的技术。它对TCP协议栈进行了软件扩展，使部分TCPflP功能调用从CPU转移到了网卡上集成的TOE硬件。TOE一般由软硬两部分组件构成，将传统的TCP／IP协议栈的功能进行延伸，把网络数据流量的处理工作全部转到网卡上的集成硬件中进行，服务器只承担TCP／IP控制信息的处理任务。提倡TOE技术的学者们认为它能增加服务器的网络吞吐量而又能同时减少CPU的利用率。RolandWestrelin等人在一台SMP机器上开发了一个TOE模拟器，经测试，性能提高了600％N900％191。

8、在某些应用场景，特别是那些进行大块数据传输而连接数又少的应用场景，如基于口的数据存储领域，使用TOE是能够增加应用的吞吐量和CPU利用率