Hadoop数据中心网络TCP Incast问题的研究.pdf

《Hadoop数据中心网络TCP Incast问题的研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、身，．；ＪＩ＇＇单位代码：９３密级，，；．１０２：ｐ＇作．高＇二兰■Ｖ硕女《像俗乂，奇牙Ｉｉｉ＂＇、网络ＴＣＰ．论文题目；Ｈａｄｏｏｐ数据中屯Ｉｎｃａｓｔ问题的研究－■．．、１０１２０４１１０１看学号．禪刘桐羽姓名＊■Ｖ／－＇政Ｖｉ导帅陈春玲古学科专业计算机软件与理论件技术及其在通信中的应用研究方向软ｙＷ’工学硕±＾申请学位类别Ｖ／■－－．－Ｖ．．．■２０１５年３．论文提交日期月，．－南京邮电大学学位论文原创性声明

2、本人声明所呈交的学位论文是我个人在导师指导下进行的研巧工作及取得的研究成果。，论文中不包含其他人己经发表或撰写过尽我所知，除了文中特别加标法和致谢的地方外也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。的研巧成果，－了谢意。与我－同工作的同志对本研巧所做的任何贡献均已在论义中作了明确的说明并表示－－本人学位论文及涉及相关资料若有不实，愿意承化切相关的法律贵任。研巧生签名：南京邮电大学学位论文使用授权声明本人授权南京邮电大学可保留并向国家有关部ｎ或机构送交论文的复印件和电子文编入有关数据库进行检索；许论文被查闊和借阅内容：巧将学位

3、论文的全部或部分惜；允。容和纸质手段保存、汇编本电子文档的内、学位论文本文缩等复制可印或巧描采用影印一生院理。［包巧）邮电大学硏究办。论文刊登授秋南京论相的公布的容致文内。用本授权密论文在解密后适书涉学位‘日：么作签：期午研名：导师名巧生签凌户巧ResearchonTCPIncastinDataCenterNetworksinHadoopThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByTongyuLiuSupervisor:

4、Prof.ChunlingChenMarch2015摘要信息化年代，网络资源日益庞大，用户请求信息数据量伴随着互联网的发展而不断增加。由于集群存储系统有诸多优势，所以集群存储系统已被广泛应用于数据中心中。集群存储系统中，数据块以条状方式分散存储在多个不同的服务器中，当并发访问的用户过多、响应服务器数量不断增大、多个发送方同步将数据并发传输给一个接收方，当这些并发传输的数据量足够超过以太网交换机缓冲区大小时，就会在高带宽低延迟的环境中发生Incast问题。对Hadoop集群的构造、运行机制以及存在于Hadoop集群中的网络塌陷行为进行了深入研究探讨。结合Hadoop集群运行环境和在集群中

5、发生的Incast问题，对Hadoop集群中发生的Incast问题提出两种解决方案。第一种是提出优化TCP超时来改善Incast现象，通过修改RTO的值来提高网络传输质量，提高带宽利用率。第二种解决方案是通过将数据交错分组min传输来避免发生Incast现象。将原先并发传输的数据交错开来实现数据类串行传输，避免发生TCPIncast现象。使用网络仿真工具NS2对这两种方案进行模拟仿真。仿真实验结果表明，通过修改RTO的值可以提高网络传输质量和高带宽利用率；通过将数据交错分组传输可以min避免发生Incast现象。论文中提出的两种解决方案都能改善网络传输质量，有效降低在Hadoop集群环

6、境中TCPIncast发生率，避免网络吞吐量出现大幅降低现象。关键词:Hadoop集群，数据中心网络，网络吞吐量，TCPIncast，重传超时，BPGSIAbstractInformationage,cybersourceincreasinglarge,withthedevelopmentofInternet,datarequestedbyuserbecomesbigger.Sincetheclusterstoragesystemhasmanyadvantages,sotheclusterstoragesystemshavebeenwidelyappliedindatacenter.I

7、nadistributedstorageenvironment,forexample,adatacenter,thedatablocksareusuallystripedstoredasSRUsinmanydifferentservers.Whentoomanyusersaccessconcurrently,thenumberofresponsesserversincreasing,themultiplesenderstransmittheda