分布式海量数据并行传输的研究与实现

《分布式海量数据并行传输的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、分布式海量数据并行传输的研究与实现长春理工大学硕士学位论文分布式海量数据并行传输的研究与实现姓名：付慧霞申请学位级别：硕士专业：计算机软件与理论指导教师：龚跃20080401摘要随着信息化技术的不断发展，行业内部和行业间的业务数据量呈几何级数递增，海量数据的传输与处理难题成为制约信息化产业扩大的瓶颈，本文提出一种分布式海量数据并行传输设计与实现技术，系统采用了计算机集群及并行处理技术，以MobiLink技术为基础，将传输任务分解为若干个子任务，采用多台传输处理机分工并行传输方式，解决了海量数据传输处

2、理上的瓶颈，在很大程度上解决了异构数据库系统间数据传输不兼容的问题；基于多路径QoS路由算法实现了目标智能路由，可以有效地均衡网络负载，提高网络资源利用率，从而实现了大型网络系统中异构数据库信息系统间海量数据信息并行交换。关键词：计算机集群并行中间件MobjLinkQoS路由ABSTRACTWjthteconstantdevelopmentofinformationtechology,thequanitiesoftransactionpresent鲇om硎cincreaseinbothi肋erind

3、ustryandinter-industries，thepoblemsofassdatatransmissionandtransactionausethebottleneckofmultiplyinginformationindustry．Thispaperinvolvesthetechniqueoftransmissionandimplementationofclusteredparalleldistribution；thissysemmakesueofcompmerclusterandparal

4、leltchnique，basedonMobiLinktechnology,dividingthetaskintoseveralactivities．Usingmultransmissionprocessoreparatelytransmissionfolnls，solvingthebottleneckofmassiveamountofdatatransmission．Togreatextent．solvingtheincompatibilityofdatatransmissionamongisom

5、erofdatabasesystem；basedonmultipathQoS?routingmethodimplementsaimsonintelligentrouter,aswellasefficientlyqualizesnetworkloads。raisestheuseratioofnetworkresources．sothatimplementsinformationparallelswitchamongisomerousdatabaseoflargenetworksystems．Keywo

6、rds：clusterparallelmiddlewareMobilinkQoS-routingⅡ长春理工大学硕士学位论文原创性声明本人郑重声明：所呈交的硕士学位论文，《分布式海量数据并行传输的研究与实现》是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。作者签名：盈楚肇．卫年上月丑日长春理工大学学位论文

7、版权使用授权书本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论文版权使用规定”，同意长春理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权长春理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。作者签名：鱼董盈．指导导师签名：沁矽7叨多年上月“El、～年三一月卫日第一章绪论§1．1本文研究的目的和意义近年来随着电子政务、电子商务技术的广泛应用，各个行业已经建立起基于广域网络的信

8、息管理体系。在行业内部，业务信息由基层单位采集，向市县、地市、省和国家汇集如人口信息。各行业间，如，工商、税务、银行、保险和公安等业务交互日益频繁，信息资源共享、信息资源的挖掘与利用，导致信息交换需求迅速增长，交换信息容量巨增。由于传统的软件及技术已经不能适应信息化建设对中间件的广泛应用需求。且在数据传输及交换中的一致性、及时性、高效性等得不到保障，从而带来不必要的经济损失，此类问题亟须解决。因此建立通用的、快速而安全、高效而可靠的传输通道，开发大型、支持海量数据并行