分布式虚拟化计算平台高可靠任务拆分系统的设计与实现

《分布式虚拟化计算平台高可靠任务拆分系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERDISSERTATION论文题目分布式虚拟化计算平台高可靠任务拆分系统的设计与实现学科专业计算机系统结构指导教师卢显良教授作者姓名孔舟学号200820601021万方数据分类号密级注1UDC学位论文分布式虚拟化计算平台高可靠任务拆分系统的设计和实现（题名和副题名）孔舟（作者姓名）指导教师姓名卢显良教授电子科技大学成都（职务、职称、学位、单位名称及地址）申请专业学位级别工学硕士专业名称计算机系统结构论文提交日期2011.0

2、3论文答辩日期2011.05学位授予单位和日期电子科技大学答辩委员会主席评阅人年月日注1：注明《国际十进分类法UDC》的类号。万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日期：年月日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定

3、，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）签名：导师签名：日期：年月日万方数据摘要摘要随着互联网技术的高速发展和移动通信业务的兴起，用户的数据量呈爆炸式的增长，尤其是在电信行业。新颖的电信增值业务不断推出，电信客户群不断增多等都直接导致了电信业务量的迅速增长。此外，由于用户对电信业务的服务在实时性、安全性和稳定性方面有着极高的要求，所以就如何及时的处理海

4、量数据集这一问题已成为了当前的研究热点。国际上提出的“云计算”概念就是用以解决对海量数据集的处理问题的。目前在这方面有着较成熟应用的主要有Google的云计算应用平台、Amazon的弹性计算云、IBM的蓝云计算平台，但是这些技术还没有应用于电信行业。本文主要研究分布式计算在电信项目中的应用。首先结合当前国内外的研究现状和发展态势，分析现有云计算的架构，再根据自身项目的具体需求，设计出分布式虚拟化计算平台（DistributedVirtualComputingPlatform，DVCP）中的高可靠任务拆分系统。本文的主要工作有以下几点：第一，从整体上介绍

5、DVCP项目。该项目对大规模数据集进行实时的采集、统计和分析。使系统在满足新兴的业务服务的同时还能继续提供传统业务服务。第二，任务拆分模块的设计与实现。本模块的设计基于Epoll和线程池的服务框架。采用Epoll异步事件驱动机制处理网络IO请求，采用线程池模型处理磁盘IO的异步操作，提高IO效率。任务拆分采用MapReduce并行计算架构，可以解决大数据集的分布式计算问题，采用这种方法对电信数据进行处理能够大大提高对数据统计分析的能力。第三，系统容错模块的设计与实现。为了保证系统的高可用性，本系统采用双机热备的容错机制，其实现模式为没有共享存储设备的纯

6、软件方式，即将数据（包括状态值和业务数据中间结果）实时地从主设备中备份到从设备中，并保存在从设备的内存中。当主设备出现故障时，可进行快速切换。本系统通过负载压力发生器的测试，结果表明系统的功能能够正常运行，并且在保证实时性的前提下可以满足大规模用户同时访问的需求。关键词：分布式计算，任务拆分，MapReduce，双机热备I万方数据ABSTRACTABSTRACTWiththerapiddevelopmentofInternettechnologyandtheriseofmobilecommunicationservices,theusers’datai

7、sexplosivelyincreasing,especiallyinthetelecommunicationindustry.Thelaunchingnewvalue-addedtelecomservice,andtheincreasinglylargeamountsoftelecomcustomersleadtothedirectresultthatthetelecomservicesvolumeisgrowingquickly.Also,thetelecomservicehasveryhighrequirementsinreal-time,sec

8、urityandstability.Therefore,howtodealwithmassiv