基于改进的MapReduce并行计算框架的网上拍卖系统

《基于改进的MapReduce并行计算框架的网上拍卖系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、代号10701学号1021121275分类号TP311.5密级公开题（中、英文）目基于改进的MapReduce并行计算框架的网上拍卖系统OnlineAuctionSystemBasedontheImprovedTheDesign,ImplementationandApplicationofaWEBMapReduceParallelComputingFramework作者姓名杨帆指导教师姓名、职务段振华教授学科门类工学学科专业计算机软件与理论提交论文日期二○一三年三月西安电子科技大学学位论文独创性（或创新性）声明秉

2、承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切的法律责任。本人签名：日期：西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论

3、文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。（保密的论文在解密后遵守此规定）本学位论文属于保密，在年解密后适用本授权书。本人签名：导师签名：日期：日期：摘要摘要伴随着电子计算机以及网络技术的飞速发展，人们逐渐习惯于在网上进行交易。在这样的背景下，网上拍卖快速发展起来，成

4、为电子商务的重要组成部分。同时，作为云计算中的关键技术，MapReduce并行计算框架正逐渐在海量数据处理领域得到广泛应用。本文改进了MapReduce并行计算框架，并在此基础上设计开发了一个网上拍卖系统。首先，通过对已有网上拍卖模式进行调研分析，设计了基于英式拍卖改进的网上拍卖流程，解决了投标者随意报价和临近拍卖结束时突然报价的问题；然后，深入研究了MapReduce并行计算框架，分析了传统的MapReduce中存在的数据倾斜问题和输出数据格式限制问题，分别提出了基于映射表的数据均匀分配和两次执行reduce操

5、作的解决方案，并据此改进了MapReduce模型架构；其次，采用改进的MapReduce来处理拍卖数据，设计并实现了一个网上拍卖系统；最后，搭建了Hadoop平台环境来进行数据实验，并对网上拍卖流程进行了功能测试，实验结果表明改进方案的优越性及拍卖系统的可用性。关键词：网上拍卖MapReduce并行计算框架Hadoop平台数据倾斜AbstractAbstractAlongwiththerapiddevelopmentofcomputerandnetworktechnology,peoplearegradually

6、usedtoonlinetransactions.Thereforetheonlineauctionquicklybecomesanimportantpartofe-commerce.Furthermore,asthekeytechnologyofcloudcomputing,theMapReduceparallelcomputingframeworkisgraduallyappliedwidelyinthefieldofbigdataprocessing.Thisthesisismainlyconcernedw

7、iththeonlineauctionsystembasedontheimprovedMapReduceparallelcomputingframework.Firstly,theexistingonlineauctionmodelsareanalyzedandthentheimprovedonlineauctionprocessbasedontheEnglishauctionisdesigned,whichsolvestheproblemofbidders’arbitraryquotingandthequoti

8、ngwhichisclosetotheendoftheauction.Then,theMapReduceparallelcomputingframeworkisdeeplystudied,thedataskewproblemandtheconstraintsofdataoutputformatproblemexistinginthetraditionalMapReduce