基于hadoop的海量交易记录查询系统研究

《基于hadoop的海量交易记录查询系统研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、单位代码：10293密级：专业学位硕士论文论文题目：基于Hadoop的海量交易记录查询系统研究学号1210042826姓名魏家宾导师秦军专业学位类别工程硕士类型申请全日制专业申请（领域）计算机技术论文提交日期二〇一三年二月ResearchofAmasstransactionrecordquerysystembasedonHadoopThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByJiabinW

2、eiSupervisor:Prof.JunQinFebruary2013南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。研究生签名：_____________日期：________

3、____南京邮电大学学位论文使用授权声明本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索；可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。涉密学位论文在解密后适用本授权书。研究生签名：____________导师签名：____________日期：_____________摘要随着互联网的快速发展，人们的消费习惯也在转变，网上购物以其

4、方便快捷的特点受到越来越多人的青睐。随着越来越多的商家进驻电子商务网站，商品种类和数量迅速增多，伴随着用户巨大的访问量和庞大的交易额，电子商务网站将产生海量的交易记录，传统关系数据库的处理能力正面临严峻的挑战。云计算技术在如今数据急剧膨胀的时代应运而生，通过利用网络连接大量不太昂贵的计算节点，并采用分布式软件将节点虚拟成一个可靠的高性能计算平台，云计算可以提供“几乎无限”的计算和存储能力。云计算为海量数据的存储和处理提供了一种新的解决方案。Hadoop是一个对大数据进行分布式处理的云计算框架，它可以使用户在不了解分布式系统底层细节的情况

5、下，开发分布式程序对大数据进行处理，作为一个开源的系统，Hadoop成为企业界和研究领域的热点。本文通过对Hadoop的深入分析和研究，根据交易记录查询系统的需求，设计并实现了基于Hadoop的海量交易记录查询系统。首先对Hadoop及其相关技术做了研究，着重介绍了Hadoop云计算框架中的HDFS分布式文件系统和HBase分布式数据库，分别介绍了HDFS的特性、系统框架、副本存放策略和HBase的系统框架及数据模型。其次，重点分析了HBase的存储特点，通过分析HBase的数据存储方式、Region定位方式和写数据过程，提出了系统设计

6、的优化和改进建议。接着，对基于Hadoop的海量交易记录查询系统进行了设计和实现，主要包括数据接入层、存储层和查询层；为了解决集群中节点时间不同步的问题，设计并实现了TSS时间同步子系统。最后，通过具体的测试用例对系统进行功能测试和性能测试，并对测试结果进行了分析，验证了系统的可行性和正确性。关键词:云计算，Hadoop，HBase，海量数据IAbstractWiththerapiddevelopmentoftheInternet,people'sconsumptionhabitsarechangingandmoreandmorepeo

7、pleprefershoppingonline,becauseshoppingonlineisconvenient.Withmoreandmorebusinessesarestationedinthee-commercesite,thetypeandquantityofgoodshaveincreasedrapidly,alongwithahugeuservisitsandthehugevolumeoftransactions,e-commercesiteswillgeneratevastamountsoftransactionreco

8、rds,thustheprocessingcapabilitiesoftraditionalrelationaldatabaseisfacingseverechallenges.Cloudcomputing