miniqq项目数据存储模块设计和实现

《miniqq项目数据存储模块设计和实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、国内图书分类号：TP311学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文MiniQQ项目的数据存储模块的设计与实现硕士研究生：陆鹏超导师：翟健宏副教授副导师：李宇聪高级工程师申请学位：工程硕士学科：软件工程所在单位：软件学院答辩日期：2012年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP311U.D.C:621.3DissertationfortheMaster’sDegreeinEngineeringTHEDESIGNANDIMPLEMENTATIONOFMINIQQPROJEC

2、TDATASTORAGEMODULECandidate：LuPengchaoSupervisor：A.Prof.ZhaiJianhongAssociateSupervisor：Sr.EnginnerLiYucongAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：SoftwareEngineeringAffiliation：SchoolofSoftwareDateofDefence：June,2012Degree-Conferring-Institution：Harbin

3、InstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要当今的互联网应用呈现出海量数据存储、随机访问和数据库查询频度非常高，而数据更新的频度相对较低的特点。人们对互联网应用的并发性能也提出了更高的要求。面对这些挑战，传统的数据库服务器已经不能满足当前互联网的需求。因此，人们开始考虑使用何种技术与架构来解决这些问题，由此带来了一些新的技术问题：海量数据存储、负载均衡、数据库复制、读写分离、透明访问等。作为一个大型的互联网应用公司，为了给用户提供更好的优质体验，在日常开发中必须解决这些问题，并进行长期的优化。因此公

4、司提出了这样一个mini项目来对此进行研究，为日后的工作与深入研究打下基础。本文首先对整个项目的整体需求进行了系统分析，明确了本课题在实现基本功能的基础上还应解决的核心问题，如海量数据存储、高并发访问、数据一致性、容灾备份等。本文对国内外现状进行研究之后，结合公司的成型技术，在MiniQQ项目的存储模块设计中，设计并实践了一套解决方案，实现了整个系统的基本功能需求，实现了对海量数据存储的支持，能够支持一定量级的高并发访问，确保了用户数据的一致性与容灾。最后通过功能与性能测试证明了该解决方案的可行性与正确性。本文主要围绕这套解决方案

5、的设计与实现进行分析描述，主要包含了整体架构的设计，相关技术的介绍，数据分片技术在海量数据存储中的应用，复制技术、负载均衡、读写分离在高并发访问和数据一致性上的应用，内存数据库在数据存储模块中的使用。关键词：海量数据存储；高并发访问；负载均衡；数据分片；复制技术-I-哈尔滨工业大学工程硕士学位论文AbstractToday,theapplicationofInternetworkhasafeatureofhighlyfrequentmassdatastorage,randomaccessanddatabasequerybutqui

6、telowofdataupdating.Besides,peoplehaveproposedhigherrequirementsontheconcurrencyoftheInternet-basedapplication.Facedwiththesechallenges,thetraditiondatabaseserverdoesnotsatisfythecurrentInternetneedsatall.Hence,peoplebegintoconsiderwhatkindoftechnologiesandframeworksw

7、eshouldusetosolvetheseproblems,whichbringsaboutaseriesofnewtechnologies,suchasmassdatastorage,loadbalance,datareplication,read/writesplittingandtransparentaccess.AsagreatInternet-basedapplicationcompany,inordertoprovidetheexperiencewithbetterqualityforusers,wemustsolv

8、etheseproblemsduringthedailydevelopmentandconductthelong-termoptimization.Forthisreason,thecompanycomesupwithsuchaminiprogra