论文分享系统中的海量图片存储研究

《论文分享系统中的海量图片存储研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号_________学号M200972322学校代码10487密级硕士学位论文论文分享系统中的海量图片存储研究学位申请人：刘小军学科专业：计算机系统结构指导教师：冯丹教授答辩日期：2012年1月11日AThesisSubmittedinPartialFulfillmentoftheRequirements FortheDegreeofMasterofEngineeringResearchofMassiveImageStorageInPaperSharingSystemCandidate:LiuX

2、iaojunMajor:ComputerArchitectureSupervisor:Prof.FengDanHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaJan.,2011独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。

3、本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在________年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月

4、日日期：年月华中科技大学硕士学位论文摘要在当今互联网环境下，图片已经成为大多网站展示内容的一种主要手段，用户也常通过照片来分享自己的生活和心情。而随着互联网的高速发展，传统的图片存储服务正面临着数据规模高速增长和数据访问高并发这两方面的挑战。这就需要图片存储系统具有良好的可扩展性和高性能。此外，如今的互联网应用越来越多样化，很难有一种通用的办法适用于所有的系统，我们需要针对系统的应用特征来设计相应的解决方案。以研究各大互联网公司的图片存储系统为基础，结合论文分享社会化网络的应用特点，提出一种日志型的

5、基于哈希树和键值对（key-value）接口的存储模型，同时借鉴已有的解决系统可扩展性和可靠性的分布式架构设计理念，对传统的图片存储系统进行改进。使用日志型的key-value模型，将图片数据只增不减的写入大文件中，减少了文件数量，简化了操作系统的管理，同时使用哈希树结构，组织图片在大文件中的索引信息，实现图片的快速读取；采用分布式的架构设计，实现系统的可扩展性和可靠性；结合论文分享的特点，利用图片之间的相关性，进一步提高读取性能；采用了epoll网络模型和领导者-跟随者（leader-follow

6、er）线程模型，有效地提升了系统处理高并发请求的能力。然后根据提出的解决方案实现了一个针对论文分享的图片存储系统，并详细介绍了系统的架构、核心模块以及相应实现。最后对论文分享系统进行了性能测试，分别对采用日志型的key-value模型、采用哈希树组织索引信息、结合论文图片相关性以及使用epoll和leader-follower模型等方案进行了相应的测试，并与没有采用这些方案的系统进行对比，测试结果表明新系统的性能有了很大提升，验证了设计的针对论文分享的图片存储系统具有良好的性能。关键词：分布式系统；

7、可扩展性；图片存储；论文分享I华中科技大学硕士学位论文AbstractInthebackgroundoffast-growingInternet,imagehasbecomethemajormeansofthemostsitesshowtheircontents,usersalsogladtosharetheirphotosthroughlifeandmood.WiththerapiddevelopmentofInternet,thetraditionalmethodsofstoringimaged

8、ataarefacingthechallengesfrombothdatahighspeedgrowthandhighconcurrentrequest.Thisrequirestheimagestoragesystemhasgoodscalability,performanceandreliability.Inaddition,becausetheInternetapplicationsarebecomingmoreandmorediversity,it’sdiff