基于固态硬盘的搜索引擎混合式存储结构研究

《基于固态硬盘的搜索引擎混合式存储结构研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M200972461学校代码10487密级硕士学位论文基于固态硬盘的搜索引擎混合式存储结构研究学位申请人：李成洲学科专业：计算机应用技术指导教师：卢正鼎教授答辩日期：2012年1月12日AThesisSubmittedinFullFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchonSSD-basedHybridStorageAr-chitectureforLarge-scaleSearchEnginesCandidat

2、e：ChengzhouLiMajor：ComputerApplicationTechnologySupervisor：Prof.ZhengdingLuHuazhongUniversityofScienceandTechnologyWuhan,Hubei430074,P.R.ChinaDecember,2011独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集

3、体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在_____年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日

4、期：年月日日期：年月日华中科技大学硕士学位论文摘要大型搜索引擎索引了数以亿计的海量文档，每秒钟需要处理数百万个查询请求。目前，许多大型搜索引擎使用磁盘（HDD）存储海量的索引数据，磁盘的低速I/O成为其主要性能瓶颈。与传统的机械式磁盘不同，新型存储设备固态硬盘（SSD）有许多优点，尤其是其较高的随机数据存取能力，然而，它也有潜在的问题，如单位容量存储成本高、读写速度不对称和块擦除次数有限等，因此，当前大型搜索引擎还不能用SSD完全取代磁盘。搜索引擎是典型的I/O密集型应用，它在I/O模式上表现出明显的特征，如读为主、

5、局部性、跳跃读和随机读。基于SSD的搜索引擎混合式存储结构是检索性能、硬件成本和系统可靠性的折中，它综合考虑了SSD的读写特性和搜索引擎应用的I/O特征，将热点数据缓存在内存和SSD中，尽可能减少访问磁盘的次数，提高系统的I/O性能。基于SSD的搜索引擎混合式存储的数据管理策略采用基于日志的思想组织SSD中的数据，其目的是提高搜索引擎的检索性能，同时降低SSD中的块擦除操作，它主要包括三个方面：一是数据选择策略，它是根据缓存数据的不同特征，合理的选择数据存储在内存或SSD中；二是数据放置策略，它采用一种改进的基于日志

6、的数据管理策略来组织和管理SSD中的数据，以确保其高效的读写；三是数据替换策略，它对SSD中缓存的结果和倒排表采取不同的覆写策略，以尽量避免开销昂贵的随机写操作，减少块擦除操作。实验结果进一步验证了上述数据管理策略的有效性，其中，缓存命中率提高了13.31%，检索性能提高了41.05%，SSD中Flash平均访问时间降低了43.83%，SSD中块擦除次数减少了71.52%。关键词：全文检索，搜索引擎，固态硬盘，混合式存储结构，缓存I华中科技大学硕士学位论文AbstractLargesearchenginesneedt

7、oprocesshundredsofqueriespersecondoncollectionsofhundredsofmillionsofdocuments.Nowadays,large-scalesearchenginesuseharddiskdrives(HDD)tostorethemassindexdata,thelowI/OperformanceofHDDbecomesthemajorbottleneckinmodernlarge-scalesearchengines.Fortunately,compared

8、withHDD,theemergingsolidstatedisk(SSD)technologyprovidesmanydesiredtechnicalmerits,andmostimportantly,ultrahighperformanceforrandomdataaccess.However,threepo-tentialissuesma