面向美食网站的搜索及点评与图片去重模块的设计与实现

《面向美食网站的搜索及点评与图片去重模块的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文面向美食网站的搜索及点评与图片去重模块的设计与实现THEDESIGNANDIMPLEMENTATIONOFFOOD WEB’SSEARCHENGINEANDELIMINATING DUPLICATIONMODULEOFREVIEWSAND PHOTOS何石阳哈尔滨工业大学2012年10月国内图书分类号：TP311学校代码：10213 国际图书分类号：621.3密级：公开工程硕士学位论文面向美食网站的搜索及点评与图片去重模块的设计与实现硕士研究生：何石阳导师：张岩副教授副导师姚刚高级工程师申请学位：工程硕士学科：软件工程所

2、在单位：软件学院答辩日期：2012年10月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP311U.D.C:621.3DissertationfortheMasterDegreeinEngineeringTHEDESIGNANDIMPLEMENTATIONOFFOOD WEB’SSEARCHENGINEANDELIMINATING DUPLICATIONMODULEOFREVIEWSAND PHOTOSCandidate：HeShiyangSupervisor：AssociateProf.ZhangYanAssociat

3、eSupervisor：SeniorEngineerYaoGangAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：SoftwareEngineeringAffiliation：SchoolofSoftwareEngineeringDateofDefence：Oct.,2012Degree-Conferring-Institution：HarbinInstituteofTechnology摘要摘要互联网产业，针对各行各业的门户网站越来越多，包括旅游，美食，时事等。各种类型的门户

4、网站由于面对的用户群以及自身所有元素的不同，需要处理的各种问题也不同。比如针对美食类的门户网站，网站内容以图片，介绍等居多，那么需要面对的问题大多在图片以及内容处理等方面。本课题所研究的内容是某美食类网站关于图片，内容的处理以及垂直搜索的问题。对于图片处理，简单来说是图片的匹配，采用匹配算法过滤出重复的图片然后根据匹配数据采取不同的操作。该问题通过建立数据库存储原来的图片信息，使用颜色直方图生成算法生成对应的颜色直方图并用距离向量算法计算图片的相似度数据来实现。内容处理问题即点评处理，该问题与图片处理类似，通过中文分词算法对点评内容进行

5、分词，然后根据规则对待匹配的内容进行排序，最后进行匹配操作计算匹配度。垂直搜索问题即针对美食类的信息进行专项搜索，该问题通过建立源数据的倒排索引树，检索索引并对结果进行排序的方式来实现。结果排序可分为热度排序和按字段排序，热度排序采用散热算法模拟热度的增加和减少，从而达到热度排名的效果。通过解决上述问题，并实现其功能，可以总结出本课题的研究内容为美食类网站的搜索与图片和点评数据匹配的研究与实现。目前点评处理以及图片去重模块都可以匹配出大部分的重复内容。站内搜索模块可以完成基本的搜索和排序功能。不过点评和图片去重模块在性能上有待加强，另外

6、在匹配精度上也需加强。搜索模块的排序算法还需经过大量测试之后进一步进行调整。通过完成本课题的设计与实现，对中文分词，索引，搜索，匹配以及图片处理，颜色直方图等概念和原理有了很深刻的理解。此课题的主要贡献是研究可用的中文垂直搜索系统，搜索结果的热度排序算法以及图片颜色直方图生成算法和匹配方式。关键词：中文分词；图片去重；颜色直方图；垂直搜索；热度排名；-II-AbstractAbstractIninternetfield,moreandmorekindsofwebportalsshowupeveryday, includetravel,f

7、ood,affairs,etc.Everykindofportalhasitsownspecialelements becauseofthedifferentusers.Likeafoodportal,themainelementofwebsiteare shops,reviews,replysandphotos,sofoodportalmayneedtotakecareofreviews andphotos.Theresearchinthissubjectisworkingonpictures,contentprocessingand

8、 verticalsearchofonefoodwebsite.Forpicturesissue,alsocalledphotosmatching, thismodulecheckifthephotosar