基于词项依赖信息的中文信息检索方法研究

《基于词项依赖信息的中文信息检索方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、⑩⋯MASTER⋯'STHE螂硕士学位论文基于词项依赖信息的中文信息检索方法研究论文作者：尹浩传指导教师：涂新辉副教授胡小华教授学科专业：计算机应用技术研究方向：信息检索华中师范大学计算机学院2014年5月J1l●T一■●1h-lCnlneseIntormanonRetrievalBasedonTermDependencyInformationATheS遮SubmittedinPartial凡班llmentoftheRequirementFortheM．s．DegreeinComputerScienceHaochuanYinPostgraduateProgramSchoolofCompu

2、terCentralChinaNormalUniversitySupervisor：XinhuiTu，T0nyXiaohuaHuAcademicTitle：AssociateProfessor,ProfessorApprovedMay2014华中师范大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本声明的法律结果由本人承担。作者签名：固磁能1日期：力他年f月谗日

3、学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同意华中师范大学可以用不同方式在不同媒体上发表、传播学位论文的全部或部分内容。作者签名：辛辑佳日期：抄牛车5月巧日本人已经认真阅读“CALIS高校学位论文全文数据库发布章程”，同意将本人的学位论文提交“CALLS高校学位论文全文数据库”中全文发布，并可按“章程”中的规定享受相关权益。国意i金塞握交

4、后进卮；旦坐生；日二生；旦三生筮查!作者签名：矽滞．f龛日期：勿f≯年孓月绣日撕虢{辚袭≮日期：2．vQ年。S月沾日弓朋掣落。目扣阳争H薹噼师期宁目摘要随着我国智能手机的普及，移动互联网使用人数的增加，促使_『移动互联网的飞速发展，网络中存储的各种数据呈指数级增长。如何利用信息检索技术快捷有效地从这些海量的数据中获取有用的信息，是工业界和学术界都极其关注的问题。传统的信息检索技术大多基于“词袋”模型，假设词项之间是相互独立的，而忽略了词项之问的依赖关系。本文利用统计方法捕获词项之间的依赖关系，构建更有效的中文信息检索模型。主要的工作包括以下几个方面：第一，从统计的角度，本文提出了全独立、

5、顺序依赖以及全依赖三种词项之问的依赖关系，基于这三种依赖关系分别构建了检索的文本特征，设计丫排序函数。考虑到文本长度以及中文语句的特殊性，在构建文本特征时，将词项之间的距离纳入统计范围。我们在NTCIR一5中文信息检索测试集上进行了实验。实验分为两部分，第一部分实验分别基于三种依赖关系构造文本特征，在基于顺序依赖和全依赖关系构造文本特征时，只组合两个词项。第二部分实验在基于顺序依赖和全依赖关系构造文本特征时，查询文本范围内组合多个词项构建文本特征，并与第一部分的实验数据做了比较。在平均准确率(MAP)和P@10两种评测指标上做了比较，基于顺序依赖关系和全依赖关系构建的文本特征所得到的检索

6、结果都优于基于全独立关系的文本特征的检索结果，而且在构建文本特征时，多于两个词项组合的文本特征的检索结果要优于只组合两个词项的文本特征的检索结果。第二，实现了一个基于词项依赖信息的中文全文信息检索系统。该系统主要包含三个模块：文档解析模块、索引模块、以及用户交互模块。文档解析模块将新闻语料解析成多个域，便于后面索引的创建以及检索结果的展示。索引模块实现了文本的预处理，索引创建以及索引维护。用户交互模块实现了用户查询输入的文本处理，整合了基于词项依赖关系的排序方法，实现了结果展示。关键词：词项依赖；信息检索：全独立；顺序依赖；全依赖AbstractWiththepopularityofsm

7、artphones，theuserofmobileInternetisincreasing，whichpromotestherapiddevelopmentofInternet．DatastoredintheIntemetareincreasingexponentiallyeverysingleday．Howtoobtainusefulinformationfromthesevastamountsofdataquicklyandef