领域文本相似度计算方法研究

《领域文本相似度计算方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP311密级：公开UDC：单位代码：10424学位论文领域文本相似度计算方法研究罗义兵申请学位级别：硕士学位专业名称：计算机软件与理论指导教师姓名：曾庆田职称:教授山东科技大学二零一零年五月论文题目：领域文本相似度计算方法研究作者姓名：罗义兵入学时间：2007年9月专业名称：计算机软件与理论研究方向：数据库系统与数据挖掘指导教师：曾庆田职称：教授论文提交日期：2010年5月论文答辩日期：2010年6月授予学位日期：RESEARCHONSIMILARITYCOMPUTINGMETHODFO

2、RDOMAINTEXTSADissertationsubmittedinfulfillmentoftherequirementsofthedegreeofMASTEROFPHILOSOPHYfromShandongUniversityofScienceandTechnologybyYibingLuoSupervisor:ProfessorQingtianZengCollegeofInformationScienceandEngineeringMay2010声明本人呈交给山东科技大学的这篇硕士学位论

3、文,除了所列参考文献和世所公认的文献外,全部是本人在导师指导下的研究成果。该论文资料尚没有呈交于其它任何学术机关作鉴定。硕士生签名：日期：AFFIRMATIONIdeclarethatthisdissertation,submittedinfulfillmentoftherequirementsfortheawardofMasterofPhilosophyinShandongUniversityofScienceandTechnology,iswhollymyownworkunlessrefere

4、ncedofacknowledge.Thedocumenthasnotbeensubmittedforqualificationatanyotheracademicinstitute.Signature:Date:山东科技大学硕士学位论文摘要摘要随着行业内文本数据的不断积累，如教育、财经、餐饮、旅游等领域拥有大量的doc、pdf等格式的非结构或半结构化的数据。同结构化的数据管理相比，这些非结构或半结构化的数据管理要难很多。最近几年来出现了许多面向行业领域的应用，如酷讯网的车票信息、搜房网的房产信息

5、等，它们提供的服务方便了人们的生活，但大多数是基于领域内结构化数据的信息加工和服务，所以本文主要研究行业领域内非结构化数据文本信息处理中文本相似度计算的问题。文本相似度计算是文本信息处理的基础，可为文本聚类、文本分类、相似文本资源推荐等提供技术支持。传统的文本相似度计算是基于关键词集的向量空间模型，它仅考虑了文本中关键词的简单匹配，而没有考虑关键词的语义以及关键词之间的联系；同时它在针对领域文本相似度计算时，很少考虑文本的领域特征。本文研究领域文本相似度计算，其研究思路就是如何从文本集中抽取领域知

6、识以及如何利用领域知识来挖掘文本的语义特征来计算文本相似度。主要工作和贡献如下：（1）提出了一种中文未登录词检测方法。在研究未登录词特点的基础上，设计并验证了基于大规模语料集的候选未登录词统计和阈值过滤的未登录词检测方法。（2）设计了一种领域知识获取模型。使用带有正负符号的卡方分布计算词语和领域的相关度，将相关度较大的词语加入到领域词典；利用领域词典和“是一个”上下位关系模式相结合的方式识别领域语义知识中上下位关系的词语对。（3）提出了一种领域文本的领域特征和语义特征的抽取方法。利用领域词典抽取文

7、本的领域特征，减少其他词语对文本主题特征的影响；同时利用上下位语义关系对领域关键词向量模型进行上位关系的词语扩展。（4）提出了一种领域文本相似度计算方法。使用上位关系扩展的领域关键词的向量模型，定义领域文本相似度计算公式计算领域文本相似度。实验表明针对领域文本集，基于领域知识的领域文本相似度计算方法和传统的文本相似度计算方法相比，它能够较好的抽取文本领域和语义特征，更好的衡量领域文本相似度。关键词：领域文本，文本相似度，领域词语，语义关系，语义扩展山东科技大学硕士学位论文摘要AbstractWit

8、htheaccumulationofdomaintextualdata,therearemoreandmorenon-structuralorsemi-structureddatasuchasdoc,pdfandotherformatsineverydomainincludingeducation,finance,dining,tourismandsoon.Itismoredifficulttomanagethesedatathannormalstructureddata.Inre