基于知网文本相似度的文摘自动评测方法研究.pdf

《基于知网文本相似度的文摘自动评测方法研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、calculatingthesimilarityoftextbasedonHowNet学科专业：计算机科学与技术研究方向：Web智能与自然语言理解作者姓名：张静静指导教师：索红光副教授二。一一年五月-L，，lEvaluationmethodresearchofautomaticsummarizationcalculatingthesimilarityoftextbasedonHowNetAThesisSubmittedfortheDegreeofMasterCandidate：ZhangJingjingSupervisor：A

2、ssociateProf．SuoHongguangCollegeofComputer&CommunicationEngineeringChinaUniversityofPetroleum(EastChina)^，，q学位论文使用授权书研究工作所取得的口以标注和致谢外，人为获得中国石油我一同工作的同志岁月30日本人完全同意中国石油大学(华东)有权使用本学位论文(包括但不限于其印刷版和电子版)，使用方式包括但不限于：保留学位论文，按规定向国家有关部门(机构)送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查阅、借阅

3、和复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用影印、缩印或其他复制手段保存学位论文。保密学位论文在解密后的使用授权同上。学位论文作者签名：主奠鼙肇．指导教师签名：搴差三麦√日期：≯f1年，月Jo日同期：弘f1年r月39日^q摘要随着网络技术的发展，网页信息多样化和网页内容复杂化给大多数用户带来了不便，为了解决这一问题，很多研究者着手研究自动文摘技术，并且他们设计开发了很多文摘系统。然而自动文摘评测是一个非常复杂的问题，它和语言学领域、心理学领域和人工智能领域等多个领域有关。到目前为止，自动文摘评测技术还存在着很

4、多困难，也没有形成统一的标准，这使自动文摘评测技术具有很大的研究价值，同时富有挑战性。在中文文摘评测领域中，因为没有统一标准的测试集和评测平台，从而严重地制约了中文文摘技术的进一步提高。因此，在这一领域要找到一种高效、准确的评测方法来对文摘系统进行性能评测，对其研究工作进行具体的指导。针对上述问题，本文为了更准确、更高效地进行文摘的自动评测，对现有的自动文摘评测方法进行了具体分析，指出了这些评测方法的缺点后，在向量空间模型方法的基础上提出了一种新的自动文摘评测方法。在向量空间模型中，该方法采用知网对词语的含义进行深入分析，在计

5、算特征项权重时考虑词性在句子中充当角色的作用，并且对特征项权重计算公式进行了改进。本文实现了分词统计的程序，验证了要想分词有较好的效果就需要选择好的词典。针对本课题中提出的方法开发设计了基于词频的自动文摘系统和基于知网文本相似度的自动文摘评测系统，实现了提出的新方法。将本文提出的文摘评测系统分别和P／R方法、文本相似度评测系统作比较，实验结果表明，新方法的评测效果有了显著提高。关键词：自动文摘，评价方法，相似度，向量空间模型，句子权重计算unifiedlarge-scaletestsetandevaluationplatfor

6、minthefieldofmulti．documentChinesesummarizationevaluation，whichseverelyrestrictedthedevelopmentoftheChinesesummarization．Therefore，itneedsanaccurateandeffectivemethodtoevaluatetheperformanceofthesummarizationsysteminthefieldofautomaticsummarization，whichguidesthespe

7、cificresearchwork．Fortheseissues，inordertodoautomaticevaluationforsummarizationmuchmoreaccuratelyandefficiently,thispaperanalyzedthepresentmethodsonautomaticsummarizationevaluationconcretely,andpointedoutdefectsoftheseevaluationmethods．Itpresentedanewevaluationmetho

8、dofautomaticsummarizationbasedonthevectorspacemodel．ItanalyzedthemeaningofwordsconcretelyusingHowNetinthevectorspacemodel，consideringtheef