基于维基百科中文短文本分类的研究

《基于维基百科中文短文本分类的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、西安电子科技大学学位论文独创性(或创新性)声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切的法律责任。本人签名：日期西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留

2、和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。本人签名：日期导师签名：日期摘要摘要随着互联网的高速发展，快速准确地对文本进行分类作为信息处理的一个重要环节，受到了人们的高度重视。文本分类处理大多是针对长文本进行的，但短文本在现实世界中也是大量存在的，并呈现出爆炸式的增长趋势。短文本一般指160

3、字以内的文本，其稀疏性、实时性、海量性、不规范性的特点，使传统的分类模型对短文分类缺乏一定的适用性。目前，引入外部知识来扩展短文本特征是较为热点的研究方向，如何有效地获得丰富的语义知识资源，并构建与之相适的短文本分类模型，成为当前的短文本研究的一个重要课题。针对上述问题并参考现有研究成果，本文引入特征扩展思想，将维基百科作为外部知识库，构建特征扩展词表对短文本特征进行扩充，在传统分类模型的基础上，提出了基于维基百科的中文短文本分类模型。本文首先在研究中文短文本特点和传统文本分类模型的基础上，指出了传统分类模型在进行短文本分类时面临的缺陷，探讨了外

4、部知识库维基百科运用于短文本分类的优势；其次，对维基百科知识库进行语义信息挖掘，在分析维基百科语义结构的基础上构建了基于维基百科的特征扩展词表，详细研究了相关概念获取方法、概念间相关度计算方法及相关概念集合的建立过程，并运用JWPL工具对维基百科数据进行了结构化处理；再次，对传统分类模型从短文本预处理、文本表示等步骤进行改进，将短文本表示为概念向量，依照维基百科特征扩展词表对向量空间的概念进行了扩充，并运用支持向量机算法构建分类器。最后采用ICTCLAS和LIBSVM搭建文本分类平台，将本文提出的基于维基百科的短文本分类方法和传统的分类方法进行对

5、比，实验结果表明本文所提出的方法较传统方法更适合短文本分类，取得了更好的分类效果。关键词：短文本中文文本分类维基百科特征扩展基于维基百科的中文短文本分类研究AbstractAbstractWiththerapiddevelopmentoftheInternet,fastandaccuratetextclassificationasanimportantpartofinformationprocessingishighlyconcernedbypeople.Textclassificationmostlyprocessesthelongtexts.

6、Buttheshorttextsalsoaboundintherealworld,andshowatrendofexplosivegrowth.Theshorttextgenerallyreferstothetextoflessthan160words.Thetraditionalclassificationmodelislackofapplicabilityfortheshorttextsbecauseoftheircharacteristicsofsparse,real-time,massandnon-standard.Atpresent,t

7、heintroductionofexternalknowledgetoextendfeaturesoftheshorttextsisamorehotspotsdirection.Howtogetrichsemanticknowledgeresourcesandbuildanappropriateclassificationmodelfortheshorttexthasbecomeanimportanttopic.Accordingtotheproblemsaboveandreferencingtotheexistingresearch,ameth

8、odoffeatureextensionisintroducedtohelptextclassification.Wikipediawa