短文本分类研究

《短文本分类研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：密级：论文编号：学号：51303310108重庆理工大学硕士学位论文短文本分类研究研究生：刘英涛指导教师：黄贤英教授学位类型：学术学位学科专业：计算机应用技术研究方向：自然语言处理培养单位：计算机科学与工程学院论文完成时间：2016年3月25日论文答辩日期：2016年5月29日重庆理工大学学位论文原创性声明本人郑重声明：所呈交的学位论文是本人在导师的指导下，独立进行研究所取得的成果。除文中特别加示注引用的内容外，本论文不包含化何其他个人或集体已经发表或撰写的成果、作品。对本文的研究做出重要贡献的集体和个人，均己在文中Ｗ明确方式标明。本人承担本声

2、明的法律后果。：Ｈ期：作者签名ｉ年Ｉ日裳ｔ文月、ｆ為為学位论义使用授权声明本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保。留并向国家巧关部口或机构送交论文的复印件和电子版，允许论文被查阅和借阅本人授权重庆理工大学可鲁本学位论义的全部或部分巧容编入有关数据库进行。、检索，可＾心采用影印缩印或扫描等复制手段保存和汇编本学位论文＂＂本学位论文屈于（请巧下相应方框内打Ｖ）：。１．保密□，在＿＿年解密后适用本授权书２．不保密Ｓ７。Ｘ〇ｉ＞１作者签名：知瓜杂日期：＞｜年月争日导师签名复辜曰期：如年Ｐ月日Cate

3、goryNumber：LevelofSecrecy：SerialNumber：StudentNumber：51303310108Master'sDissertationofChongqingUniversityofTechnologyResearchonShortTextClassificationPostgraduate:LiuYingtaoSupervisor:Prof.HuangXianyingDegreeCategory:AcademicDegreeSpecialty:ComputerApplicationTechnologyResearchDirection:Nat

4、uralLanguageProcessingTrainingUnit:CollegeofComputerScienceandEngineeringThesisDeadline:March25,2016OralDefenseDate:May29,2016摘要摘要伴随着移动互联的快速发展，越来越多的像微博，微信，短信等短文本信息开始充斥着人们的日常生活。在推荐，舆情等方面，短文本信息的提取也起到越来越重要的作用，文本分类是一种有效的文本信息提取方法，然而由于短文本长度短，矩阵稀疏等特点，使得传统的文本分类算法不能很好适用于短文本的分类研究中，对短文本进行有效的分类也变得迫切起来。

5、短文本分类主要涉及到短文本预处理，分词，短文本特征词提取，短文本相似度计算，短文本语义拓展等方面的技术，本文主要针对短文本分类算法和短文本相似度计算两个关键技术进行研究，针对其所存在的问题改进相关算法，提升短文本分类的性能。其一，在短文本分类方面，由于短文本信息提取过程中的语义信息添加，使得短文本的分类效率降低的问题，基于此问题，提出一种基于类别特征的KNN短文本分类算法。通过类别特征词项与训练空间样本的语义相似度，对训练空间进行重新拆分，依据测试文本结合知网词典语义信息，重构训练集，减少对应测试文本训练集的样本数，提高KNN短文本分类效率。实验结果显示，相对于基于语义的KN

6、N短文本分类算法，在相同测试文本数量情况下，基于类别特征的KNN短文本分类算法的测试文本平均运行时间减少近50%。其二，在短文本相似度计算方面，针对基于知网的短文本语义相似度计算高度依赖知网词典，仅计算关键词间相似度，不能有效辨别文本关键词的重要程度的问题，提出一种基于类别特征的短文本相似度算法。通过对短文本关键词中类别特征词项，非类别特征词项中的名词和动词，形容词和副词及其他词性词项给定不同权重系数来进行相似度值的计算，提高短文本相似度计算的准确性。在基于类别特征的KNN短文本分类算法上的实验表明，该算法能有效的提高基于类别特征的KNN短文本分类算法的分类准确性，同时对基于

7、类别特征的KNN短文本分类算法的效率也有进一步的提高。关键词：短文本分类；类别特征词项；训练集重构；短文本相似度；词性IABSTRACTABSTRACTWiththerapiddevelopmentofmobileInternet,moreandmoreshorttextmessagessuchasMicroblog,Wechat,shortmessageandtheothersarebeginningtofindtheirwaysinpeople'sdailylife.Theinformationex