基于统计方法的中文短文本情感分析

《基于统计方法的中文短文本情感分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于统计方法的中文短文本情感分析卢兴2016年1月中图分类号：TP391.1UDC分类号：基于统计方法的中文短文本情感分析作者姓名卢兴学院名称自动化学院指导教师王庆林教授答辩委员会主席戴亚平教授申请学位工学硕士学科专业控制科学与工程学位授予单位北京理工大学论文答辩日期2016年1月SentimentAnalysisofChineseShortTextBasedonStatisticalMethodsCandidateName:XingLuSchoolorDepartment:SchoolofAutoma

2、tionFacultyMentor:Prof.QinglinWangChair,ThesisCommittee:Prof.YapingDaiDegreeApplied:MasterofPhilosophyMajor：ControlScienceandEngineeringDegreeby:BeijingInstituteofTechnologyTheDateofDefence：January,2016研究成果声明本人郑重声明：所提交的学位论文是我本人在指导教师的指导下进行的研究工作获得的研究成果。尽我所

3、知，文中除特别标注和致谢的地方外，学位论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京理工大学或其它教育机构的学位或证书所使用过的材料。与我一同工作的合作者对此研究工作所做的任何贡献均已在学位论文中作了明确的说明并表示了谢意。特此申明。签名：日期：北京理工大学硕士学位论文摘要近些年来，文本的情感分析作为自然语言处理领域中一项重要的研究问题受到了广泛的关注。随着互联网的飞速发展，情感分析技术在舆情监控、事件预测等领域发挥着越来越重要的作用。本文针对中文短文本，以商品评论文本为例，设计了基于

4、统计方法的情感分析方法。本文分别使用支持向量机和卷积神经网络作为分类器，结合扩充后的情感词典改进了文本的表示模型，进一步提高了情感分析的准确率。本文最后将两种机器学习方法进行了对比，分别说明了各自的优势。本文的主要工作和研究内容如下：第一，情感词典是情感分析的基础，本文设计了一种扩充情感词典的方法。该方法主要有以下几个步骤：从互联网抓取大量文本数据、对文本数据进行新词发现和分词操作、训练word2vec词向量模型、利用词向量模型得到已有情感词语的相关词、利用《同义词词林（扩展版）》进行进一步筛选。情感词

5、典的词汇量在扩充后有了较大的提高。第二，使用支持向量机对文本进行了情感分析。采用向量空间模型将文本转化为向量的形式，并且使用扩充后的情感词典对向量的部分特征权重进行改进，使用支持向量机对文本向量进行分类，实验结果证明了改进的有效性。第三，使用卷积神经网络对文本进行了情感分析。采用word2vec词向量模型将文本转化为矩阵的形式，并且根据扩充后的情感词典向文本矩阵添加情感信息维，使用卷积神经网络对文本矩阵进行预测，实验结果证明了改进方案在一定程度上的有效性。最后对比了支持向量机和卷积神经网络两种模型，分别

6、说明了各自的优势。关键词：自然语言处理，情感分析，情感词典，支持向量机，卷积神经网络I北京理工大学硕士学位论文AbstractInrecentyears,asanimportantresearchtopicinthenaturallanguageprocessingfield,thesentimentanalysisoftexthasattractedmoreandmoreattention.WiththedevelopmentoftheInternet,thesentimentanalysistech

7、nologyisplayinganimportantroleinpublicopinionmonitoringandeventspredicting.ThethesisdesignssentientanalysismethodsbasedonstatisticalmethodsforChineseshorttextadoptingthereviewsofproductsasthedataset.Thethesisusesthesupportvectormachineandtheconvolutional

8、neuralnetworkasclassifiers.Thenthethesistriestoimprovethetextmodelingaccordingtotheextendedsentimentdictionary.Theresultoftheexperimentshowsthattheprecisionisimproved.Atlast,thethesiscomparestheSVMwiththeCNNtoexplaintheadv