基于条件随机场的中文短文本分类算法研究

《基于条件随机场的中文短文本分类算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、上海交通大学硕士学位论文基于条件随机场的中文短文本分类算法研究硕士研究生：曾佳妮学号：1100369014导师：刘功申副教授申请学位：工学硕士学科：信息与通信工程所在单位：信息安全工程学院答辩日期：2012年12月授予学位单位：上海交通大学万方数据DissertationSubmittedtoShanghaiJiaoTongUniversityfortheDegreeofMasterRESEARCHONCHINESESHORTTEXTCLASSIFICATIONALGORITHMBASEDONCRFsCandidate：ZengJianiSt

2、udentID:1100369014Supervisor：AssociateProf.LiuGongshenAcademicDegreeAppliedfor：MasterofAcademicInformationandCommunicationSpeciality：EngineeringSchoolofInformationSecurityAffiliation：EngineeringDateofDefence：Dec,2012Degree-Conferring-Institution：ShanghaiJiaoTongUniversity万方

3、数据万方数据万方数据上海交通大学硕士学位论文摘要基于条件随机场的短文本分类算法研究摘要随着互联网的迅速发展，网上生活已经成为了人们必生活中不可少的一部分。互联网上的人们使用的信息很多是以短文本的形式存在的。短文本就是内容较短的文本（一般长度不超过140字符），通常的新闻标题、微博、手机短信、电子邮件、购物评价等都是短文本。面对互联网中的海量信息，利用计算机技术自动地进行短文本分类可以帮助人们在有限的时间内阅读更多感兴趣的信息。本文对基于条件随机场的短文本分类的算法进行了较深入的研究和讨论，在特征选择与文本表示方面进行了改进。与通常的文本相比，

4、短文本有许多特性。本文介绍了短文本的特点并对国内外相关领域的研究现状进行了分析。目前短文本分类方法大多采用的是传统文本分类方法的改进。本文回顾了文本分类方法的一般过程，列举了中文分词、特征选择、特征权重计算、文本表示、文本分类器等文本分类领域的重要知识。条件随机场是一个给定输入序列条件下计算出输出序列的无向图模型，是对传统的有向图概率模型的改进。将条件概率模型应用于文本分类领域是目前短文本分类的新思路。本文系统地描述了条件随机场理论和如何将序列标注的方法用于短文本分类领域。针对短文本所面临的特征稀疏等问题，本文提出I万方数据上海交通大学硕士学

5、位论文摘要了将语料预处理和分词后，用类别作为标注使用条件随机场模型进行标注预测的短文本分类方法。重点介绍了序列标注方法、分类结果的判断与特征模版的选择问题。对比实验表明，基于条件随机场的短文本分类算法是一种有效的文本分类方法，在新闻的主题分类、微博的主客观分类和情感倾向性分类中都取得了不错的分类效果。关键词：短文本，文本分类，条件随机场，SVM，微博II万方数据上海交通大学硕士学位论文ABSTRACTRESEARCHONSHORTTEXTCLASSIFICATIONALGORITHMBASEDONCRFSABSTRACTWiththerapi

6、dgrowthoftheInternet,onlinelifehasbecameanessentialpartinpeople'sdailylife.TheinformationpeopleusedinInternetismainlyinformofshorttext.Shorttextisakindoftextwhichisveryshort(generallynolongerthan140characters).Usualnewsheadlines,micro-blog,shortmessages,email,shoppingcommen

7、tinourlifeisshorttext.TofaceoftheinformationexplosioninInternet,Usingautomaticclassificationtechnologywillhelppeoplefindandspendmoretimeonwhattheyareinterested.Thispaperfocusonshorttextclassificationtechniquesbasedonconditionalrandomfields(CRFs),presentsoptimizationoffeatur

8、eselectionandtextrepresentation.Comparedtousualtext,shorttexthassomedistinctfeatur