中文文本分类特征选择方法研究

《中文文本分类特征选择方法研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、分类___TP391___密级_____________硕士学位论文中文文本分类特征选择方法研究陈建华导师姓名职称：王治和教授专业名称：计算机应用技术研究方向：数据库技术及应用(数据挖掘)论文答辩日期：2012年5月学位授予日期：2012年6月答辩委员会主席：评阅人：二〇一二年五月硕士学位论文M.DThesis中文文本分类特征选择方法研究ResearchofFeatureSelectionMethodforChineseTextClassifization陈建华ChenJian-hua独创性声明I摘

2、要随着科技的发展和网络的普及，人们可获得的数据量越来越多，这些数据多数是以文本形式存在的。而这些文本数据大多是比较繁杂的，这就导致了数据量大但信息却比较匮乏的状况。文本挖掘技术为解决这一问题提供了一个有效的途径。而文本分类技术是文本挖掘技术的一个重要分支，是有效处理和组织错综复杂的文本数据的关键技术，能够有效的帮助人们组织和分流信息。文本分类的两个重要的研究方向是:特征选择与文本分类算法。特征选择是指从高维的文本特征空间中选择出最能代表文本内容的特征，好的特征选择方法一方面能够降低文本特征空间的维

3、数，以利于提高文本分类的效率，另一方面好的特征选择方法通过去除对文本分类无效的特征也有利于提高文本分类的分类精度。而好的文本分类方法则能够直接有效地提高文本分类的效果。目前在文本分类领域较常用到的特征选择算法中,仅仅考虑了特征与类别之间的关联性,而对特征与特征之间的关联性没有予以足够的重视。针对这种情况，本文提出一种基于类别区分度和关联性分析的综合特征选择算法。首先利用类别区分度提取出具有较强类别区分能力的特征词来降低特征空间的稀疏性，再通过特征的关联性分析衡量特征与类别的相关性以及特征之间的冗余度

4、，最终选择出具有类别代表性且相互之间不存在冗余的特征词。经实验验证，该算法能有效地改善分类器的性能。关键字：文本分类；特征选择；类别区分度；C-关联；F-关联；相关独立度IIAbstractWiththedevelopmentoftechnologyandnetwork’spenetration,moreandmoredataisavailabletopeopleandmostofthesedataisintheformoftext.Theseunstructuredformofdataleadst

5、oastatuswithlargevolumeofdatabutwithrelativelyrareinformation.Textminingtechnologyhasprovidedaneffectivewaytosolvethisproblem.Textclassificationtechno1ogyisabranchoftextminingtechnology,whichmeansitisonekeytechnologyofmanagementingandorganizingcomplext

6、extdataeffectively.Textminingcanhelppeopleorganizeandstreaminformationeffectively.Twoimportantresearchdirectionsoftextclassificationare:featureselectionmethodandtextclassificationalgorithm.Featureselectionreferstoselectthefeaturetermswhichcanbestrepres

7、entthecharacteristicsoftextfromhigh-dimensionalfeaturetermspace.Goodfeatureselectionmethodononehandcanreducethedimensionofthetextfeaturespace,resultingintheimprovementoftextclassificationefficiently,ontheotherhandgoodfeatureselectionmethodcanimprovethe

8、accuracyoftextclassificationthroughremovinginvalidfeatureterms.Goodtextclassificationmethodisabletoimprovetextclassificationresultdirectly.Currentfeatureselectionalgorithmsfrequentlyusedintextcategorizationmerelytakethecorrelationbetwee