中文文本分类中特征选择算法及分类算法的研究

《中文文本分类中特征选择算法及分类算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工学硕士学位论文中文文本分类中特征选择算法 及分类算法的研究迟麟燕山大学2009年12月万方数据国内图书分类号：TP391.1国际图书分类号：621.38工学硕士学位论文中文文本分类中特征选择算法 及分类算法的研究硕士研究生：迟麟导师：刘文远教授申请学位级别：工学硕士学科、专业：计算机软件与理论所在单位：信息科学与工程学院授予学位单位：燕山大学万方数据ClassifiedIndex:TP391.1U.D.C.:621.38DissertationfortheMasterDegreeinEngineeringRESEARCHONFEATURE SE

2、LECTIONALGORITHMAND CLASSIFICATIONALGORITHMIN CHINESETEXTCATEGORIZTIONCandidate:ChiLinSupervisor:Prof.LiuWenyuan AcademicDegreeAppliedfor:MasterofEngineering Speciality:Computersoftware University:YanshanUniversity万方数据燕山大学硕士学位论文原创性声明本人郑重声明：此处所提交的硕士学位论文《中文文本分类中特征选择算法及分类算法的研究》，

3、是本人在导师指导下，在燕山大学攻读硕士学位期间独立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他人已发表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。作者签字：日期：年月日燕山大学硕士学位论文使用授权书《中文文本分类中特征选择算法及分类算法的研究》系本人在燕山大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归燕山大学所有，本人如需发表将署名燕山大学为第一完成单位及相关人员。本人完全了解燕山大学关于保存、使用学位论文的规定，同意学校保

4、留并向有关部门送交论文的复印件和电子版本，允许论文被查阅和借阅。本人授权燕山大学，可以采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内容。保密□，在年解密后适用本授权书。本学位论文属于不保密□。（请在以上相应方框内打“√”）作者签名：日期：年月日导师签名：日期：年月日万方数据摘要近年来，随着信息技术的迅速发展，特别是Internet的普及，网页上的电子文本信息急剧增加，如何有效地组织和管理这些海量信息，并且能够快速、准确地获得用户所需要的信息是当今信息资源管理技术领域的一大挑战。通过文本自动分类技术的使用，可以使电子文本信息自动的

5、按照类别的方式进行组织和管理，满足人们方便快捷的信息处理需求，准确定位所需信息资源。本文从分词算法，特征选择算法和文本分类算法三个方面对文本分类进行深入研究。首先，通过分析预处理中中文文本分类的特点，中文文本向量空间模型表示法，和两种机械的分词方法，在算法的词典结构、算法的匹配方式、算法对歧义词的处理策略和算法识别未登录词的策略上改进了分词方法，并进行了实验验证。其次，在文本预处理的基础上，为了进一步提高特征项对类别的区分能力，本文分析了基于绝对比例区分(CPD)的特征选择算法，分别在特征项的频度和特征项的冗余两个方面进行改进，提出了改进的CPD

6、特征选择算法，并通过实验进行比较验证。最后，通过分析传统的K最近邻(KNN)分类算法具有计算量巨大和当类别间有较多共性，即训练样本间有较多特征交叉现象时，KNN分类的精度将下降的两点不足，提出了改进的KNN文本分类算法，并在中文文本分类语料库--TanCorpV1.0和搜狐互联网网页语料库两种数据集上，通过实验与传统的KNN算法进行比较验证。关键词文本分类；分词算法；特征选择；绝对比例区分；K最近邻；查准率；查全率万方数据AbstractInrecentyears,withtherapiddevelopmentofinformationtechn

7、ology,especiallyinthepopularityofInternet,dramaticincreasinglyinwebpagesofelectronictextinformation,howtoeffectivelyorganizeandmanagethesevastamountsofinformation,andhowtoquicklyandaccuratelyobtaintheinformationneededbyusersintoday'sinformationresourcemanagementtechnologyisab

8、igchallenge.Byusingtheautomatictextclassificationtechniques,electron