基于集成学习的文本分类方法研究

《基于集成学习的文本分类方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、密级公开分类号ＴＰ３９１．１ＸＩＡＮＴＥＣＨＮＯＬＯＧＩＣＡＬＵＮＩＶＥＲＳＩＴＹ硕士学位论文题目：基于集成学习的文本分类方法研究＇作者：李鹏鹏指导教师：范会敏教授ｍ申请学位学科：计算机应用技术２０１８年４月２６日密级公开分类号TP391.1硕士学位论文题目：基于集成学习的文本分类方法研究作者：李鹏鹏指导教师：范会敏教授申请学位学科：计算机应用技术2018年4月26日基于集成学习的文本分类方法研究学科：计算机应用技术研究生签字：指导教师签字：摘要随着互联网上数据量

2、的急剧增长，人们检索各类数据的成本越来越高，更加便捷高效地自动分类信息就显得很重要。文本分类技术为更方便的检索信息提供了可能性，使其更加准确和高效。近年来，已经有一些新技术新思想被应用于文本分类中，但仍有部分环节需要改进和提升，比如特征权重算法改进和集成学习的应用等。所以本文在充分研究文本分类基础理论与架构的基础上，对传统方法进行改进从而使得文本分类的准确率更高，泛化能力更强。鉴于传统TF-IDF特征权重算法欠缺对特征词在文档集类别之间和类别内分布信息的描述，本文分别提出类别间特征词分布因子introC和类别

3、内部特征词分布因子interC，将两者与传统算法结合形成了本文改进算法。因子introC还兼顾了对类别之间文档分布信息的描述，有效提高了分类算法对倾斜文本集的适应能力。实验结果表明改进算法较传统算法F1值有较大提升，对倾斜文本集适应性更强。主流的集成学习算法均基于同质基分类器，通过扰动训练样本破坏稳定性，从而获得多样性的基分类器。本文结合异质分类器具有较丰富的多样性的实验结果，设计了一种基于多角度扰动异质基分类器的集成学习模型训练方法，该方法从特征选择算法、特征维数与分类器参数角度进行扰动，丰富了基分类器的多

4、样性，有效提高了分类模型准确率和泛化能力。本文实验结果初步验证了该训练方法的可行性以及有效性。关键词：文本分类；TF-IDF；倾斜数据集；集成学习ResearchonTextClassificationBasedonEnsembleLearningDiscipline：ComputerAppliedTechnologyStudentSignature:Supervisor：AbstractWiththeexplosivegrowthofdataontheInternet,thecostofretrieving

5、varioustypesofdataisgettinghigherandhigher,anditisveryimportanttoclassifytheinformationmoreconvenientlyandefficiently.Textclassificationtechniquesmakeiteasiertoretrieveinformationandmakeitmoreaccurateandefficient.Inrecentyears,somenewtechnologiesandideashav

6、ebeenappliedtotextclassification.However,therearestillsomeaspectsforimprovementsuchasthefeatureweightingalgorithmandtheapplicationofensemblelearning.Withfullystudyingthebasictheoryandframeworkoftextclassification,thispaperimprovestheaccuracyandgeneralizatio

7、nabilityoftextclassificationbyimprovingthetraditionalmethod.ThetraditionalfeatureweightingalgorithmTF-IDFlacksthedistributioninformationofdocumentbetweencategoriesandthedistributioninformationbetweendocumentsinsamecategory.ThispaperproposethefactorintroCand

8、interCwhichconsideringthedistributedinformation,andcomparewithtraditionalalgorithms.CombiningthemthenhavegothigherF1value.ThefactorintroCalsotakesintoaccounttheinformationofdocumentdistributionbetweenc