基于markov随机游走渐进式半监督文本分类的研究

《基于markov随机游走渐进式半监督文本分类的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：签字日期：年月日学位论文版权使用授权书本学位论文作者完全了解江西师范大学研究生院有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权江西师范大学研究生院可以将

2、学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位论文作者签名：导师签名：签字日期：年月日签字日期：年月日摘要随着互联网技术以及数据存储技术的迅猛发展，科学研究以及社会生活等领域都积累了大量的数据，对这些数据进行分析和挖掘得到其所蕴含的有用信息，成为几乎所有领域的共同需求。传统的机器学习方法通常只利用有标签数据或者只利用未标记数据，而在实际问题中往往是两者并存，如何有效利用这些数据成为几乎所有领域关注的问题。作为能有效解决这个问题的关键技术，半监督学

3、习引起了机器学习和数据挖掘界的高度重视。根据学习目的的不同半监督学习大致可以分为半监督分类和半监督聚类。其主要思想是在已标记训练数据集较少的情况下，如何结合大量的未标记数据来改善学习性能，本文中探讨的是半监督分类。基于Markov的随机游走算法，可用概率的形式表示低维数据的结构信息，同时具有非常强大的学习功能，因而被广泛地应用于半监督学习问题中。本文首先提出了一种基于Markov随机游走的半监督文本分类模型（简称为SMRW）,该模型对传统的基于Markov随机游走的分类模型进行了改进。在随机游走过程中，计算待标注数据到各类的迁移概率时，只考虑

4、相应类别样本的影响，而忽略其他类别样本对随机过程的影响,同时利用衰减函数来约束不同游走步数对迁移概率的影响，并在20newsgroups数据集上进行了实验，实验结果表明，该模型具有较好的分类性能。本文提出了一种基于Markov随机游走的渐进式半监督分类模型，在初始阶段已标记训练样本较少时，训练得到的分类器性能不高。且在Markov随机游走迭代过程中，样本的错分引起的误差，会在后续的迭代中不断被放大，从而影响模型的准确性。针对此问题提出了一个基于Markov随机游走的渐进式半监督文本分类模型(简称为PSMRW)，即在半监督分类模型中引入了渐进学

5、习的思想，试图“纠正”半监督学习迭代过程中产生的“错误”，，从而提高模型的预测精度的目的。在20newsgroup数据集上的实验结果表明，所提出的方法能够提高半监督分类的精度。关键词：半监督分类；渐进学习；Markov随机游走；迭代；IAbstractWiththerapiddevelopmentofinternettechnologyanddatastoragetechnology,alargeamountofdatahasbeenaccumulatedinthefieldofscientificresearchandsociallife.

6、Togetusefulinformationbyanalyzingandminingthedata,graduallybecomethecommonneedsofalmostallareas.Traditionalmachinelearningmethodsusuallyusethelabeleddataoronlyunlabeleddata,howeverinthepracticalproblems,bothlabeleddataandunlabeleddataarecoexist,thushowtoeffectivelyusethesed

7、atabecomesalmostallareasofconcern.Asthekeytechnologythatcaneffectivelysolvethisproblem,semi-supervisedlearninghasarousedHighdegreeofattentioninthefieldofmachinelearninganddatamining.Semi-supervisedLearningcanbedividedintotwocategories,semi-supervisedclassificationandsemi-su

8、pervisedclusteringrespectivelyaccordingtoitsstudyingpurpose.Itsmainideaisthathowca