基于潜在语义索引和var-tree的文本分类研究

《基于潜在语义索引和var-tree的文本分类研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ResearchofTextCategorizationbasedonlatentsemanticindexingandVAR-TreeMajor：ComputerApplicationDirectionofStudy：ArtificialIntelligenceGraduateStudent：QianZhiQiuSupervisor：Prof.ZhongLiuCollegeofInformationScienceandEngineeringGuilinUniversityofTechnologySeptember,201

2、2toApril,2013摘要当前，在以互联网为代表的信息技术广泛普及的基础上，移动互联网、云计算等新兴信息技术快速发展，人们通过微博、社交网络等各种信息媒介相互交流。方便了人们生活工作学习的同时，大规模海量真实信息的爆炸式出现，如何从海量信息中准确并且高效地获取有用信息已经成为一个具有非常重要现实和理论意义的研究课题。文本自动分类作为处理和组织大量文本数据的基础技术应运而生。文本自动分类简称文本分类（TextCategorization，TC）作为信息检索和数据挖掘的基础技术和研究热点，从上个世纪50年代末至今，得到广泛

3、关注并已取得长足发展。广泛应用于垃圾邮件过滤、网络内容管理、本体映射、电话会议等各个方面。本文详细阐述中文文本分类及相关技术理论包括：文本预处理、文本表示、特征选择、特征权重计算、分类效果的评价指标、文本分类算法。然后对向量空间模型（VectorSpaceModel，VSM）和传统K‐最近邻（K‐NearestNeighbor，KNN）分类算法进行优缺点分析，并在分析结果基础之上做出改进。主要做了如下研究工作：首先，针对传统向量空间模型忽略语义信息的缺点，以潜在语义索引/奇异值分解(LatentSemanticIndexi

4、ng/SingularValueDecomposition，LSI/SVD)为技术手段，对传统向量空间模型加以改进和扩展。在训练文本集的词‐文本矩阵基础上进行奇异值分解，构建出语义空间代替原来基于特征项（关键词）的向量空间。在保留向量空间模型直观表示和便于计算的优势同时，LSI模型一方面可以消除同义词和多义词带来的不利影响，提取出文本潜在语义信息并突显出这一特点，更加准确地描述文本；另一方面可以排除大量无用的、干扰分类的“维数噪声”。有效地提高了文本分类的精确度。实验表明：基于LSI的分类算法比基于VSM的分类算法在准确率

5、方面有所提高。其次，运用高维数据索引结构VAR‐Tree改进传统KNN算法效率低下这一局限性。传统KNN算法忽视训练阶段，放弃训练规则，只是简单地把训练样本存储起来；当待分类文本进行测试时，将其与所有的训练样本一一计算相似度，进行分类判别，时间复杂度太高，导致算法效率低下。针对训练样本具有同类聚集、异类分散的大体分布特点，运用VAR‐Tree对训练样本进行整理划分排序，改进的KNN算法在测试阶段只需要在VAR‐Tree中搜索K个最近邻，而不必与训练样本一一计算。在减少文本查询量的同时提高查询速度，从而提高算法效率。实验结果

6、证明：在不降低原有分类准确率的前提下，改进算法在效率方面有明显的提高。关键词：文本分类，向量空间模型，隐含语义索引，VAR‐Tree，KNN算法IAbstractAlongwiththewidespreadoftheInternet,mobileInternet,cloudcomputingandotheremerginginformationtechnologydevelopedrapidly.Peopleexchangedinformationbymicro-blogging,socialnetworking,ando

7、therinformationmedia.Facilitatedthepeople’slearninglifeandwork,massivetrulyinformationexplosion.ItwasaveryimportantlypracticalandtheoreticalresearchtopictoObtainusefulinformationaccuratelyandefficientlyfromthemassiveinformation.Automatictextclassificationwasbasict

8、echnologyforprocessingandorganizingamountsoftextdatacameintobeing.Automatictextclassificationshortfortextclassification(TextCategorization)wasbasictechn