基于支持向量机的一体化分词聚类研究

《基于支持向量机的一体化分词聚类研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要摘要本文研究的目的是建立一个统一的分词，聚类，语义空间模型。我们使用了面向对象的方法，有利于本系统的结构的升级和修改。本文主要的工作由三部分组成：分词，聚类，使用分词、聚类的结果建立语义空间。分词，聚类统一使用统计学习的方法进行处理。分词技术是进行高级自然语言理解，检索，等工作的前提。本文通过统计学习理论，着重研究在小样本情况下的统计规律及学习方法性质。它为机器学习问题建立了一个较好的理论框架，也应用发展了一种新的通用学习算法：支持向量机(SⅧ)。本文从支持向量机理论、方法和应用结合的角度出

2、发，研究了支持向量机在中文分词中的应用。然后对于分词结果建立倒排索引的同时，进行词聚类。这同样也使用到了支持向量机。对于分词时用到的统计信息可以在聚类时继续使用，降低了程序的代价。这是一种提高效率的方法。最后，研究了语义空间建立的问题，使用分词，聚类的结果，使用PLSI方法建立语义空间矩阵，对文章进行浅层次的理解。经过调试和运行，本论文研究设计的一体化分词聚类，建立语义空间方法能够达到设计要求，改善了语义空间建立耗费巨大资源的局面。关键词：支持向量机分词聚类算法语义空间词频统计互信息abstra

3、ctAbstractSegmentationtechnologyisadvancedlanguageunderstanding,retrieval，andSOonthepremise．Thisarticlepassoflearningtheory,focusingonsmallsamplesinthecaseofthestatisticallawsofnatureandlearningmethods．Machinelearningproblemsitcreatedabettertheoretic

4、alframework，butalsothedevelopmentofanewuniversallearningalgorithms：supportvectormachine(SVM)．Thisarticlefromthesupportvectormachinetheory,methodandapplicationofcombinationofthepointofviewtostudythesupportvectormachineintheChinesewordsegmentationappli

5、cation．Theresultsforthewordandthentheestablishmentofinvertedindexatthesametime，thewordclustering．Thesameisalsousedtosupportvectormachines．Thewordwhenusedintheclusteringofstatisticalinformationcancontinuetouse，reducingthecostoftheprocedure．Thisisawayt

6、oimproveefficiency．Finally,thearticlestudiedtheissueoftheestablishmentofsemanticspace，theuseofsegmentation，clusteringresults，theuseofmethodstoestablishthesemanticspacePLSImatrixofarticleslowerunderstanding．KEYWORDS：SVM，Chinesewordsegmentation，Cluster

7、ingAlgorithm，SemanticModel，statisticthefrequencyoftheword，mutualinformation独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究：r作和取得的研究成果，除了文中特别加以标注和致谢之外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得丞洼三些太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文作者签名．新武，签字嗍年月日学

8、位论文版权使用授权书本学位论文作者完全了解云洼王些太堂有关保留、使用学位论文的规定。特授权云洼王些太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供夯阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。(保密的学位论文在解密后适用本授权说明)学位论文作者签名：讳氐I～·签字日期：年月日导师签名：签字胁1年二月砷同／’学位论文的主要创新点一，使用互信息作为分词和聚类的方式统一分词聚类过程，降低程序的代价。二，使用聚类后的结果用于建立语