som聚类算法改进及其在文本挖掘中应用的研究

《som聚类算法改进及其在文本挖掘中应用的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、南京航空航天大学硕士学位论文SOM聚类算法的改进及其在文本挖掘中的应用研究姓名：蔡丽宏申请学位级别：硕士专业：管理科学与工程指导教师：马静2011-03南京航空航天大学硕士学位论文摘要情报是国防的灵魂，关系到一个国家的安危及进步。而迅速发展的互联网为国防新闻的搜集提供了最及时、最重要的来源。但是由于互联网上的情报信息大多以半结构化甚至非结构化的自由文本的形式存在，而且数量之大，让人无法形容，导致情报人员容易在“数据海洋”、“信息迷雾”中迷失。因此有必要实现一个文本挖掘系统帮助情报人员自动进行分类、聚类信息，进而快速从中提取出有效情报。文本聚类是文本挖掘中最基本、也是最重要的功能，

2、因此在实现该文本挖掘系统时，关键的问题是如何进行文本聚类以及如何提高聚类的效率。本文先分析了文本聚类的研究背景、国内外研究现状，再介绍了文本聚类的相关基础理论，包括文本挖掘的理论和文本聚类的相关关键技术，着重介绍了自组织映射神经网络SOM聚类算法的工作原理、基本流程，并分析出SOM的优缺点。针对SOM聚类算法的缺点，从两方面对应提出改进方案，即一方面是针对传统上基于向量空间模型表示的输入向量存在高维稀疏及缺乏语义支持的问题，提出基于领域本体将文本表示成主题概念向量；另一个方面是针对聚类过程中传统上采用全失真搜索最邻近结点的乘法运算量过高导致聚类时间过长的问题，提出部分失真方法，早

3、期拒绝不可能的候选获胜神经元，避免不必要的计算，降低计算时的乘法运算量，提高了聚类速度。最后，将改进后的SOM算法应用于国防文本挖掘中，以实验验证其有效性及相对于原始的SOM算法的优越性。关键词：Web文本挖掘、文本聚类，SOM聚类算法，本体I一种SOM聚类算法的改进及其在Web文本挖掘中的应用研究AbstractIntelligenceisthesoulofnationaldefense,Itisassociatewithacountry'ssafetyandprogress.TherapiddevelopmentoftheInternetprovidesthemosttime

4、lyandmostimportantsourceforcollectingintelligenceofnationaldefense.However,duetointelligenceinformationontheInternetexistmostlyintheformofsemi-structuredorunstructuredformoffreetext,andthenumbertoolargetodescribe,thiseasilymakespeopleinthelostof"dataOcean","informationfog".Thereforeitisnecess

5、arytoimplementatextminingsystemtohelppeopleclassifyandclusteringinformationautomatically,andthenextractthevalidinformationquickly.Textclusteringisthemostbasicandthemostimportantfunctionoftextmining.sointherealizationofthetextminingsystem,thekeyquestionishowtotextclusteringandhowtoimprovetheef

6、ficiencyofclustering.Thisthesisfirstanalyzestheresearchbackgroundandresearchstatusoftextclustering,andthenintroducesthebasictheoriesrelatedtothetextclustering,includingthetheoryoftextminingandkeytechnologiesoftextclustering,highlightingsworkprincipleandbasicprocessofSOMneuralnetwork,analyzest

7、headvantagesanddisadvantagesofSOM.ForthedisadvantagesoftheSOMclusteringalgorithm,thisthesisproposedcorrespondingimprovementprogramintwoways.Ontheonehand,thetraditionalinputvectorbasedonvectorspacemodelhastheproblemofsparseandhighlatitudesandt