互联网中的海量用户行为挖掘算法研究

《互联网中的海量用户行为挖掘算法研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、中国科学技术大学硕士学位论文互联网中的海量用户行为挖掘算法研究姓名：周津申请学位级别：硕士专业：信号与信息处理指导教师：俞能海2011-05-05摘要摘要随着计算机技术以及互联网的飞速发展，在Web中产生了越来越多的基于用户的应用，这些应用数年来收集了海量的用户行为数据，且数据还正以指数级增长，这些海量数据中包含了大量和用户相关的信息。及时、精确地从这些海量用户信息中发现有用的知识，挖掘出这些数据背后隐藏的用户行为模式，能够帮助互联网应用提供更好的用户体验，并提高企业的市场竞争力。本文采用数据挖掘的方法对互联网中的用户行为进行

2、分析挖掘，找出其中隐藏的规律与模式。并从基于Web2.0的社会化标记系统中的用户标记行为分析和互联网搜索引擎中的用户检索行为分析两个方面进行说明。(1)在社会化标记系统中，用户可以自主采用不同的标签标记资源，并利用这些用户标签实现信息资源的组织、分类和检索，但是这种自由的用户标记行为存在着信息描述不精确、标签组织混乱和标签语意模糊等问题。现有研究常采用聚类等数据挖掘技术来解决这些问题，现有标签聚类算法大多根据不同标签在对象中共同出现的次数来计算它们之间的相似度，但是这种方法聚类的精确度与召回率并不高。针对此问题，本文提出了一种

3、新的标签聚类算法，充分考虑标签的标记信息，采用基于对象的特征向量来精确地表征一个标签，根据余弦相似度公式得到较为准确的标签相似度，然后采用K-Means算法将用户标签进行聚类。实验结果表明该算法能够得到更加精确的聚类结果。最后将该算法应用于中国科学技术大学《图书馆交互式科研管理平台》证明该算法的实用性。(2)另一方面，在搜索引擎中，后台日志会记录用户输入的查询词和点击的URL，作为用户与搜索引擎的交互信息。通过挖掘搜索引擎日志中的用户行为，可以发现用户的行为规律，收集统计信息，进而用来改善搜索引擎返回结果的排序。但是由于搜索引

4、擎中日志记录数据海量的特性，传统的聚类算法无法适用在搜索引擎用户行为分析中。针对此问题，本文对搜索引擎中的用户行为采用三部图模型建模，利用特征向量来表征用户输入的查询词，并提出一种基于倒排表查询和MapReduce的分布式K-Means聚类算法，实验证明该算法能够应对海量用户查询词聚类的问题，并且在大规模数据集下表现出高效的性能。最后再根据实验得到的聚类结果分析当前互联网搜索引擎中用户行为的特点。关键词：特征向量数据挖掘用户行为分析K-Means分布式MapReduceⅠAbstractABSTRACTWiththefastd

5、evelopmentofthecomputertechnologyandInternet,moreandmoreapplicationsbasedonusersaregeneratedintheWeb.Theseapplicationshavecollectedmassiveuserbehaviordataforseveralyears,andthedataisgrowingexponentially.Thismassivedatacontainslargeamountsofinformationaboutusers.Itca

6、nhelpInternetapplicationsprovidebetteduserexperience,andimprovecompany’smarketcompetitiveness,ifwecouldfindusefulknowledgefromthemassiveuserinformation,andgettheuserbehaviorpatternsbehindthesedata.Inthispaper,weanalyzeandstudytheuserbehaviorsinInternetusingthedatami

7、ningmethod,andfindthehiddenregularpatternsandmodels.Wecarryoutourresearchesintwoaspects:theanalysisofusertaggingbehaviorinthesocialtaggingsystembasedonWeb2.0;andtheanalysisofuserqueryingbehaviorinthesearchengineinInternet.(1)Inthesocialtaggingsystems,usercanmarkreso

8、urcesfreelywithdifferenttags,andachievethegoalofinformationresource’sorganization,classificationandretrievalusingtheseusertags.Butthereare