关于社会网络分析方法的web资源挖掘的研究

《关于社会网络分析方法的web资源挖掘的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、致谢本论文的工作是在我的导师林友芳副教授的悉心指导下完成的，林老师严谨的治学态度和科学的工作方法给了我极大的帮助和影响，他指导了我学习研究的方向，也教给我以后工作的所该具备态度和方式。在此衷心感谢两年来林友芳老师对我的关心和指导。在实验室工作及撰写论文期间，万怀宇师兄，王天宇等同学对我论文研究工作给予了热情帮助，在此向他们表达我的感激之情。另外也感谢我的父母，他们辛勤地工作，支持我，使我能够在学校专心顺利完成我的学业。1．1研究背景和目的l绪论Web是为广大用户交换或共享信息而发展起来的一种Intemet应用，近年来得到了飞速发展，其信息量呈几何级数增长，每天

2、都有数以百万计的网页加入到Web中。它已经成为了一个涉及教育、政府、电子商务、新闻、广告、消费信息、金融管理和许多其它信息服务的、巨大的、分布广泛、全球性的信息服务中心。Intemet的普及和发展为人们带来了巨大的社会效益，与此同时它也为信息科学的研究带来了巨大的机遇和挑战。虽然网络可以迅速便捷的为人们带来大量信息，但是，Web所具有的海量数据、复杂性、极强的动态性、用户的多样性等特点给Web资源挖掘造成了相当的难度。在实际应用中，当需要从网络上获取信息时，有用信息往往会被大量的无用信息所淹没，使用户处于无所适从的境地，搜索特定主题的少量权威信息源成为用户普遍

3、又迫切的需求。解决这些问题的一个有效途径，就是将传统的数据挖掘技术和Web结合起来，进行Web挖掘。Web挖掘是一项综合技术，涉及了统计学、人工知识、模式识别、并行计算、机器学习、数据库等多个领域。一个较为一般的定义是：Web数据挖掘就是从与万维网相关的资源与行为中抽取感兴趣的、潜在的有用模式和隐含信息。随着万维网规模上的迅速增长，其复杂性也大大的增加，以至于我们已经无法掌握其全貌。然而，在一些较小的本地的领域里，Web表现的仍然是有序的、结构化的，因为网页的超链接结构是建立在人们努力进行注释的基础上的。Web网页的作者往往会在其网页中添加指向相关主题网页的链

4、接。通过利用这些链接信息，就可以针对某一主题对网页进行提取和分组。搜索引擎可以帮助人们尽快地找到所需要的信息，但是目前多数搜索引擎是基于分类或关键词逻辑组配的检索方式，用户的一个查询请求往往会检索出庞大的结果集，而用户所需要的信息却只是其中一小部分，面对如此多的结果，用户仍然不知所措。因此，如何提供一些有效的工具和方法，帮助人们高效地获取所需信息，搜索所需领域的权威网页就成为了研究者们所面临的重大课题。社会网络分析从20世纪50年代开始，经过50多年的发展，已经成为一门成熟的社会学科。主要是分析人与人之间的组成的社会网络。而Internet上各个网页，它们之间

5、相互链接，盘根错节，组织成了一个类似于人类社会的网络，结合社会网络分析方法和传统的数据挖掘方法，将对Web资源的社会网络分析方法的挖掘进行研究，帮助人们高效的获取所需信息，寻找所需领域的权威信息。1．2研究现状1．2．1W．eb挖掘现状近年来，随着Internet／Web技术的快速普及和迅猛发展，使各种信息可以以非常低的成本在网络上获得，由于Internet在全球互连互通，可以从中取得的数据量难以计算，而且Internet的发展趋势继续看好，特别是电子商务的蓬勃发展为网络应用提供了强大支持，如何在万维网这个全球最大的数据集合中发现有用信息无疑将成为数据挖掘研究

6、的热点。Web挖掘指使用数据挖掘技术在万维网数据中发现潜在的、有用的模式或信息。Web挖掘研究覆盖了多个研究领域，包括数据库技术、信息获取技术、统计学、人工智能中的机器学习和神经网络等。根据对Web数据的感兴趣程度不同，Web挖掘一般可以分为三类：Web内容挖掘、Web结构挖掘、W曲用法挖掘，后面将会介绍。1．2．1社会网络分析现状社会网络分析(SocialNetworkAmalysis)，顾名思义是分析社会网络的，1954年第一次由英国的人类学家BROWN提出社会网络这个概念。经过50多年的发展，它有两种不同的研究方向。一种是整体网络分析，也是网络结构分析，

7、主要研究群体中不同角色的关系结构，引进数学的图论，使用社会关系图来代表小群体问的人际关系，如图论、随机网络、PERT图、决策树、网络流分析等。之后，引进数学中的矩阵方法研究群体数量较大、图形关系复杂的情形。目前，整体网络分析集中于探讨网络结构随时间的变迁和网络中成员的直接或者间接的联系方式，使用的主要概念有：侧重衡量整体网络结构的簇(clusters)，桥(bridges)，紧密性，中距性，中心性等；侧重网络中不同角色地位的明星(stars)，联络人(1iaisons)，孤立者(isolates)，结合体(coalitions)，小集团(cliques)等。另

8、一种是自我中心网络(Egocentri