基于动力粒子群算法的网络蜘蛛搜索策略研究

《基于动力粒子群算法的网络蜘蛛搜索策略研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、湖北工业大学硕士学位论文中局部最优子空间的陷阱，利用模拟退火算法在选择优化解方面的“非贪婪性”，爬行网络中每次除选择价值最优的链接(简称“最优链接")外，还以一定概率有限度地接收价值次优的链接，克服了现有Spider搜索方法启发式策略中对URL选择估计的非精确性和局部性，这些网络蜘蛛都是对其网页爬行的过程进行智能化处理，从某种角度提高了搜索引擎的智能化程度。此外还有1994年的w曲naut、SPHⅣx、CIspider、TkM删、CollabrotiVeSpider，1997年报告的neWebAnts、neR．BSE(RespositoryBasedSo腑areEn百neerin曲、

2、MetaCrawler，1998年报告的SmanItsyBitsySpider都从智能化的角度探讨了网络蜘蛛的实现。目前网络蜘蛛的研究主要集中在三个方向：提高网络蜘蛛的速度与爬行效率；网络蜘蛛的爬行安全策略；信息获取方式。搜索过程采用深度优先和广度优先、最好优先算法来遍历IIltemet网络。计算智能随1(ComputationIIltelligence，CI)是从模拟自然界生物体系和生物智能现象发展而来，用计算机模拟和再现生物体的某些智能行为，并用于改造自然的工程实践的一种新型人工智能研究领域。计算智能的最大特点就是不需要建立问题本身的精确模型，适合于解决那些因为难以建立有效的形式

3、化模型或用传统人工智能技术又难以有效解决甚至无法解决的问题。群体智能这个概念来自对自然界中一些昆虫的研究，群体智能的核心是由众多简单个体如蚂蚁、蜜蜂、鸟类等组成的群体能够通过相互之间的简单合作来实现某一功能，完成某一任务。这些“简单个体"是与其邻近的个体进行某种简单的直接通信或通过改变环境间接与其它个体通信，从而可以相互影响、协同动作。群体智能具有如下特点：协作性(不但有行为上的支持而且还有信息上的共享)阻1、分布性(个体的行为是呈分散状态，但通过信息交流，整个群体的信息却是全局的，因此群体行为往往可以达到全局最优)n们、鲁棒性(不会因为某一个或者某几个个体的故障而影响整个问题的求解

4、)n¨、自适应性和快速性(个体的行为能力都十分简单，但这些行为能根据环境的变化快速做出反应)。目前，群智能技术的两种主要算法：蚁群算法n21和微粒群算法(Paniclesw姗optimization，PSO)已被应用到多目标优化、数据分类、数据聚类n3

5、、模式识别、信号处理、决策支持以及仿真和系统辩识等方面，为解决这类应用问题提供了新的途径n5J。国内有一些学者对群体智能算法及其相关领域的应用展开了研究。作为群智能技术中一种的粒子群算法是全局优化算法，它在解空间中随机产生初始种群，搜索重点集中在性能高的部分；搜索过程是从问题解的一个集合而不是从单个个体开始，具有隐含并行性，减小了陷入

6、局部极小的可能；搜索是根据个体的适配信息进行的，不受函数约束条件的限制，如连续性、可导性等；粒5湖北工业大学硕士学位论文子群算法有记忆，所有粒子都保存好的解的知识；由于粒子通过内部速度进行更新，因此原理更简单、参数更少、实现更容易。目前粒子群算法已被运用到多目标优化、数据分类、数据聚类、模式识别、信号处理、决策支持以及仿真和系统辩识等方面，为解决这类应用问题提供了新途径。有鉴于此，将群智能技术特别是粒子群优化算法运用到智能垂直搜索引擎的这些关键性的、基础性的问题之中，以改善垂直搜索引擎的性能，既具有理论基础，也适应垂直搜索引擎技术发展的需要。近年来，在垂直搜索引擎网络蜘蛛的研究过程中

7、，也提出了一些新的方法来提高其智能化程度，这些技术展现了一种有别于传统视角的技术层次，例如蚁群算法、模拟退火算法、遗传算法等智能计算方法，它们提供了更具普遍意义的分析技术和实现方法，为粒子群算法与垂直搜索引擎网络蜘蛛的结合提供了可靠的研究经验和有价值的思想方法。垂直搜索引擎中的许多问题如主题网络蜘蛛的爬行策略、搜索结果的聚类、文本特征属性约简等本质上就是一个优化问题，将群智能技术特别是粒子群算法n羽运用到垂直搜索引擎的网络蜘蛛搜索策略中来，在国内外的大量研究还鲜见。因此，如何在垂直搜索引擎中融入智能计算技术，以及在获取有价值网页中如何体现智能搜索行为应成为Web应用发展的新课题。1．

8、3论文的主要工作和创新点本文在研究传统搜索引擎技术实现的同时，结合现有的垂直搜索引擎技术和粒子群算法等智能计算技术，对垂直搜索引擎进行了深入系统的研究，并在此基础上对垂直搜索引擎所涉及到技术中的网络蜘蛛爬行策略问题提出了新的思考和见解，论文的主要贡献如下：针对传统的基于单一价值评价的搜索策略存在主题漂移、容易迷失方向、过于依赖关键词集、收集结果易陷入局部最优等不足，提出了基于动力学粒子群算法的新的启发式搜索算法。根据w曲资源分布的群聚性特点，利用动力学粒子