基于Crawler的Web服务搜索研究

《基于Crawler的Web服务搜索研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、^一更I’●▲参I鼻t中文摘要摘要随着Web服务技术的不断发展，企业，组织或个人都可以根据Web服务规范将某个商业应用或实现某个功能的应用程序发布为web服务，并可选择发布方式，规定允许被调用的用户范围等，从而被互联网中的用户发现并使用。但是随着目前几个公用的UDDI注册中心的关闭，最常用的基于UDDI注册中心的Web服务发现方式的弊端越来越明显。用户想要找到提供某个功能的Web服务经常要查找多个UDDI或代理中心，这些UDDI或代理中心通常是提供分类浏览的查找方式，因此查找过程需要花费大量的时间，甚至找不到需要的Web服务，

2、具有较低的查全率。基于通用搜索引擎的web服务搜索虽然查全率高，但是往往搜索到大量无用的信息，查准率比较低。因此Web服务搜索和发现成为Web服务发展的一个瓶颈。本文借助搜索引擎技术在Web资源搜索上强大的优势，设计了一个基于Crawler的Web服务搜索模型，该模型利用专用的网络爬虫来搜索互联网上的w曲服务描述文档(WSDL)，通过筛选，从而提供一个Web服务信息库，供用户进行二次检索和匹配。在设计专用搜索引擎时，首先设计网络爬虫，并对网页抓取和WSDL文档提取过程遇到的关键问题进行分析和设计；其次对Web服务信息库的二次检

3、索和匹配的策略进行分析和设计；最后主要实现专用搜索引擎模块来搜索互联网上的Web服务。通过对搜索引擎中关键问题的分析和设计如基于二叉树存储的URL消重策略的设计，基于十六叉树存储和遍历的DNS缓存策略的设计等提高了网络爬虫抓取网页的速度和效率；通过设计基于网页重要度的信息库更新策略保证了WSDL文档抓取的覆盖率和成功率，通过设计基于WordNet语义网和最小生成树的W曲服务聚类和匹配策略使用户检索Wcb服务时更方便，更准确。通过对模型实现部分的Web服务抓取结果进行分析，表明该模型中设计的专用搜索引擎在搜索Web服务时是有效的

4、，并且具有较高的覆盖率。关键词：Web服务发现；Crawler；WSDL；网页重要度～p’'●英文摘要ABSTRACTWiththecontinuousdevelopmentofwebservices，Enterprise，organizationorindividualcanpublishbusinessapplicationsorapplicationprogramsaswebservicesbasedonwebservicesspecifications，theyalsoCanchoosethepublishway，li

5、mittheuserscopeandSOon．thentheintemetuserscandiscoverandusetheseWebservices．however．withtheclosedofseveralcommonUDDIregistrycenter,thedrawbacksofdiscoverwebservicesbasedonUDDIisbecomingmoreandmoreobvious．theUSerSusuallyneedbrowsemanyUDDIregistrycenterstofindthewebse

6、rvicetheyneed，thisprocesscostalotoftime，andmaybetheyCan’tfindit．thiswayhaslowerrecallrate．thewayofwebservicessearchbasedonGeneralsearchenginehasgoodrecallrate，butbadprecisionrate．Sowebservicesearchanddiscoverybecomesabottlenecktowebservicesdevelopment．Thispaperdevis

7、esawebservicesearchmodelbecauseoftheadvantagesofsearchengineonsearchingwebresources．thismodelsearchtheWSDLdocumentsontheIntemetusingdedicatedwebcrawler，thenprovideawebservicedatabasethroughfiltering．theuserssearchandfindwebservicefromthisdatabase．whendivisethededica

8、tedsearchengine，thispaperfirstlydivisethewebcrawler，analyzeanddesignthekeyissuesofwebcrawlandWSDLfilter；thenanalyzeanddesignthesecondaryse