基于soa的网络信息资源采集系统的研究与实现

《基于soa的网络信息资源采集系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华北电力大学硕士学位论文想和ontology、正则表达式等技术的深入研究，提出了面向服务的采集体系架构，并设计实现了基于SOA的网络信息资源采集系统。针对上面内容进行了以下方面的相关工作：1)广泛调研和分析网络信息的特点，对多种搜索引擎和开源爬虫的采集原理进行了深入的研究。最初的网络信息采集n¨通常是借助各种搜索引擎来完成的，是从异构数据源收集信息进而转换为用户需要的信息的过程。作为一个概念，从其最初的查询、存储信息的简单能力逐渐上升为__个综合性的概念，包含了丰富的内在意义。2)深入的研究了SO

2、A和WebServices技术，重点对面向服务的体系架构进行分析，进而将面向服务的思想应用到信息采集系统中，提出了面向服务的网络信息资源采集架构，并对架构作了详细的分析和说明。3)针对网络科技资源的特点和资源网站的既定分类方式，提出一种目录树采集算法。通过对现有采集算法的深入研究，详细分析网站链接之间的层次关系，构建站内链接的目录层次结构和基于本体技术的分类目录树，按照目录树的结构有层次的采集网络信息资源。4)深入的研究了网页内容的抽取技术，结合本体和正则表达式等技术提出了一种基于本体和可视化规则

3、的抽取模型。首先通过对页面内容的预处理及分析后，形成抽取过程中遵循的规则；同时，用ontology建立数据模型，把可能抽取的信息项映射到ontology中的元素上。将抽取规则与ontology中的对象进行对应，实现网页内容的抽取。5)采用面向服务的采集体系结构，结合目录树算法及基于本体和可视化规则的抽取模型，设计实现一个基于SOA的网络信息采集系统，并对系统的总体结构进行了详细分析；通过在网络科技资源应用集成环境建设项目中的应用，验证了系统的可行性和高效性。1．4本文的组织结构本文主要研究如何实现

4、基于SOA的网络信息采集系统，全文共分六章。第一章首先介绍本课题的研究背景、意义和发展现状，然后阐述本文研究的主要内容及本文的组织结构。第二章首先研究面向服务的架构(SOA)，在深入研究和讨论其主要实现技术WebServices的基础上，提出面向服务的采集体系架构，并对采集架构进行了分析和说明。第三章研究和分析现有的采集算法，结合项目需求提出了一种基于目录树的网3华北电力大学硕士学位论文络信息资源采集算法，对算法的结构进行详细分析；最后通过实验验证该算法的性能。’第四章研究和设计网络科技领域本体，

5、对本体的定义、构建、结构及可视化规则的形成过程进行深入分析的基础上，提出一种基于本体和可视化规则的抽取模型，最后进行模型的性能测试。第五章将目录树算法及基于本体和可视化规则的抽取模型与面向服务的体系机构相结合，设计并实现基于SOA的网络信息资源采集系统，并对该系统在实际项目中的应用情况进行介绍。第六章对本论文的工作进行总结，同时也提出了下一步需要做的工作。4华北电力大学硕士学位论文第二章系统架构设计本章首先对面向服务的架构和WebServices技术进行研究，然后将面向服务的思想和网络信息资源采集

6、相融合，提出面向服务的网络信息资源采集架构，并对架构进行分析和说明。2．1面向服务的体系结构面向服务的体系结构(Service．OrientedArchitecture，SOA)是一种体系结构风格n扣。它将应用程序的不同功能单元一服务(service)，通过服务间定义良好的接口和契约(contract)联系起来。接口采用中立的方式定义，独立于具体实现服务的硬件平台、操作系统和编程语言，使得构建的系统中的服务可以使用统一和标准的方式进行通信。SOA采用面向服务的软件封装技术，现(ServiceImp

7、lementation)的方式呈现，它以服务接口(ServiceInterface)和服务实它的三个基本要素是服务描述、服务发现和服务调用[13]9如图2．1所示。从技术角度讲，SOA是一个组件模型，以XML技术为基础，通过使用WSDL协议(WebServicesDefinitionLanguage，基于XML格式的WebServices描述语言)来描述接口。SOA不仅仅是一个软件开发框架而且还是一个业务开发框架。它能够将不同类别、不同平台的服务结合在一起，动态地、实时地更新维护一个跨区域的多功能

8、的应用实体。图2．1面向服务的体系结构组成WebServices是一种实现SOA的构架技术【141，是建立在开放标准和独立三．一的协议基础之上的分布计算单元。WebServices通过WSDL协议定义服务接口，使用UDDI协议进行WebServices注册和查找。所有这些特性使得它是目前实现SOA5华北电力大学硕士学位论文的最好方式之一。基于WebServices的动态发现、配置和即时集成所提供的服务，已成为Internet上的应用主流。图2．2是WebServices协议栈匹配S