数据采集整理分发系统的研究.doc

《数据采集整理分发系统的研究.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、信息采集整理分发系统的研究一概述系统主要功能是实现一个针对不同类型农业资源数据库等资源实现数据采集整理和分发的平台，此平台能够实现数据采集处理分发的自动化和智能化。二系统结构数据采集整理分发系统主要包括三部分：内容抓取模块（CrawlerModule）、信息处理中心（InformationProcessCenter）和分发中心（DistributionCenter），各个模块部分均支持多线程。内容抓取模块：负责分析其它数据库信息内容，提取正文内容，并初步判断是否符合用户配置规则。信息处理中心：负责信息的统一处理，进行数据格

2、式统一，实现信息处理的智能化和自动化。分发中心：负责将处理后的数据信息分发至索引模块数据库系统。三系统功能结构1、信息的收集：主要进行信息自动下载、内容智能分析与初步过滤，剔除无用、过期与重复的信息，并进行自动分类，实现与其他农业数据库资源信息的采集、分析过滤的自动化。2、信息管理：数据采集分发系统对本地的海量信息进行统一管理。3、信息利用：人工智能分析通过人工辅助的方式，运用各种信息分析方法，围绕采集目标相关的信息进行检验、整理和重组，使其有序化、系统化、层次化，以获得更多、更有价值的信息。信息分类与检索对采集的信息内容

3、进行计算机自动分类与人工辅助分类，然后通过专题检索和相关内容自动关联检索手段，从大量文本信息中提取出有价值的知识，方便信息加工人员对知识的发现和利用。信息推送与发布通过信息主动推送的方式，推送到相关的数据库。辅助简报生成对于经过人工分析与挖掘的信息内容，可以通过人工辅助生成简报和报告的方式提交给用户；对于经过分类的信息提供给相应的信息研究与信息利用部门，进行信息的深加工。四采用技术1基于多代理的数据采集系统数据采集分发系统的计划和协调是一个具有独立性、自主性、分布性的多个实体之间的交互协作的并行过程。在动态变化的环境中，外

4、部数据库资源发生变化时，要求计划和协调系统具有高度的柔性和自治性。由于多代理系统（Multi-agentSystem,MAS）具有适应环境的动态自组织能力，因此，采用MAS支持农业数据采集系统是一种有效的方法。多代理系统（MAS）是近几年来分布式人工智能（DAI）领域中的研究热点，着重于研究包括多个实体的系统构建原则，以及实体之间的协调机制。传统的DAI主要研究分布式问题的求解（DistributedProblemSolving,DPS），是将问题分解成子任务，然后在不同的处理机上求解每一个子任务，再将每个子任务的结果集成

5、，这是一个自上向下设计的系统。在某种程度上，分布式问题求解是为了解决计算效率的问题，但是很难处理不同实体间发生的冲突问题。针对这种情况，人们提出了多代理系统的概念。MAS系统可看成是一种自底向上设计的系统，首先定义出分布自主的代理，然后研究如何完成多个代理的任务求解。研究出发点是系统的行为立足于每一个代理的局部信息与目标，在有限的知识与资源的基础上通过多代理的交互与协调达到系统的总体目标。所以，MAS系统比DPS系统更能体现人类社会的智能，更适合于开放动态的环境。多代理系统中的每个代理(Agent)都是一个具有自治性、反应

6、性、主动性、可通信性和自学习功能的实体。Agent的自治性和系统的协调机制使得MAS在描述复杂系统方面有如下的特点：1)分布性：MAS不仅在结构上是分布的，在逻辑上也是分布的，其中的Agent具有不完全的知识和分布决策能力，计算也是异步进行的，因此MAS非常适合并行操作。2)适应性：对于环境的变化和不确定性因素，Agent可以在协调机制下通过交互和自学习，适应新的环境条件。3)开放性：Agent无论从概念上还是从实现手段上都是一种封装模型，其内部结构和算法可以由不同人在不同时间和地点采取不同方法加以实现，通过标准的消息接口

7、而加入到MAS中。4）鲁棒性：对于外部干扰，MAS可通过Agent的交互协调进行参数调整来保存系统的性能水平。数据采集中的实体一般是基于自己的目标和资源约束进行自主或半自主的运作，我们可以直接将这些自主或半自主的实体抽象为Agent模型。这样我们可以将数据采集抽象为由加工代理、采集代理、传输代理等组成的MAS系统。代理的相对自治性及其之间的协同能力，使MAS具有高度的柔性、自适应性、并行性和良好的可伸缩性，并能对环境变化做出快速响应，这些特点，使得MAS系统能够支持数据采集实时性、安全可靠性的全面提高。2异构信息资源集成应

8、用采用CORBA技术实现公用对象请求代理体系结构CORBA(CommonObjectRequestBrokerArchitecture)是对象管理组织OMG(ObjectManagementGroup)为适应当今快速增长的软硬件协同工作能力的要求而提出的方案。CORBA允许应用程序之间相互通讯,而不论他