基于multi_agents系统的分布式数据挖掘

《基于multi_agents系统的分布式数据挖掘》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、计算机科学2007Vol134№1123)基于Multi2agents系统的分布式数据挖掘庄艳陈继明徐丹潘金贵(南京大学计算机软件新技术国家重点实验室南京210093)摘要计算机网络的发展以及海量数据的分布式存储,滋生了分布式数据挖掘(DDM)这一新的数据挖掘方式。本文针对多agent系统下的分布式数据挖掘进行了初步的研究,对agent方法用于DDM的优势、基于agents的分布式数据挖掘的问题,以及典型的基于agent的分布式数据挖掘系统和该领域的进一步研究方向作了一个概要的综述。关键词数据挖掘,分布式数据挖掘,基于多agent系

2、统的分布式挖掘DistributedDataMiningBasedonMulti2agentSystemZHUANGYanCHENJi2MingXUDanPANJin2Gui(StateKeyLabforNovelSoftwareTechnology,NanjingUniversity,Nanjing210093)AbstractThedevelopmentofnetworkandthestorageofhugedatainadistributedwaybringonthedistributeddatamining(DDM).The

3、articlegivesaprimarystudyfocusontheDistributedDataMiningBasedonMulti2agentsystem.WesummarizetheadvantagesofagentsforDDM,problemsintheagent2basedsystemfordistributeddatamining,andsomerepresentativeagent2basedDistributedDataMiningsystems,atlast,thefutureworkofthearea.Key

4、wordsDatamining,Distributeddatamining,Dataminingbasedonmulti2agentsystem数据挖掘是用于在大规模数据集中获取感兴趣知识的过台,构架了OpenAgentArchitecture(OAA框架)。将每个用[1]程。传统的数据挖掘系统设计大多是面向于集中式数据集户功能可以抽象为一个agent,可以向系统提供服务,也能向合进行的。然而随着网络的发展,大块的数据分散位于不同系统的其他agents申请服务。而系统中使用facilitatoragent地理位置的主机上。而对于这些

5、分布式数据的挖掘就导致了来管理任务的分派。因而从提供方和请求方来说,它们之间分布式数据挖掘的产生并受到越来越多的关注,并且网络有是透明的,它们之间的消息传递就是类似于一种blackboard限的带宽和计算资源也推动了分布式数据挖掘的研究和发方式。提供方只需要把所能提供的服务公布在“facilitator”展。在分布式数据挖掘中,数据集合是由若干个局部数据库上,而请求方亦只需把申请公布于此。请求和服务的匹配则组成,它们通过计算机与网络相连而形成。因而可以看出,分由facilitator来完成。又如文[8]提出利用MAS来进行电子布式数

6、据挖掘可以在本地和全局两个层面上进行,其简单结商务行为,它使得系统能够同时考虑到用户的兴趣和其用于[2]构如图1所示。浏览网站的设备。文[9]提出利用MAS来进行3D虚拟社区的设计。由此可见,Agent在分布式环境中的应用已经得到了发展,并在解决分布式问题上产生了一些实际的效果。本文主[10,11]要讨论如何采用agent技术来实现分布式数据挖掘,包括分布式数据挖掘的特点和它面临的问题;多agent技术在数据挖掘领域的研究,主要提出其应用优势、主要问题、解决方案以及当前该领域的应用前景。1分布式数据挖掘的实用性图1分布式数据挖掘结构

7、图(1)数据存放的分散性文[3,4]提出分布式数据挖掘希望在各自的站点上得到分散在各个物理站点的数据本身就具有分散特性。如果部分结果,然后把该结果发送到某些站点来进行聚合,最终得将它们集中存放于某个站点,使用集中式的方式进行数据挖到全局的结果。掘,可以想象到数据量和通信开销都是相当大的。而且从其智能agent是为了完成其目标,能够灵活自治其行为的他站点传送来的数据由于受到安全和自治性限制,根本不可个体。利用Agents的灵活性、自治性、协作性、自适应等特能发送到中心站点。而在分布式方式下,可以让数据在本地性,MAS(Multi2Ag

8、entSystem)广泛地应用到了分布式环境进行处理,之后对部分结果进行综合来获得最终结果。中。根据订购的基本思想,文[7]提出以MAS作为基本平(2)克服集中方式下资源受限的瓶颈3)本课题得到国家自然科学基金项目(60473113)