基于m-agent分布式数据挖掘的研究

《基于m-agent分布式数据挖掘的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要mllIlllmlllll砌11llllllll洲⋯Y194455随着计算机网络技术和分布式数据库技术的飞速发展，人们从庞大的分布式的海量数据中发现知识成为可能，然而采用传统的集中式的数据挖掘方法往往不能很好地解决这一问题，这是因为①数据的集中受到网络带宽流量的限制，②传统的挖掘方法并不能在集中后的过大数据上高效运行，③从数据的安全保密方面考虑也不允许数据进行这样的移动。因此如何高效地从分布式的数据中发现知识日益成为学界研究的重要问题。自20世纪90年代以来，多Agent系统(Multi-AgentSystem，MAS)逐渐成为

2、人们研究的热点，它对许多科学技术的发展产生了深远的影响。Multi．Agent技术以其自治、主动、智能等特性，比较适合于对复杂的分布式问题进行求解。基于Multi．Agent的分布式数据挖掘系统中，数据挖掘Agent被分派到网络中的各个数据站点上，根据用户的需求进行挖掘，并将挖掘结果传送给用户，这不仅有效避免了数据的大量移动，也较好地解决了数据的安全保密问题。因此，Multi．Agent在分布式数据挖掘方面的这一显著优势必将为分布式数据挖掘技术的进步产生重要影响。本文首先研究了Multi．Agent和数据挖掘技术的相关理论，然后基于

3、Multi．Agent设计了一个分布式数据挖掘系统模型，分析了系统的挖掘流程，给出了其中各种Agent的结构和功能，并详细说明了系统中多个Agent之间的协作方法。为了更有效地进行分布式关联规则的挖掘，在对数据挖掘算法进行深入研究的基础上，设计了一种基于哈希表的加权频繁项目集增量更新算法(WeightedHashIncrementalUpdatingAlgorithm，1

4、l『HIUA)，并将改进的FP—growth算法应用到系统中，分析和实验表明，这些工作不仅能够较好处理传统算法未能处理的数据库和最小支持度两者同时发生变化的问题，

5、而且能够有效提高最大频繁项目集的挖掘和更新效率，进而改善整个系统的分布式数据挖掘的总体性能。关键词：Multi-Agent；分布式；数据挖掘；关联规则；最大频繁项目集AbstractWiththedevelopmentofthecomputernetworkanddistributeddatabaseminingtechniques，searchingknowledgefromthedistributedsystemhasgreatapplicationprospects．Theissuesofextactingknowledgef

6、romdistributeddatabasebytraditionalcentralizeddataminingmethodsareoftennotwellresolvedwiththehugeamountofdata．Since：①theconstraintsoftheNetworkbandwidth；②usingtraditionaldataminingmethodsdoesn’tworkeffectivelyoncentralizeddata；③thedatausuallynotallowedmovinginsecuritya

7、spects．Therefore，howtoextractknownledgefromthedistributedsystemefficientlyhasbecomeresearchinghotspotscurrently．Since1990s，Multi-AgentSystem(MAS)isgraduallybecomingaresearchhotspotandhasaprofoundimpactonthedevelopmentofscienceandtechnology．TheMulti-Agenttechnologyissui

8、tableforthecomplexdistributedproblems．InDataMiningSystembasedonMulti·Agent,Agentsondifferentdatabasewillbeworkingaccordingtotheuser’srequirements，andtransferringtheresulttotheusers．Thismethodcannotonlyavoidthemassmovementofdata,butalsocansolvethesecurityproblem．Sothere

9、areadvantagesofusingtheMulti—Agenttechnologyinthedistributeddatabaseminingsystem．ThispaperrepresentstheprincipleofDat