异构分布式数据流分类方法研究

《异构分布式数据流分类方法研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、异构分布式数据流分类方法研究1S24177分类号：TPl8单位代码：10005学号：$200707083密级：公开北京工业大学硕士学位论文■●■―r’『I¨¨IDISTRIBUTED英文并列型SEA跑H趔』丛S澄YI№HETE脚GENEoUS◆题目DATASTI砸AMS专导师姓名：垂圄莶职称：塾援论文报告提交日期：2010年4月学位授予日期：授予单位名称和地址：．jE塞王些盔堂j丝宝直垩墨国!曼蛭缉!Q鱼!星堡i“嚣歹●llll．、●独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中

2、特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：盐必日期：么细：堑丝关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。保密的论文在解密后应遵守此规定签名：毖导师签名：。、摘要摘要Distributed

3、Data异构分布式数据流HeterogeneousStream是指相互联系的多个数据流，其数据来自地理上分布的数据源，且各数据源观测不同的属性集。目前，异构分布式数据流的应用越来越广泛如传感器网络，进程控制等。从异构分布式数据流中提取知识的能力已变得相当重要。从异构的分布式数据流中进行知识挖掘是一个重要的研究课题，面临着许多挑战性的问题。首先，把多个节点的数据流传送到中心节点进行数据挖掘可以是一种解决问题的方法，目前的研究尝试这样的思路，从研究角度上对于更加深入地了解分布式数据流的挖掘特点是有意义的。其次，从技术上这种集中式的数据传

4、输是不可行的，数据流的集中式挖掘缺点是显而易见的：由于数据传输量大可能导致通讯问题、由于中心节点的处理数据量大可能导致计算瓶颈等。本文针对这些问题，提出了两种方法分类异构分布式数据流，即基于新模式、传输hard数据索引到中心节点；中心节点根据hard数据索引，收集hard数据，更新中心模式。hard数据相对较少，因此该算法能有效分散计算量，降低通讯负载。实验结果表明：我们的算法降低了通信量，整体上具有很高的分类精度。后者采用一种分布式的挖掘架构和分块的方式处理数据流，针对局部站点的每块数据，在中心站点上建立相应的全局分类器。在分类器

5、的训练过程中，各局部站点负责执行属性表分裂，计算各自的局部最佳分裂方案，并将其送往中心站点。中心站点根据局部最佳分裂方案确定当前节点的最终分裂方案，生成相应的决策树节点，并将最终的分裂方案传给局部站点。局部站点与中心站点之间只传输少量用于决策的信息，不需要传输原始数据，从而有效降低了通信负载。关键词数据挖掘；数据流；分布式数据流；异构分布式数据流北京工业大学工学硕士学位论文IIAbstractAbstractdistributeddatastreamreferstointerrelateddatastreamsHeterogeneo

6、usmultiplewhosedatacomefromdistributeddatasourcesandeachdatasourcegeographicallyobservesdifferentsetofofattributes．Currently,theapplicationheterogeneousismoreandmoreassensordistributeddatastreamspervasivesuchnetworks，processoffromcontrol，etc．．So，thecapacityextractingkn

7、owledgeHeterogeneousdistributedstreamshasbecomedataveryimportant．fromdistributeddatastreamisanMiningknowledgeheterogeneousimportantresearchandfacesissues．Firstofdataofalllocaltopicmanychallengingall，sendingtotominebeasolutionthecurrentnodescentralnodecantostudyproblem，

8、thelineofisformoreofthisthought，itmeaningfulin―depthunderstandingattemptscharacteristicsofdistributeddatastreamfromth