欢迎来到天天文库
浏览记录
ID:43546203
大小:500.28 KB
页数:56页
时间:2019-10-10
《分布式数据流负载管理技术研究》由会员上传分享,免费在线阅读,更多相关内容在工程资料-天天文库。
1、南京航空航天大学硕士学位论分布式数据流负载管理技术研究姓名:吴再达中请学位级别:硕士_专业:计算机软件与理论_指导教师:毛宇光20071201数据流处理技术是最近几年数据库领域的一个新的研究方向,由于其广泛的应用前景而得到了广大研究人员的关注。分布式系统具有廉价的成本、强大的处理能力,处理速度快、数据量大的数据流具有先天的优势,分布式数据流处理技术一直是数扌居流研究屮的重要组成部分。论文主要就分布式数据流管理系统屮的负载管理技术进行研究,主要工作数据流管理系统中负载管理技术的特点和设计原则,改进了Borealis屮的负
2、载包括以下几个方面:对已有W原型系统的负载管理技术进行了分析,指出了管理模块,建立了一个实验平台;提出了一种基于算子相关性分析和网络流量分析的负载平衡算法,有效的减少了算子迁移所带来的负面影响;对分布式查询网络中的降载问题进行了研究,分析了节点间的负载依赖性,改进了一种分布式降载策略;研究了已有的滑动窗口连接查询屮的降载技术,结合前人一些研究成果的优点,提岀了一种基于基本窗口输出频率的滑动窗口连接查询降载算法。本文对负载管理技术的研究,立足于实际应用环境,尽可能减少不必要的假设,为数据流应用中的负载管理问题的进一步研究
3、提供了理论支持和实验借鉴。关键词:分布式数据流,负载管理,负载平衡,分布式降载,滑动窗口连接查询降载ABSTRACTRecently,datastreamprocessingtechnologyhasbecominganewresearchdirectionindatabasefields.Itwinsincreasingresearchersattentionbecauseofitswideapplicationprospects.Distributedsystems,withlowcostandpowerfulpr
4、ocessingcapability,haveinherentadvantagesinprocessingfastspeedandlargevolumedatastreams.Distributeddatastreamsprocessingtechnologyhasbeenoneofthemostimportantpartsofdatastreamsresearcharea.Inthispaper,westudytheloadmanagementtechnologyindistributeddatastreammana
5、gementsystem,thecontributionsconcludethefollowingaspects.AnalyzestheloadmanangementtechnologyofexistingDSMSprototypesystem,summarizestheloadmanagementtechnology'scharacteristicsanddesignprinciples,improvestheBorealis5sloadmanagementmoduleandestablishesasystemfor
6、experiment.Presentsaloadbalancealgorithmbasedonoperatorcorrelationanalysisandnetworktrafficanalysis,moreover,itreducesthenegativeimpactofoperatormigration.Investigatesloadsheddingissuesonthedistributedquerynetwork,analyzestheloaddependencebetweeneachnodeandimpro
7、vesadistributedloadsheddingstrategy.Studiestheexistingloadsheddingtechnologyinslidingwindowjoinandproposesaslidingwindowjoinqueryloadsheddingalgorithmwhichbasedonoutputfrequencyofbasewindow.Thestudyofloadmanagementtechnologyinthispaperisbasedontheactualapplicati
8、onenvironmentwithunnecessaryassumptions,providesthetheoryandapplicationsupportforfurtherstudy.KeyWords:DistributedDataStream,LoadManagement,LoadBanlance,Loadshedding
此文档下载收益归作者所有