资源描述：
《分布式数据流处理系统的动态负载平衡技术》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、3)国家自然科学基金项目(60073045)资助;国家“十五”国防预研基金项目(413150403)资助。邓华锋 博士研究生,主要研究方向为现代数据库技术和流数据算法。计算机科学2007Vol134№17 分布式数据流处理系统的动态负载平衡技术3)邓华锋1 刘云生1 肖迎元2(华中科技大学计算机学院 武汉430074)1 (天津理工大学计算机科学与工程系 天津300191)2 摘 要 设计了一种新的大规模分布式数据流处理系统的体系结构。系统由一组异构的服务器集群组成,负载在每个服务器集群内部多台同构的服务器之间获得平衡,从而达到整个系统的负载平衡。集群设计的主要目
2、标之一是以资源换性能,服务器集群中服务器的最大数目足够保证系统不再发生过载现象,不再需要会降低性能的卸载技术。而且投入运行的服务器的数目根据实际的系统负载来决定,负载较轻时,一部分服务器可以进入休眠状态来减少能源的消耗。根据系统动态增减服务器的特点,设计了全新的初始化算法、动态负载平衡算法。与以前的分布式数据流处理系统相比,由于单个集群的服务器的数目大大减少,算法复杂性降低、速度加快、优化的空间增大。关键词 分布式数据处理流系统,动态负载平衡,卸载,节能 DynamicLoadBalancingTechniquesfortheDistributedStreamPr
3、ocessingSystemsDENGHua2Feng1 LIUYun2Sheng1 XIAOYing2Yuan2(SchoolofComputerScienceandTechnology,HuazhongUniversityofScienceandTechnology,Wuhan430074)1(DepartmentofComputerScienceandEngineering,TianjinUniversityofTechnology,Tianjin300191)2 Abstract Inthenovelarchitectureforthelarge2scal
4、edistributedstreamprocessingsystem,thewholesystemconsistsofagroupofheterogeneouscomputerclusters.Thewholesystemcanachievethegloballoadbalancingbybalancingev2eryclusterwhichconsistsofseveralhomogeneousservers.Themaingoalofeveryclusterisexchangingtheresourcesfortheperformance.Intheclust
5、er,enoughserversareemployedtogetridoftheoccurrenceofoverloadphenomenon,sotechniquesforloadsheddingarenotstillnecessaryinthesystem.Inthemeanwhile,thenumberofactiveserversisdecidedbythepracticalloadlevelandsomeserverscanbeputintothesleepmodeforthesakeofenergyconservationwhentheloadisrat
6、herlow.Theband2newinitializationalgorithmanddynamicloadbalancingalgorithmaredesignedtoaccommodatethecharacteristicofincreasingordecreasingtheserversdynamically.Comparingtothetraditionallarge2scalestreamsystems,thesealgorithmshavebetterloadbalancing,lowercomplexityandfasterresponsetime
7、becausethenumberofserversinasingleclusterisreducedsharply.Keywords Distributedstreamprocessingsystem,Dynamicloadbalancing,Loadshedding,Energyconservation 1 引言数据流处理系统广泛应用在众多领域,例如金融管理、网络监视、通信数据管理、Web应用、传感器网络数据处理等。这些应用中有一个典型的特点:数据流数据量极大,具有相当高的突发性[1];当数据到达的速度超出系统的处理能力时,系统会出现过载并且性能下降。所以,无论
8、是集中式数
