分布式流处理系统操作共享优化算法研究

《分布式流处理系统操作共享优化算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、：１０１拍分类号：町３９３单位代码研巧生学号：２０１３５拍０１１巧级：公巧戀巧林大学硕女学位论文（单术单巧）分布式流处理系统操作共享优化算法硏究Ｓｔｕｄｙ加ＯｐｅｒａｔｉｏｎＳｈａｒｉｎＯｐｔｉｍｉｚａｔｉｏｎＡｔｏｒｉｔｈｍｉｎＤＳＰＳｇｇ作者姓名；刘晚斐专业：计算化系统结构研究方向：商推能计算与云计巧指导巧师：魏晓辉教授培养单位：计算机科学与技术学院２０Ｍ年４月未经本论文作者的书面授权，依法收存和保管本论文书面版本、电子

2、版本的任何单位巧个人，均不得对本论文的全部或部分内容进行任何形式的复制、修改、发行、出租、改编等有碍作者著作权的商业性使用（但纯学术性使用不在此限）。否则，应承担侵权的法律责任。吉林大学硕±学位论文原创性声明本人郑重声明：所呈交的硕上学位论文，是本人在指导教师的指导Ｋ，。独立进行研究王作所取得的成果除文中已经注明引用的内容外，本论文不包含任何巧他个人或集体已经发表或撰写过的作品成果。对本文的研巧做出重耍贡献的个人和集体，均己在文中明确方式标明。本人完全意识到本卢明的法律

3、结果由本人承担。学位论义作者签名／１－：站敗口期：年ｙ月□分布式流处理系统操作共享优化算法研究StudyonOperationSharingOptimizationAlgorithminDSPS作者姓名：刘晓斐专业名称：计算机系统结构指导教师：魏晓辉教授学位类别：工学硕士答辩日期：2016年5月24日摘要摘要分布式流处理系统操作共享优化算法研究随着社交网络、物联网和无线通信网的出现以及快速发展，流数据成为一种重要的大数据类型，在股票交易、电子商务、社交网络和监控等领域应用广泛。流数据相较

4、于普通的大数据，具有持续性、动态性和实时性的特点，对流处理提出新的要求：（1）数据持续到达需要在线处理。流处理作业长时间运行，采用OnePass处理模式，无法留存数据，仅保存中间结果；（2）数据在线变化要求作业拓扑结构动态调整；（3）需要实时或近实时的处理。现有相关工作针对流处理的系统结构和相关技术开展了大量研究，形成分布式流处理技术，实现了大规模流的高速处理。但对分布式流处理系统资源分配问题的研究存在不足，未能充分利用流处理作业间操作可共享的特点，导致数据处理冗余，形成资源浪费。流作业是典型的工作流模式

5、，由多个数据处理操作组成。多个流作业间的基本数据处理操作有重叠，例如filter，join等。因此多个作业间存在操作共享的可能。目前，针对操作共享的相关研究主要从作业拓扑结构角度考虑共享的可能性，建立操作共享方案。对共享操作资源分配问题的研究并不充分，主要体现在：（1）缺乏系统模型，描述流处理作业操作共享过程中的资源约束变化；（2）对流处理作业操作共享后的输出带宽资源分配问题研究不足；（3）流数据动态变化导致作业拓扑结构变化，需要进一步研究资源分配方案快速调整问题。本文提出支持分布式流处理的操作共享优化算

6、法，主要工作如下：（1）建立流处理作业操作共享模型。支持不同作业之间相同操作的逻辑共享，满足不同的资源约束条件，包括计算资源和物理网络带宽资源。（2）研究多资源约束下的资源分配问题。利用作业操作间的相似性，提出共享判定算法，找到逻辑上可共享的操作。将资源分配过程抽象成一个装箱问题，考虑操作共享后的资源使用情况，与不共享的情形相比，共享操作占有的计算资I摘要源合并，输出带宽累加。根据资源分配算法，在最小数目的计算节点上完成所有操作的共享任务，保证正常的数据传输。（3）研究快速资源映射调整问题。新作业的动态加

7、入导致整体拓扑结构改变，共享操作的资源需求在线变化，根据当前的资源配置对共享的操作进行筛选，选择共享受益最大的操作，使用较少的调整消耗，快速地满足新的资源需求，保证流处理实时性和动态性。（4）建立模拟实验平台。验证作业操作共享能够有效节省计算资源，并且满足不同系统资源对共享操作数目的约束；验证操作共享算法的有效性，快速调整算法优于资源重新分配算法。关键词：流数据，分布式流处理，操作共享，资源分配，共享优化IIAbstractAbstractStudyonOperationSharingOptimizati

8、onAlgorithminDSPSWiththeemergenceandrapiddevelopmentofsocialnetwork,Internetofthings,wirelesscommunicationnetwork,streamdatabecomeanimportantbigdatatype,whichiswidelyappliedinthefieldofstocktrade,electroniccommerce,