发布订阅系统中大数据量内容的高效分发方法研究与实现

《发布订阅系统中大数据量内容的高效分发方法研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、东南大学硕士学位论文万方数据发布／订阅系统中大数据量内容的高效分发方法研究与实现专业名称：让篡扭应用堇盔研究生姓名：袁飞飞导!Jili姓名：连薹万方数据OnEfficientDistributionofBulkContentinPublish／SubscribeSystem—AThesisSubmittedtoSoutheastUniversityFortheAcademicDegreeofMasterofEngineeringBYYUANFeifeiSupervisedbyProf．WANGYu9SchoolofComputerScienceandEngineering

2、SoutheastUniversityMay2014万方数据东南大学学位论文独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。研究生签名：j越日期：加lⅥ罗．印东南大学学位论文使用授权声明东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制

3、手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布(包括以电子信息形式刊登)论文的全部内容或中、英文摘要等部分内容。论文的公布(包括以电子信息形式刊登)授权东南大学研究生院办理。研究生签名：t陋导师签名：日期：厶I峰．爹．圳万方数据摘要发布／订阅通信模型具有异步、松耦合和多对多通信的特点，适应了目前动态多变的大规模分布式计算环境，在诸多领域得到了广泛应用。发布／订阅系统已经成为目前构建大型分布式系统的基础。近年来，有关发布／订阅系统的研究主要集中在对事件或通知消息等数据量较小的内容进行高效的分发，无法满足潜在的

4、对大数据量的内容进行高效分发的应用需求。为满足该需求，本文研究在现有发布／订阅通信模型下，基于订阅节点协同的数据分发方法，利用订阅节点将接收到的数据内容进行合理地转发，降低对GB级数据量的内容进行“一对多”分发的时延和发布者的负载。论文主要工作和贡献包括：(1)研究发布／订阅系统体系结构特点及订阅泛洪的工作机制，将研究问题抽象成订阅节点集合中数据转发路径的生成和维护。订阅节点根据订阅关系自主地选择目的节点集合并创建转发表。订阅节点接ttkN数据后，通过查表进行数据的转发，并支持多对多的数据分发形式。(2)为了对数据分发路径进行约束提出单向收敛性和路径扁平性约束的概念。利用

5、MD5散列算法将系统中的节点映射N32位逻辑地址空间，并提出逻辑距离的概念。依据订阅节点与发布节点之间的逻辑距离，将订阅节点集合分割成独立不相交的“桶”，并对其进行编号。数据在订阅节点中转发时总是由低编号的桶中流入高编号的“桶”，满足了数据分发的单向性。在此基础上，结合简单的路径调整算法即可满足数据分发路径的“扁平”。系统检测出用户动态加入、退出甚至节点失效等事件时，节点自主地进行“捅”结构的更新，修改本地转发表中相应的表项，确保数据转发路径的连通性及合理性。(3)理论分析了基于逻辑距离生成的转发路径的形态特点以及数据分发的负载分布、时延情况，并结合大规模的系统仿真予以验

6、证。设计并实现发布／订阅原型系统，通过原型系统实验对数据分发的效率进行实验评估。实验结果表明：发布／订阅系统中利用基于订阅节点协同的数据分发方法在分发速率、系统内部负载分布以及订阅者时延等方面明显优于订阅泛洪的分发方法，在对大数据量内容进行分发时上述优势尤为显著。关键词：发布／订阅；大数据量内容的分发；节点协同；逻辑距离；路径的约束；路径维护万方数据AbstractABSTRACTThepublish／subscribe(P／S)communicationmodeladaptstothedynamiclarge—scaledistributedcomputingenvir

7、onmentwellandhasbeenwidelyusedinvariousfields，duetoitsasynchronous．many-to—manyandloosely—coupledcommunicationproperties．1heP／Smodelhasbeenthebaseofconstructinglarge—scaledistributedsystems．TherecentresearchonP／Ssystemhasfocusedonefficientdistributionofeventsandmess