一种基于storm的交通流数据实时处理系统设计与实现

《一种基于storm的交通流数据实时处理系统设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、?‘夕眷硕士研究生学位论文一种基于的交通流数据实时处理系统设计与实现学生姓名南海京学科、专业计算机技术研究方云计算与大规模流数据集成师韩燕波校外导师邓凯北方工业大学研究生院北方大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研宄做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人亲担。学位论文使用授权书学位论文作者完全了解北方工业大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作

2、的知识产权单位属北方工业大学。学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文（保密的学位论文在解密后适用于本授权书）。口保密论文注释：经本人申请，学校批准，本学位论文定为保密论文，密级：，期限：年，自年月曰起至年月日止，解密后适用本授权书》非保密论文注释：本学位论文不属于保密范围，适用本授权书。本人签名：嗲碣工曰期：北方工业大学硕士学位论文一种基于的交通流数据实时处理系统设计与实现摘要互联网的发展正逐步改变着各行各业的发展模式，而随着物联网的介入，现

3、实生活中的行为活动也被行业刻画成了动态数据流，促使数据处理技术有了颠覆性的发展。大数据、云计算等词汇也迅速的开始在各行各业普及，传统行业也不再满足于非实时的、静态数据的管理也对信息处理技术提出更高的要求，开始追求实时的、持续产生的动态数据流的掌控，以提高在业内的竞争实力。例如，智慧城市、智能家居、智能交通和智能汽车等新兴产业，都是服务和传统行业相结合的产物，而这一类智慧产业得益于物联网的广泛应用和云计算技术等信息处理技术的快速发展。面对物联网中的各类传感器获取的流式数据，实时计算的处理模式起到了关键的作用，而流式数据的实时性、持续性和无限增长等特点，决定了依靠传统的数据处理技术己

4、经无法满足流式数据的管理需求。目前，国内外的流数据处理技术还在不断的快速发展，一些相对成熟的流式计算框架以及实时计算平台还需要进一步完善。在这样的需求背景下，本文也对目前相对前沿的流数据处理技术进行了学习和研宄，以本人所在的研宄中心的“交通数据流实时计算平台”为依托，在掌握了公司开源的计算框架技术后，把分布式消息系统和—种文档型数据库）集成在一起，实现了一套流数据实时处理系统，还对提供的监控进行扩充，满足个性化的监控需求，可查看某一台物理机上运行了哪些计算任务。在此基础之上，通过分析本人所在的研究中心现有的“交通数据流实时计算平台”存在的弊端，对计算性能、计算资源分配方面进行了优

5、化。主要是在为基础的实时计算平台上，实现了一套自定义的任务调度机制，针对不同的计算任务，分配特定的计算资源，并提高计算性能。具体做法是在提供的默认调度器之上，实现了一个称之为的调度器，改变了默认调度器顺序分配计算资源的策略，对计算资源进行逻辑层面的划分。根据一个计算任务的实际需求，将其分配给指定的物理计算节点，无特殊需求的计算任务采用默认的调度策略，把所有无特殊需求的计算资源顺序分配到计算集群的物理计算节点上，但是已经被分配掉的计算资源，不会再被其他计算任务抢占，并通过减少网络延迟的方式提高计算任务的计算性能。简单总结本文的研究工作和贡献主要有以下三点：设计并实现了一套流数据实时

6、处理系统，是对原有的“交通数据流实时计算平台”的重新实现，改进了原计算平台的不足（无法满足异构数据的存储、无法扩展消息队列、资源只能顺序分配）。根据小型计算集群的特点，实现了一套针对轻量级计算任务的调度算法，达到提高计算性能并且合理分配计算资源的效果。北方工业大学硕士学位论文在提供的监控功能的基础上，扩充了以物理计算节点为单位监控任务的功能，还可通过页面以可视化的方式提交计算任务。实验表明，在承担了多个计算任务的计算平台上，通过本文实现的任务调度算法，可以达到按需合理分配计算资源的效果，而且被调度的计算任务在性能方面提高了约左右。关键词：流数据处理；计算资源；实时计算北方下业大学

7、硕上学位论文，，‘’‘，‘，北方工业大学硕士学位论文，：，北方工业大学硕士学位论文目录弓：论文背景研宄目的国内外研宄现状本文研究内容章节安排相关技术分析程序协调服务消息队列服务实时计算数据库技术流数据实时处理系统设计方案与实现整体设计方案及模块设计数据获取实时计算结果数据业务逻辑实现超速车数据采集实现超速车实现二系统接口与物理抓监控设计可视化管理任务；系统监控实例运行验证数据采集验证数据接入和实时计算验证输出结果验证本章小结基于调度算法的定制与优化北方工业大学硕士学位论文调度机制