基于hadoop的海量城市交通流数据分布式存储与分析研究

《基于hadoop的海量城市交通流数据分布式存储与分析研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学号ＭＺ１３６６９密级ＵＤＣ—＾壤叫义赛ＹＡＮＧＺＨＯＵＵＮＩＶＥＲＳＩＴＹ，，硕壬学佐冷文？（专业型）基于Ｈａｄｏｏｐ的海量城市父通流数据分布式存储与分析研巧．＇？．ｉ朱刘江、，江苏扬州，２２５００９奉表教授，扬州大学指导教师姓名：壬学科专业名称：计算机控圣—申请学位级别；硕论文提交日期：２０１５年１０月论文答辩日期；２０１５年＿杨州欠学学位授予日期：学位授予单位：答辩委员会主席：２０１５年１０月■－‘？却ｒ．，？．．＇－，．．．．ｒ，．Ｖｆ＇Ｖ．．．．■

2、＇－■．‘．．．，．／．．，，’＇；．‘＇■－．辦一．．＇．＇．心护＇．＇Ｕ｜．二．＾．？－■．，；／－？．；．．．－一，．？．八基于Ｈａｄｏｏｐ的海量城市交通流数据分布式存储与分析研究（申请扬州大学专业硕：ｔ学位论文）培养单位：扬州大学专业名称：计算机技术研究方向：云计算研究生：朱刘江指导老师：李云２０１５．１０Ｄｉｓ化ｉｂｕｔｅｄｓｔｏｒａｅ泣ｎｄＡｎａｌｓｉｓｏｆＭａｓｓｉｖｅｇｙＵｒｂａｎＴｒａｆｆｉｃＦｌｏｗＤａｔａＢａｓｅｄｏｎＨａｄｏｏ

3、ｐＡ化ｅｓｉｓｓｕｂｍｉ行ｅｄｔｏ化ｅＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎ＆ＥｎｉｎｅｅｒｉｎｏｆＹａｎｚｈｏｕｇｇｇＵｎｉｖｅｒｓｉｔｙ虹ａｒｔｉａｌｆｕｌｆｉｌｌｍｅｎｔｏｆ化ｅｒｅｑｕｉｒｅｍｅｎｔｓｆｏｒ化６ｐＭａｓｔｅｒＤｅｒｅｅｏｆＣｏｍｕｔｅｒＳｃｉｅｎｃｅｇｐＢｙＬｉｕｉａｎｈｕｊｇＺＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎ＆Ｅｎｇｉｎｅｅｒｉｎｇ，ＹａｎｇｚｈｏｕＵｎｉｖｅｒｓｉｔｙＳｕｅｒｖｉｓｏｒ：Ｐｒｏｆｅ巧ｏｒ

4、ＹｕｎＬｉｐＯｃｔｏｂｅｒ２０１５朱刘江：基于Ｈａｄｏｏｐ的海量城市交通流数据分布式存储与分析研究１＿摘要随着智能交通基础建设的快速发展，城镇居民收入水平逐步提高，城市汽车拥有量大幅度増加。遍布每个城市道路的感应线圈、卡口断面系统，能够及时地采集、记录、汇总并上传监控数据、实时性高等特点，传统的数。但是由于城市道路交通流存在着数据量大据存储与处理技术存在着数据结构与数据存储容量无法灵活扩展、分布式并行数据挖掘难、高容错恢复能力差等问题。如何将海量的交通流数据实时地上传、汇总和存储利用，Ｗ及一如何对数据进行统计挖掘成为个较大的难题。ＷＨａｄｏｏｐ为代表

5、的大数据技术成为解决一一这系列问题的有效手段之。基于现阶段城市交通发展带来的数据存储与分析等突出问题，本文通过对基于Ｈａｄｏｏｐ的ＭａｐＲｅｄｕｃｅ、ＨＢａｓｅ等大数据技术的研究，提出了相应的解决方案，其主要研究工作和成果如下：（１）本文提出了基于Ｈａｄｏｏ的交通流数据存储与分析总体架构５ｐ。将架构分为个层面：数据采集层、硬件平台层、数据存储与计算层、挖掘分析层和应用服务层，同时研究与设计了节点在故障或若机情况下，Ｈａｄｏｏｐ集群具有离容错恢复能力的可用性方案。（２）本文提出了基于ＨＢａｓｅ的海量交通流数据分布式存储方案。根据交通流数据特＂＂，设计了可解决热

6、点问题的交通流数据表行健结构点与处理应用需求。同时研究了ＨＢａｓｅ的协处理器，设计了用于针对列查询的快速数据检索的二级索引表。（３）本文还根据交通车流量与密度的关系，设计了流量与密度计算模型，提出了基于ＭａｐＲｅｄｕｃｅ的流量密度计算的并行化实现，解决了海量交通流数据情况下的流量、密度快速计算难题，。同时，采用Ｋ近邻非参数回归算法来预测短时交通流通过对Ｋ近邻状态向量、距离度量方式、近邻个数Ｗ及预测算法的选择及研究，提出了基于ＭａｐＲｅｄｕｃｅ的ＫＮＮ预测短时交通流的并行化实现，加快Ｋ最近邻算法的搜索速度，实现对短时交通流的定时预测。（４）最后，根据总体架构应用层

7、需求，基于Ｈａｄｏｏｐ平台，构建并实现了城市道路交通流数据分析系统。本文对系统进斤了详细的功能模块设计，并实现了对交通流量进行实时监测、海量数据分析的图形化展示等功能。关键字：智能交通；Ｈａｄｏｏｐ；ＨＢａｓｅ；ＭａｐＲｅｄｕｃｅ；非参数回归；ＫＮＮｎ扬州大学硕±学位论文ＡｂｓｔｒａｃｔＷｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆｉｎｔｅｌｌｉｇｅｎ