基于spark平台的短时交通流预测研究

《基于spark平台的短时交通流预测研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、？，Ｓｏｕ化ＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ硕±学位论文基于Ｓｐａｒｋ平台的短时交通流预测研究作者姓名王腾辉学科专业通信与信息系统指导教师胡斌杰教授所在学院电子与信息学院论文提交日期２０１６年４月■．，ResearchoftheShort-termTrafficFlowPredictionBasedonSparkPlatformADissertationSubmittedfortheDegreeofMasterCandidate：WangTenghuiSupe

2、rvisor：Prof.HuBinjieSouthChinaUniversityofTechnologyGuangzhou,China分类号：Ｕ４％学校代号：１０５６１学号：２０１３２０１０８５８６华南理工大学硕±学位论文基于Ｓｐａ化平台的短时交通流预测研究作者姓名：王腾辉指导教师姓名、职称：胡斌杰教授申请学位级别：工学硕±学科专业名称：通信与信息系统研究方向：现代通信理论与技术＇论文提交曰期＊：曰论文答辩曰期之口年争月Ｉ口：么０／谷年＾月曰／《７学位授予单位：华南理工大学学位授予日期：年月日答辩委员会

3、成员：主席．杨委员：＾嫌＾抑＾华南理工大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取。得的研究成果除了文中特别加，［＾｜标注引用的巧容外本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中明确方式标明。本人完全意识到本声明的法律后果由本人承担。：作者签名曰期：扣人年／月ｔ曰学位论文版权使用授权书目本学位论文作者完全了解学校有关保留、使用学位论文的规定，Ｐ：研究生在校攻读学位期间论文工作的知识产权单位属华南理

4、工大学。学校有权保存并向国家有关部口或机构送交论文的复印件和电子版，允许学位论文被查阅（除在保密期内的保密论文外）；学校可公布学位论文的全部文或部分内容，可允许采用影印、缩印或其它复制手段保存、汇编学位论。本人电子文档的内容和纸质论文的内容相一致。＇．．本学位论文属于：＇□保密，在年解密后适用本授权书。不保密，同意在校园网上发布，供校内师生和与学校有共享协议的单位浏览；同意将本人学位论文提交中国学术期刊（光盘版）电子杂志社全文■出版和编入ＣＮＫ［《中国知识资源＂总库》，传播学位论文的全部或部分内容。Ｖ＂（请在

5、Ｗ上相应方框内打）１文作者签名：游場＇曰期：如／緣的作９＇．指导教师签名；日期如申巧抑作者联系电话；电子邮箱：？联系地址（含邮编）：*摘要随着城市汽车数量的急剧增加，城市的交通拥堵问题日益严重，严重影响了人们的日常生活。实时、准确的交通流预测可以为交通的管理和疏导提供依据，从而有效的解决城市的交通拥堵问题。交通流预测是通过对来自数据采集设备的交通流数据进行挖掘，找到交通流变化的内在规律，从而预测出各路段下一时刻的交通流状况。而随着数据采集技术的发展和数据采集设备的广泛应用，城市每天产生的交通数据量急剧增加，如何对海量的交

6、通数据进行有效的处理、分析成为近年来的研究热点。传统的基于单台物理机的数据处理模式，由于受到内存、磁盘、CPU等因素的限制，无法满足对海量数据的存储和处理需求。为了解决单机环境在处理海量数据时处理能力的性能瓶颈，本文利用大数据计算框架在处理海量数据上的优势，提出了一种基于Spark分布式计算平台的短时交通流量预测方法，该方法在保证预测精度的基础上，有效的提高了算法的计算效率，增强了预测算法的实用性。本文的主要工作如下：1、利用交通流的时空特性，提出了一种基于时空关系的交通流特征向量生成方法，实验结果表明，基于时空关系的K近邻（KNN）预测模型的预测精度

7、明显好于基于时间关系的KNN预测模型。2、针对单机环境下处理海量数据时存在的计算性能低、扩展性能差等问题，提出了在Spark平台上对传统KNN算法并行化实现的方法，该方法有效的解决了KNN算法近邻查找过程中搜索历史数据库效率过低的问题，提高了KNN算法的计算效率，改善了KNN算法的实用性。3、选取美国加州PeMS系统的实际交通流数据作为实验数据，以均方根误差、加速比等作为评价指标，在由多个节点组成的分布式集群中对交通流量进行预测仿真，并对算法的预测精度和预测时间进行比较。实验结果表明，基于Spark平台的短时交通流预测，可以在保证预测精度的前提下，满足

8、对海量交通数据的实时处理要求，并且系统具有良好的扩展性和加速比。关键词：短时交通流预测；海量数