基于hbase的交通数据处理优化技术研究

《基于hbase的交通数据处理优化技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士研究生学位论文基于的交通数据处理优化技术研究学生姓名乔彦克学号学科、专业计算机科学与技术研究方向分布式数据库校外导师北方工业大学研究生院北方工业大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研宄工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：！义）日期：彡年：月义⋯日学位论文使用授权书学位论文作者完全了解北方工业大学有关保留和使用学位论文的规定，即：研究生在校攻读学

2、位期间论文工作的知识产权单位属北方工业大学。学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文（保密的学位论文在解密后适用于本授权书。口保密论文注释：经本人申请，学校批准，本学位论文定为保密论文，密级：，期限年，自年月日起至年月日止，解密后适用本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授权书。本人签名：德日期：、导师签名：日斯：》。北方工业大学硕士学位论文基于的交通数据处理优化技术研宄摘要大数据和云计算技术的迅速发展，为海量数据的存储和查询

3、在关系数据库外提供了新的解决思路。面对海量数据的处理，传统的关系数据库由于其处理能力和扩展性不足限制了其使用。在智能交通领域，各种监测数据已呈现海量增长的趋势，使用传统的关系数据库在处理海量交通数据时，暴露了许多问题，比如高速实时数据流的写入性能不足，以及在千万级甚至数十亿级别的数据规模上的查询效率低下等一些问题。作为目前大数据处理技术事实上的标准，技术被各大公司用来处理各种各样的大数据相关业务需求场景。而作为之上的分布式数据库，在处理海量数据时有先天优势，底层既有作为其存储层，又有计算框架为其提供高效的并行化计算能力，具有高可靠可髙可用等特征。为解决智能交通应用中交通流数据在基于

4、传统关系型数据库系统处理时遇到的性能瓶颈，本文采用作为交通流数据的存储引擎，并在此基础上对其存储和查询问题进行研究。主要研究工作如下：首先对本文使用到的相关技术进行深入学习和分析，重点对的架构，数据模型和其轻量级协处理器计算框架进行了深入研究，并在其数据模型基础上设计以复合行键为中心的交通流数据存储模型。提出了基于的实时交通流存储系统，通过对多源交通流数据的存储进行分层架构设计，由前端存储预处理层，数据缓冲区，以及写入模块组成整个实时存储系统，通过多层协作，数据缓存，并设计优化的复合行键，提高了交通流数据的实时写入能力。结合实际的业务需求，通过对非行键数据建立辅助索引，提高了非行键

5、上数据的查询效率，并引入解析模块，通过对语句进行优化解析，由相应的执行引擎执行査询操作，方便进行查询的同时也能提高查询效率。最后对整个系统进行实验验证，通过相关实验分析及对比，本文的实时存储方案及辅助索引和解析模块能满足实际需要。关键词：数据处理，智能交通，实时存储，辅助索引北方工业大学硕士学位论文，，北方工业大学硕士学位论文目录摘要：研宄背景及意义：⋯本文研宂内容国内外研宄现状本文组织结构相关技术系统架构的读写路径操作多源交通数据实时存储模型及系统设计数据模型交通流数据在中的存储设计车牌识别数据简介车牌识别数据字段向映射数据实时写入模块的设计系统架构前端接收缓冲区行键结构设计数据

6、写入流程基于辅助索引的交通数据査询优化方法协处理器观察者终端解析语句向字段的转化解析流程实例分析北方工业大学硕士学位论文辅助索引辅助索弓丨设计辅助索引的管理辅助索引的使用实验结果分析实验环境搭建及数据准备系统安装与部署集群配置调优实验数据准备实验分析实时存储模块实验辅助索引性能测试解析验证实验综合分析总结与展望研究工作总结进一步展望参考文献申请学位期间的研宄成果及发表的学术论文北方工业大学硕士学位论文绪论研究背景及意义近年来，随着信息技术的不断深入发展并向传统行业深度渗透以及的发展，越来越多的数据被创造并产生价值。社交媒体数据、实时传感器数据、地理空间信息、交通数据流以及其他来源的

7、大体量数据被收集并存储，随着以社交网络、基于位置的服务为代表的新型信息交流媒介的不断涌规，以及物联网、云计算等技术的蓬勃发展人类产生的数据量正在以前所未有的速度增加，大数据己经与人们的生活息息相关丨】。每天，遍布世界的传感器、移动设备、在线交易和社交网络生成上百万兆字节的数据。据统计，全球每秒钟发送万封电子邮件每天会有万个小时的视频上传到，新浪微博每秒产生多条消息，推特上每天发布千万条消息，每天亚马逊上将产生万笔订单，每天需要处理超过的数据。大数据给我们带来便利的同时