基于hadoop的公交物联网海量采集数据的存储平台设计

《基于hadoop的公交物联网海量采集数据的存储平台设计》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中文图书分类号：TP391密级：公开UDC：004学校代码：10005工程硕士学位论文M.E.DISSERTATION论文题目：基于Hadoop的公交物联网海量采集数据的存储平台设计论文作者：张庆领域：软件工程指导教师：沈绪榜院士黄樟钦教授论文提交日期:2016年6月UDC：004学校代码：10005中文图书分类号：TP391学号：S201325042密级：公开北京工业大学硕士专业学位论文（全日制）题目：基于Hadoop的公交物联网海量采集数据的存储平台设计英文题目：DESIGNOFBUSIOTMASSDATASTORA

2、GEPLATFORMBASEDONHadoop论文作者：张庆领域：软件工程研究方向：嵌入式软件与系统申请学位：工程硕士专业学位指导教师：沈绪榜院士黄樟钦教授所在单位：软件学院答辩日期：2016年6月授予学位单位：北京工业大学独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确

3、的说明并表示了谢意。签名：张庆_日期：2016年6月10日关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：张庆日期：2016年6月10日导师签名：沈绪榜日期：2016年6月10日摘要摘要随着公共交通和物联网技术的不断发展，各类车载信息采集设备所产生的数据量也逐年增长，传统数据存储方式已经难以支持日益增长的采集数据存储需求。所

4、以如何利用工具将这些数据进行高效的存储和管理是急需解决的问题。在公交系统各类采集数据信息中，两种典型且重要的海量存储数据一个是GPS日志数据，另一个是视频数据。GPS日志数据用于分析公交调度和公交线路优化，需要实现对日志数据的分布式压缩存储并且支持以时间和空间范围为条件的高效查询操作；公交监控视频数据具有来源复杂，格式混乱的特点，为了实现监控视频数据的统一管理存储，需要对视频文件进行分布式转码，然后压缩存储。基于以上存储需求，本文提出使用Hadoop实现公交物联网海量采集数据存储，通过Hadoop的HDFS分布式数据存储

5、系统和MapReduce分布式计算技术，解决公交物联网采集数据的高效存储和管理问题。本文研究Hadoop的技术架构特点，并分析总结了公交物联网系统GPS日志和视频数据的采集、处理和存储特点，设计基于Hadoop的公交物联网海量采集数据的分布式存储方案。根据GPS日志数据的分布式压缩存储和以时间、空间为条件的高效查询需求，设计实现了基于Hadoop的GPS日志数据存储管理系统。该系统根据时间和GPS位置信息对日志数据实行时间-空间分层划分，并根据节点性能动态选择数据存储节点，然后压缩存储于HDFS。最后通过实验数据证明该系

6、统在优化存储效率的同时支持更高效的数据查询，能有效的提高日志文件的写入和存储效率。针对车载监控视频存储空间占用大和视频格式复杂多样的问题，设计并实现了基于Hadoop的分布式视频存储转码系统。该系统采用MapReduce和FFMPEG相结合的视频处理技术实现视频文件的分布式转码；利用LZO压缩技术实现对视频文件的高压缩存储。最终实验结果证实该视频存储系统可以极大地提高转码效率，适合处理和存储公交物联网视频采集数据。关键词：公交物联网；Hadoop；海量日志存储；分布式视频转码I北京工业大学工程硕士专业学位论文Abstra

7、ctWiththecontinuousdevelopmentofpublictransportandnetworkingtechnology,theamountofdataofvarioustypesofvehicleinformationcollectiondevicegeneratedgraduallyincrease,traditionaldatastoragemethodshavebeendifficulttosupportmassivelogdataanddistributedstoragebussurveil

8、lancevideo,sohowthesetoolsstorageandmanagedataefficientlyisanurgentproblem.Fromthebuswascollectingdatanetworkingfeaturesareview,GPSlogdatausedforanalysistoopti