基于hadoop交通信息并行处理云平台的设计与实现

《基于hadoop交通信息并行处理云平台的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERTHESIS论文题巨基于Had—交通信息并行处理云平台的设计与实现学科专业通信与信息系统学号20122101031^_作者姓名______________袁亚欣指导教师廖丹副教授独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书

2、而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：丨f年i月/f日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后应遵守此规定）分类号密级注1UDC学位论文基于Hadoop交通信息并行处理云平台的设计与实现（题名

3、和副题名）袁亚欣（作者姓名）指导教师廖丹副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业通信与信息系统提交论文日期2015.03论文答辩日期2015.05.15学位授予单位和日期电子科技大学2015年06月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。DESIGNANDIMPLEMENTATIONOFTRAFFICINFORMATIONPARALLERPROCESSINGCLOUDPLATFORMBASEDONHADOOPAMasterThesisSubmittedtoUniversi

4、tyofElectronicScienceandTechnologyofChinaMajor:CommunicationandInformationSystemsAuthor:YuanYaxinAdvisor:LiaoDanSchool:SchoolofCommunication&InformationEngineering摘要摘要随着社会的发展和城市化的加快，机动车的数量呈现爆炸式的增长。但有限的地理空间和紧缺的土地资源，使得人、车、路之间的交通矛盾日益突出。并且随着计算机网络和信息采集技术的发展，日常需要处理的交通数据

5、也逐步增多。而传统平台在面对大数据问题时显得捉襟见肘，这使得所面临的交通问题越来越严重。可喜的是，目前出现了许多成熟的大数据处理技术，为智能交通系统的发展带来了新的思路。本文设计的主要出发点是通过将Hadoop、HBase与现有交通云平台进行整合，实现新一代智慧交通云平台，从而增加平台大数据处理的能力，改善现有的交通系统。本文研究的主要内容有：1.Hadoop、HBase集群多节点部署：本文在基于vSphere所构建的多虚拟节点上搭建Hadoop与HBase集群，作为新一代交通云平台的底层基础。2.交通基础服务的设计与实现

6、：本文给出了两种交通服务的设计与实现方案，一种是针对原始交通数据所开发的数据中心统一化服务，从而解决数据输入的问题。另一种是为使已有云平台获得大数据处理能力而设计的并行计算和大数据存储服务。3.交通应用架构设计与案例实现：本文设计的交通应用架构体系体包括交通核心应用和交通智慧应用，其作用是验证新一代交通云平台功能。其中交通核心应用主要功能是基于MapReduce框架对交通数据做计算与分析，而交通智慧应用是将计算结果以可视化的角度展示给用户。通过应用的成功部署、运行从而可以验证平台整合方案的可行性、正确性。4.Hadoop、

7、HBase集群与原有交通云平台整合：本文在基于Socket通信方式的基础上，实现了Hadoop、HBase集群与原有云平台功能的整合，使得新一代智慧交通云平台拥有大数据处理的能力。用户通过整合后的平台入口上传并运行应用，从而获取大数据计算和存储能力。本文提出了通过融合Hadoop、HBase集群构建交通信息并行处理云平台的设计方案，从而解决交通领域大数据的难题。同时在此基础上给出了交通应用架构和服务设计方案，为智能交通系统的发展做出了贡献。关键词：智能交通，大数据，平台整合，Hadoop，HBaseIABSTRACTABS

8、TRACTWiththedevelopmentofsocietyandurbanization,thenumberofmotorvehiclesisinexplosivegrowth.However,thelimitationofgeographicalspaceandshortageoflandres