基于Hadoop的海量工程数据处理技术研究

《基于Hadoop的海量工程数据处理技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、文臻)卜．，'瘪乞和一专业硕士学位论文基于Hadoop的海量工程数据处理技术研究ResearchonProcessingTechnologyofMassEngineeringDataBasedonHadoop作者：李延光导师：徐文胜北京交通大学2013年6月学位论姗权翎授权书＼删㈣本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的

2、复印件和磁盘。(保密的学位论文在解密后适用本授权说明)学位论文作者签名：概签字日期：加l；年占月I7日导师签名：蒜立刀笠签字日期：加，3年∥月／7曰中图分类号：THl86UDC：29北京交通密级：公开学校代码：10004大学专业硕士学位论文基于Hadoop的海量工程数据处理技术研究ResearchonProcessingTechnologyofMassEngineeringDataBasedonHadoop作者姓名：李延光导师姓名：徐文胜工程领域：机械工程北京交通大学2013年6月学号：11125669职称：副教授学位级别

3、：硕士致谢本文是在我的导师徐文胜教授的精心指导下完成的。在读研期间，徐老师宽以待人、诲人不倦的高尚品质和严谨的工作态度给予我极大的影响，另外在我的学习和论文工作中投入了大量的精力，在生活上给予无微不至的关怀。在此衷心感谢两年来徐老师对我的关心和指导。在实验室的工作期间，课题组的孔令军、苏凯等同学对我论文中的研究工作给予了积极帮助以及大力的支持，在此表示真诚的感谢。最后还要感谢父母对我贴心的关怀，感谢他们对我的理解和支持，有了他们的幸苦和付出才使得我能够顺利完成。中文摘要中又摘要摘要：随着工程项目信息化程度越来越高，海量的工

4、程数据随之产生，然而传统的工程数据存储技术无法满足越来越高的数据存储质量的要求。近年来，云计算技术在工业界和学术界共同推动下取得了巨大的发展，大量的云计算系统投入使用。其中，Hadoop平台被广泛用来开发云计算程序。Hadoop最大的优点就是实现了并行化对应用开发者的透明处理，应用开发者可以像开发普通程序一样来开发云计算的应用系统，而集群的并行化则由Hadoop底层自动完成。本文基于Hadoop技术来研究工程领域海量数据的处理问题，主要采用Hadoop的HDFS分布式文件系统以及MapReduce分布式处理模型来支持海量工

5、程数据的存储和处理。海量工程数据的处理过程主要分为两大部分：海量数据的存储过程与计算分析过程。针对工程领域数据存储的问题，本文分析设计了基于Hadoop的HDFS分布式文件系统的工程数据存储系统。该系统基于Java7文件监控器设计了的文件识别算法，该算法可以快速、准确地监控并识别客户端本地文件目录变化信息。配合基于Quartz的调度器的存储作业调度以及HDFS文件操作API接VI的调用，实现了跨平台文件同步功能。经过在云仿真平台存储系统中应用测试，表明该系统具有较好的通用性、高效性以及经济性。所设计的文件同步方法较好地完成

6、了文件同步任务，解决了云仿真平台存储系统中核心的文件同步问题，提供了快速、正确的文件同步功能。针对海量工程数据计算分析的问题，本文基于Hadoop技术另外一个核心技术MapReduce分布式处理模型，以城市海量噪声数据为应用对象提出了海量数据分析处理模型，为城市社区噪声监测系统提供海量数据处理服务。针对城市噪声数据特点，提出了由四个部分组成的数据处理过程，分别是数据清洗、数据预处理、数据处理以及数据可视化。基于该处理模型，对城市噪声监测采集系统采集到的海量噪声数据进行存储，将存储后的数据进行测试分析处理，实现了移动计算与海

7、量工程数据存储及分析的结合。测试结果表明该分布式处理模型快速、准确、有效地完成了噪声数据处理的任务。最后对基于Hadoop的海量工程数据的存储与计算分析的应用情况进行了研究成果总结，并对下一步工作进行了展望。关键词：海量工程数据处理；Hadoop；文件监控分类号：THl86jE京交垣态堂童些亟±堂焦途塞△垦S!B△gIABSTRACTABSTRACT：Whileinformationtechnologyisincreasinglyinvolvedinengineeringprojectsnowadays，massengin

8、eeringdataareproducedaccordingly,butthetraditionalstoragetechnologycannotmeettherequirementsforstoringandanalyzingmassdata．Inrecentyears，cloudcomputingt