基于Hadoop的异构海洋数据处理模型研究.pdf

《基于Hadoop的异构海洋数据处理模型研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、●学校代码：10264研究生学号：M080501453上海海洋大学专业学位硕士论文题基于Hadoop的异构海洋数据处理模型研究Heterogeneousmarinodata英文题目：processingmodeIstudybasedonHadoop专业：计算机应用技术研究领域：分布式计算，云计算姓名：侯泽东指导教师：黄冬梅教授二O一一年一月十四日◆●}III1IIIIII11111III、t1821878上海海洋大学学位论文原创性声明本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的学位论文，

2、是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经明确注明和引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的作品及成果的内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：ZpJl年-f上海海洋大学学位论文版权使用授权书彳羞坞幺月一日t不保密醇．．言凳篡黼日气乏坪秀嚣警j黔扔f●◆±渔渔洼太堂博／硕士学位论文答辩委员会成员名单姓名工作单位职称备注吴耿锋上海大学教授主席中国农业科学院农业钱平研究员委员信息研究所邹国

3、良上海海洋大学教授委员于庆梅上海海洋大学副教授委员郑永德上海海洋大学工程师秘书答辩地点信息学院205会议室答辩日期2011．1．14◆上海海洋大学硕士学位论文目录摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．1Abstract．⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯⋯．⋯⋯⋯⋯⋯．⋯⋯．III第一章引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．11．1研究背景及意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯l1．1．1研究背景⋯⋯⋯⋯⋯⋯

4、⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯11．1．2研究意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯21．2研究内容与创新点⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯21．3论文总体框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯3第二章Hadoop平台研究⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯42．1Hadoop核心组件概要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯42．1．1HadoopMapReduce⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯42．1．2HadoopDFS⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

5、⋯⋯⋯⋯⋯⋯⋯．52．2Hadoop分布式文件系统(HDFS)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯52．2．1HDFS数据完整性⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯62．2．2持久化数据结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．72．2．3元数据备份⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一102．2．4数据备份⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一102．3MapReduce并行编程模型在Hadoop中的实现⋯⋯⋯⋯⋯⋯⋯．．1l2．3．1MapReduce数据流⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．112．

6、3．2运行MapReduce作业⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．122．3．3作业的调度⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．132．3．4MapReduce中的其他关键特性⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯142．3．5MapReduce执行流程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯152．4HadoopMapReduce容错机制分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．172．5本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．17第三章异构海洋数据处理模型设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯l83．1海洋数据的异构性

7、⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．183．2数据源分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．193．2．1环境监测数据⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯19●3．43．5第四章4．14．1．2软件环境⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一294．113运行实例配置⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯304．2实验以及结果分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．324．3本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．34第五章结论与展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

8、⋯⋯一355．1工作总结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．355．2展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯35参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯37致谢⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯40攻读学位期间发表的学术论文与取得的其他研究成果⋯⋯⋯⋯⋯⋯⋯一4l发表的学术论文⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯4l发表的专利⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯4l参加的科研项目⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯