hadoop在psinsar遥感数据并行处理中的研究及应用

《hadoop在psinsar遥感数据并行处理中的研究及应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、东表夫營硕壬学位论文Ｈａｄｏｏｐ在ＰＳＩｎＳＡＲ遥感数据并行处理中的研究及应用专业名称：软件工程作者姓名：钟金沙指导教师：晓宇；廖力；黄井优ＨＡＤＯＯＰＰＡＲＡＬＬＥＬＰＲＯＣＥＳＳＩＮＧＲＥＳＥＡＲＣＨＡＮＤＡＰＰＬＩＣＡＴＩＯＮＦＯＲＰＳＩＮＳＡＲＲＥＭＯＴＥＳＥＮＳＩＮＧＤＡＴＡＡＴｈ故ｉｓＳｕｂｍｈｔｅｄ化ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙＦｏｔｍｉｃＤｅｇｒｅｅｏｆｒｆＥｎｒｈｅＡｃａｄｅＭａｓｔｅｏｇｉｎｅｅｒｉｎｇＢＹＺ

2、ＨＯＮＧ－ＪｉｎｓｈａＳｕｅｒｖｉｓｅｄｂｐｙＰｒｏｆ－．ＺＨＯＵＸｉａｏｙｕＤｒ．ＬＩＡＯＬｉａｎｄＡＮＧ－Ｓｉ．Ｅ．ＨＵＪｎｇｙｏｕＣｏｌｌｅｅｏｆＳｏｆｔｗａｒｅＥｎｇｉｎｅｅｒｉｎｇｇＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙＪｕｎｅ２０１５东南大学学位论女独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研充工作及取得的研巧成果。尽我所知，除了文中特别加标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研巧成果，一也不包含为获得东南

3、大学或其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研充所做的任何贡献均已在论文中作了明确的说明并表示了谢意。兴作《研巧生签名：日期：当每＿＿东南大学学位论文使用授权黄明东南大学、中国科学技术信息研充所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档、。，可Ｗ采用影印缩印或其他复制手段保巧论文本人电子文档的内容和纸质论文的内容相一。，可Ｗ公布致除在保密期内的保密论文外，允许论文被查阅和借阅（包括Ｗ电子信息形式刊登）论文的全部内容或中、英文摘要等部分内容。论文的公布（包括Ｗ电子

4、信息形式刊登）授权东南大学研巧生院办理。、复分丈＇研巧牛豁备：导师答名点丰；底记日期：弓＾摘要随着各种类型遥感仪器的空间分辨率，腔、频谱分辨率的不断提高测地面沉降的一遥感影像数据量会随着时间的积累而急剧增长。传统的ＰＳＩｎＳＡＲ处理遥感数据系统般都采用单机式的Ｓｈｅ，面对海量数据处理时由于受到单机ｌｌ和Ｍａｔｌａｂ脚本串行处理ＣＰＵ运算速度、磁盘容量等资源的限制，存在加载缓慢、处理时间较长，甚至不能处。因此理等严重问题，有必要对ＰＳＩｎＳＡＲ系统进行改造，提高其运行速度和存储容。

5、量，满足用户对该系统的性能需求目前，业界通常采用提高单机硬件性能的方法来改善ＰＳＩｎＳＡＲ遥感数据处理的效一、、率，此方法存在低效成本高扩展不灵活等问题，只能满足时么需，无法满足日益增长的海量数据需要。本文工作在对现有ＰＳ比ＳＡＲ遥感影像数据系统进行分析的基础上，采用Ｈａｄｏｏｐ技术对系统架构进行了并行化改造，通过架构的优化提高系统的处理速度；研究了ＰＳＩｎＳＡＲ系统中可并行处理的Ｓｈｅｌｌ和Ｍａｔｌａｂ脚本，结合ＭａｐＲｅｄｕｃｅ将其中的串斤脚本进行了并行化改造，；同时新增了分布式影像数据存储管理模块

6、提高了系统的读写性能；在对Ｈａｄｏｏｐ源码分析化及在大量作业运行的基础上，分析获取了Ｈａｄｏｏｐ平台运行作业的配置参数，对整个系统改造进行了优化设计。最终，通过单机版和集群版系统的对比试验，验证了本次系统改造的有效性和实用性，能够显著提高系统的性能。关键词！Ｈａｄｏｏｐ、ＨＤＦＳ、Ｍ巧Ｒｅｄｕｃｅ、海量、遥感数据、Ｐ別ｎＳＡＲＩＡｂｓｔｒａｃｔＡｂｓｔｒａｃｔＷｉｔｅｓａｔｉａｒｅｓｏｉｌｌｈ化ｐｌｌｕｔｉｏｎａｎｄｓｐｅｃｔｒａｌｒｅｓｏｌｕｔｏｎｏｆａｔｙｐｅｓ

7、ｏｆｒｅｍｏｔｅｓｅｎｓｉｎｇｉｔｉｉｎｓｔｒｕｍｅｎｔｓｂｅｉｎｃｏｎｓｔａｎｔｌｉｍｒｏｖｅｄａｎｄａｌｓｏｗｔｈ也ｅｅｘｔｅｎｓｉｏｎｏｆｍｅｔｈｅｒｅｈａｓｂｅｅｎａｇｙｐ，，ｒ化ｒｅａｉｎ化ｅａｍｏｕｎｏｒｉｎｄａｔａｒｅｌｔｔｉｔｒｉｎｆｌａｎｄｓｈａｐｃ化ｔｆｅｍｏｔｅｓｅｎｓｇａｅｄｏｍｏｎｏｇｏｓｕｂｓｉｄｅ打ｃｅ．ＴｒａｄｉｔｉｏｎａｌｌｙＰＳＩｎＳＡＲｅ打ｅｒａｌｌｕｓｅｓｉｎｌｅＳｈｅｌｌａｎｄＭａｔｌａｂｓｃｒｉｔｔｏｒ

8、ｏｃｅｓｓ，ｇｙｇｐｐｒｅｍｏｔｅｓｅｎｓｉｎｄａｔａｓｅｒｉａｌｌｙ．ＴｈｅｒｅｆｏｒｅｔｒａｄｉｔｉｏｎａｌＰＳＩｎＳＡＲｉｓｉｎｓｕｆｆｉｃｉｅｎｔｗｈｅｎｆｅｃｅｓｇ，ｒｏｃｅｓｓｉｎ．Ｄｕｅ化ｔｈｅｌｉｍｒａｉｎＰＵｎｄ