技术创新平台存储系统的冗余容错机制研究

《技术创新平台存储系统的冗余容错机制研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号C93密级UDC659编号ᢈḄᑍ ┯ᑴẆ学位论文ᢈḄᑍ ┯ᑴẆ
指导教师姓名潘郁教授ᓭᜧ申请学位级别硕士学科、、专业、专业管理学、、管理科学与工程、管理科学与工程论文提交日期2012年4月18日2012年4月18日AStudyonRedundantFault-ToleranceMechanismoftheStorageSystemintheTechnologyInnovationPlatformDissertationSubmittedtoNanjingUniversityofTechnol

2、ogyinpartialfulfillmentofrequirementforthedegreeofMasterofManagementByXiaoYongXUSupervisor:Prof.YuPANApr.2012学位论文独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。研

3、究生签名：日期：学位论文的使用声明□1、南京工业大学、国家图书馆、中国科学技术信息研究所、万方数据电子出版社、中国学术期刊（光盘版）电子杂志社有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文并通过网络向社会提供信息服务。论文的公布（包括刊登）授权南京工业大学研究生部办理。（打钩生效）□2、本论文已经通过保密申请，请保留三年后按照第一项公开（打钩生效）□3、本论文已经通过校军工保密申请，不予公开（打钩生效）研究生签名：导师签名：日期：日期：硕士学位论文摘要企业、大学以及科研机构等组织之间的产学研合作能够有效加快科

4、学技术成果的产业化、商品化、和国际化。技术创新平台为产学研合作提供了一种新的平台，这种平台能够使各参与方跨越地理障碍，进行全天候的协作创新，将教育、科技和经济结合，形成一个产学研合作的有机体。实现技术创新平台的一个关键是数据存储。在技术创新平台中，来自不同区域的海量数据需要存储，同时平台对数据存储成本以及可用性都有很高的要求。如何保证技术创新平台数据存储的海量跨区域性、低成本且高可用性是平台上产学研活动开展的基础，也是一个亟待解决的重要问题。因此，本文旨在于为技术创新平台提供一套有效的存储方案，并设计相应的冗余容错机制，以此来满足平台的存储需求。考

5、虑到技术创新平台的海量跨区域的数据存储需求，本文引入了HDFS云存储框架来构建技术创新平台的存储系统。然而，当前版本的HDFS使用了完全副本冗余容错机制。这种冗余容错机制通过复制数据得到多个副本，并分别进行存储，以此保证系统的高可用性，但是这种方式增加了系统的冗余，增加了存储成本。因此，本文将纠删码技术引入到新的冗余容错机制设计中。这种新的冗余容错机制对原数据编码形成若干校验码，一旦数据发生丢失，使用校验码就可还原数据，以此保证系统高可用性。与完全副本冗余容错机制相比，这种新机制极大地降低了系统的冗余，减少了存储成本。同时，为了能够为技术创新平台提

6、供低成本且高可用性的数据存储方案，本文在冗余容错机制的设计中加入了成本和可用性的冗余优化机制。首先建立一个双目标优化模型，同时提出了一种基于特征映射神经网络的冗余优化算法，用于搜索关于成本和可用性的最优方案。这种算法和其他多目标算法相比，其并行性、分布性以及低计算复杂度等特点更能适合在云存储环境下的存储优化方案搜索。另外，为了进一步提高算法收敛速度以及求解质量，利用云存储中存在大量主机的特点，对原冗余优化算法进行改进，加入了训练模块和竞争模块，提出了并行特征映射神经网络冗余优化算法。最后对本文提出的冗余优化算法以及冗余容错机制分别进行了测试。实验结

7、果证明，与其他多目标优化算法相比，本文的冗余优化算法在求解质量、收敛性上都有着较好的表现。同时，结果证明，与完全副本冗余容错机制相比，本文提出的新冗余容错机制能够在保证系统高可用性的同时，有效降低系统冗余，减少了系统的存储成本。基于HDFS框架的技术创新平台存储系统能够有效满足平台对海量跨区域数据存储I摘要的需求。同时，针对该系统提出的冗余容错机制，经验证能够有效保证系统的高可用性以及降低系统冗余存储成本，能够满足平台数据存储的实际需求。另外，本文在基于特征映射神经网络的冗余优化算法方面的工作也为云存储环境下多目标优化算法的应用做出了有益的探索。关

8、键词：：：技术创新平台冗余容错HDFS多目标优化自组织特征映射神经网络II硕士学位论文ABSTRACTTheproduce