关于rs纠删码的数据冗余策略

《关于rs纠删码的数据冗余策略》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、哈尔滨工程大学学位论文原创性声明本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本人独立完成的。有关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中已注明引用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。作者（签字）：日期：年月日哈尔滨工程大学学位论文授权使用声明本人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨工程大

2、学有权保留并向国家有关部门或机构送交论文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈尔滨工程大学。涉密学位论文待解密后适用本声明。本论文（□在授予学位后即可□在授予学位12个月后□解密后）由哈尔滨工程大学送交有关部门进行保存、汇编等。作者（签字）：导师（签字）：日期：年月日年月日基于RS纠删码的数据冗余策略摘要由于远程教育、教育资源共享是

3、面向数据网络体系结构的，人们对教育资源的可靠性、访问效率提出了很高的要求。教育资源的特点是对于较新的资源数据，往往访问量较大，而对于历史资源数据，访问量很小，数据可靠性要求不高，二者的数据可用性要求差异较大。本文详细分析研究纠删码技术的编解码原理、分类及在数据冗余方面的应用，并分析分布式文件系统（HDFS）的相关理论知识以及数据冗余策略的功能与分类。根据教育资源管理的特点，不同时期的教育资源访问量差异较大，继而二者的数据可用性要求较大，而传统系统中数据冗余策略采用默认的3副本冗余策略，存在存储开销过高，节点负载不均衡的问题，

4、为了解决以上问题，提出基于RS纠删码的动态副本放置策略。首先，针对教育资源数据的特点，将默认的3副本冗余策略调整为根据访问量计算热度，参照热度级别，实时调整文件副本数量。解决了高访问量所带来的节点负载不均衡和存储空间浪费的问题。改进文件热度计算公式，将影响到文件热度的文件历史访问量引入公式计算中，使得热度阀值的计算更符合教育资源的特点。其次，为了解决热度较低的文件占用较多存储空间的问题，引入RS纠删码，利用RS纠删码对热度低的文件进行编码存储，使得编码后的文件具有较高的可用性，同时降低了存储空间的消耗。最后，针对资源抖动和复

5、制滞后带来频繁无效操作的问题，提出基于灰色预测系统预测模型的副本冗余策略。利用灰色系统的预测性，由历史访问量数据通过预测模型建模得到预测访问量数据，进而计算得到文件响应热度，实现副本数量调整的提前性。针对教育资源的特点，经数据分析、实验验证，对RS码相关关键参数适当地选取设定。本文利用MATLAB，根据文件的历史访问量对文件下一周期的访问量进行预测处理，并通过仿真实验，对所提出的策略进行验证分析。实验结果表明本文所提出的策略可以提高系统数据的可靠性、可用性，并有效地减少了存储空间的开销。由此验证了本文所提出的策略在处理教育资

6、源数据冗余问题时的有效性。关键词：教育资源管理；副本放置；RS纠删码；热度；预测哈尔滨工程大学硕士学位论文基于RS纠删码的数据冗余策略AbstractDuetothedistanceeducationandeducationresourcesharingarebasedonthedatanetworkstructure,moreconvenientandhighlyefficienteducationresourcesarestillurgentlydesired.Thecharacteristicsofeducationr

7、esourcesisthatthevisitamountislargerfortheresourcewhichisrelativelynew,butthetrafficisverysmallforhistoricalresourcedatawhichreliabilityofdataisnothigh.Thetwodataavailabilityrequirequitedifferent.Thispaperanalyzestheprincipleandclassificationoferasurecodesindetail.

8、Inthispaper,theapplicationoferasurecodesindataredundancyisalsoresearchedindetail.Atthesametime,itintroducestherelevanttheoreticalknowledgeofHDFSa