基于hdfs小文件处理的安全存储系统的设计与实现

《基于hdfs小文件处理的安全存储系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中文图书分类号：TP391密级：公开UDC：004学校代码：10005硕士专业学位论文PROFESSIONALMASTERDISSERTATION论文题目：基于HDFS小文件处理的安全存储系统的设计与实现论文作者：谢航专业类别/领域：计算机技术指导教师：肖创柏教授论文提交日期：2017年5月UDC：004学校代码：10005中文图书分类号：TP391学号：S201407096密级：公开北京工业大学硕士专业学位论文（全日制）题目：基于HDFS小文件处理的安全存储系统的设计与实现英文题目：DESIGNANDIMPLEMENT

2、ATIONOFSECURECLOUDSTORAGESYSTEMBASEDONHDFSSMALLFILEPROCESSING论文作者：谢航专业类别/领域：计算机技术研究方向：计算机应用技术申请学位：工程硕士专业学位指导教师：肖创柏教授所在单位：信息学部答辩日期：2017年5月授予学位单位：北京工业大学独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书

3、而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：谢航日期：2017年05月17日关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：谢航日期：2017年05月17日导师签名：肖创柏日期：2017年05月17日摘要摘要随着网络建设的不断发展，数据正在呈爆炸性的增长，如何管理这些

4、海量数据成为了一个研究的热点和难点问题。Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）是主要用于存储大文件的云存储系统，小文件存储的支持尚不完善，但现在网络中存储以及传输的数据大部分都是小文件，这便导致了系统的存储瓶颈问题。除此之外，网络中的安全事故也频频发生，究其原因还是云存储系统的安全性工作尚不完善。针对以上的问题，对HDFS的存储和数据面临的攻击方法进行研究，分析了HDFS存储数据的优势和劣势以及安全性问题。通过对HDFS小文件存储和高级加密标准（AdvancedEn

5、cryptionStandard，AES）的深入研究，设计和实现了一个具有数据保密性、支持海量小文件高性能存取且易扩展的云存储系统。论文的主要工作如下：（1）优化HDFS小文件处理方法。对国内外关于HDFS小文件问题的解决方案进行分析，总结其中的优点及不足，提出了小文件处理模块的概念。该模块由文件判断、文件合并和文件索引三部分构成，实现了小文件分批处理、集中合并的功能；将索引记录与数据库动态连接，避免了与HDFS多次连接而导致不必要的消耗；采取预取和缓存技术进一步提高了文件的访问速度。（2）优化AES算法。由于AES算法

6、的加解密原理是公开的，针对AES算法的原理，在加密过程和解密过程进行优化。通过加解密过程相关步骤的合并及重新排序，对加解密过程进行优化，提高算法的处理速度。（3）将身份认证机制、优化的小文件处理方法、改进的AES算法和混合加密思想有机组合，设计并实现支持海量小文件存储并且安全的HDFS系统。该系统在身份认证方面采用哈希函数，保证了密码的安全；使用小文件处理模块对上传的文件进行处理，节省了NameNode的内存空间，并提高了文件的读取速度；使用改进的AES算法进一步加强了数据的安全性；将改进的AES算法和RSA算法结合使用

7、，这种混合加密方式提高了文件的传输速度和密钥的安全。关键词：HDFS；小文件；AES；保密性；混合加密-I-AbstractAbstractWiththecontinuousdevelopmentofnetworkconstruction,thedataisshowinganexplosivegrowth,howtomanagethesemassivedatahasbecomeahotanddifficultresearchissue.HadoopDistributedFileSystemismainlyusedtost

8、orelargefiles,andthesupportofsmallfilestorageisnotperfect.Butnowmostofthedatastoredandtransmittedinthenetworkaresmallfiles,whichledtothesystem'sstoragebottlene