hadoop异构系统下数据安全分配研究

《hadoop异构系统下数据安全分配研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop异构系统下数据安全分配研究　摘要：ApacheHadoop是一种广泛使用的分布式系统基础架构，它实现了一个分布式文件系统（HDFS），并假定系统中的数据节点是同构的。当云系统向上扩展时，数据节点很可能变得异构。而绝大多数的研究是为了提高Hadoop在异构环境下的性能，很少注意到数据安全的改进。文章提出的SecHDFS数据分配方案通过秘密共享技术来提高异构Hadoop系统中数据存储的安全性，可在提高安全性的同时保持系统的性能。本文采集自网络，本站发布的论文均是优质论文，供学习和研究使用，文中立场与本网站无关，版权和著作权归原作者所有，如有不愿意被转载的情

2、况，请通知我们删除已转载的信息，若要分享，请保留本段说明。　关键词：数据节点；分布式文件系统；异构系统；数据安全；秘密共享技术　　中图分类号：TP311.5文献标志码：A文章编号：1006-8228（2017）06-08-03　　ResearchondatasecurityassignmentinHadoopheterogeneoussystem　　FengXuan，HuangGang　　（SchoolofComputer，NanjingUniversityofPostsandTelecommunications，Nanjing，Jiangsu210003，Chi

3、na）　　Abstract：ApacheHadoopisawidelyuseddistributedsysteminfrastructure，whichimplementsadistributedfilesystem（HDFS）andassumesthatthedatanodesinthesystemarehomogeneous.Whenthecloudsystemexpands，thedatanodesarelikelytobecomeheterogeneous.Thevastmajorityoftheresearchistoimprovetheperforma

4、nceofHadoopinheterogeneousenvironment，whilelittletoimprovethedatasecurity.Inthispaper，theSecHDFSdataallocationschemeisproposedtoimprovethesecurityofdatastorageinaheterogeneousHadoopsystembysecretsharingtechnology，whichcanimprovethesecuritywhilemaintainingthesystemperformance.　　Keyword

5、s：datanode；Hadoopdistributedfilesystem；heterogeneoussystems；datasecurity；secretsharingtechnology　　0引言　　Hadoop是一??能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。在所有的系统设计中，分布式框架最容易受到安全性攻击并成为侵入式攻击的目标。在数据安全性方面，HDFS[1]，Hadoop的数据存储系统，非常依赖于加密技术来保护数据。通过一个异构环境，当DataNode因为每个节点的加密和安全标准变化被破

6、坏，系统作为一个整体，不会受到影响。但是，HDFS并不考虑异构性。HDFS的主要安全风险之一是数据复制[2]。尽管数据复制提升了可靠性，它也可能因为云处理器的存储片段的增加而带来安全风险[3]。有证据表明，异构特性可用于提高非复制数据的存储安全性。　　我们的工作重点在于通过引入安全Hadoop分布式文件系统（SecHDFS），使用S-FAS分段分配方案并将其应用于Hadoop中的HDFS，来解决Hadoop中的数据复制的安全问题。在将文件提交到Hadoop系统之后，SecHDFS方案将生成一个分组的候选节点的目标列表，这些节点将被传递到Hadoop数据放置策略的修

7、改版本中。SecHDFS将尝试使用尽可能多的不同类型的数据节点来存储不同的片段，同时在DataNodes中保持同一类型的复制。　　考虑到加密方法需要将分段的加密密钥从NameNode传播到DataNode，如果一个攻击者能够拦截加密密钥的片段，那么，根据秘密共享理论[4]，攻击者将能够在获得部分片段后重建加密密钥和解密截取的文件。但是，如果两个DataNodes具有不同的漏洞，则对其中一个DataNode的成功攻击不一定可以对另一个DataNode的成功攻击。　　1背景知识　　1.1Hadoop的HDFS文件存储　　Hadoop的分布式文件系统HDFS，采用流式数

8、据访问模式