基于hdfs的数据安全保护机制研究

《基于hdfs的数据安全保护机制研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ＵＮＩＶＥＲＳＩＴＹＯＦＥＬＥＣＴＲＯＮＩＣＳＣＩＥＮＣＥＡＮＤＴＥＣＨＮＯＬＯＧＹＯＦＣＨＩＭＡ硕±学位论文ＩＭＡＳＴＥＲＴＨＥＳＩＳ（Ｊ爲碱．论文题罔基乎ＨＤＦＳ的数抓该全化护側雜院￣￣￣￣￣—￣．．－－学科专业计算机系统结构学号２０１３２１０６０１：３３＾作者姓名孙就化＂－．－－．■－．ｉ－，Ｊ：：．：一；－又「＿：指导教师Ｔ旭阳副教授；争’国ＩＩ分类号密级注1UDC学位论文基于HDFS的数据安全保护机制研究（题名和副题名）孙琳沁（作者姓名）指导教

2、师丁旭阳副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算机系统结构提交论文日期2016.3.28论文答辩日期2016.5.18学位授予单位和日期电子科技大学2016年06月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。ResearchonDataSecurityProtectionMechanismbasedonHDFSAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerSystemsOrganizationA

3、uthor:SunLinqinAdvisor:A.P.DingXuYangSchool:SchoolofComputerScience&Engineering独剑性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究王作及取得的研究成果。据我所知，除了文中特别加标注和致谢的地方夕ｈ，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同王作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。、＂Ｗ日期＾作者签名；私种；人如年《月巧日论文使用授权本学位

4、论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可＾＾将学位论文的全部或部分内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）、作者签名：林姊＾六心导师签名：Ｖ曰吳月；ｗ年月文义曰ｉ）右摘要摘要随着数据成为一个重要的经济资源，它的安全性、隐私性和正确使用越来越重要。但是目前身份认证，访问控制，异常检测，安全信息和事件管理等国内外主要的大数据安全与隐私的解决方案并没

5、有对数据的生命周期和用户行为进行精确的追踪。溯源通过记录数据产品的演变过程，形成能准确表达数据特征和对象历史的元数据，为数据密集系统中的复杂数据分析与理解提供结构化的指导依据。本文以数据库系统和分布式文件系统HDFS为数据密集系统，数据库文件表和HDFS文件为研究对象，在深入分析国内外数据溯源系统和溯源模型，探讨数据溯源在大数据溯源方面面临的问题与挑战之后，提出将数据溯源应用到大数据安全解决方案中，并设计了大数据溯源系统具体实现方案。本文设计实现的大数据安全溯源系统分为溯源收集及其标准化、溯源压缩、存储中间件和可视化分析四个组件。溯源收集及其标准化组件针对不同的源数据系统

6、，设计了兼容的标准数据采集格式；并实现了数据的远程安全采集，数据版本控制，以及源数据记录到模型的完整映射。溯源压缩组件提出了基于语义的高效的压缩算法解决元数据高效存储的问题。通过对数据系统的记录特征进行深入分析，识别无效数据的基本特征并进行过滤，节省了数据空间；识别重复或相似操作的基本特征，对大量相似操作进行了合并，在减轻系统存储负载的同时，减轻了数据分析的复杂度，优化了数据可视化的速度。存储中间件组件设计了大数据溯源信息存储的可扩展方案，支持不同数据库系统的接入，结构化数据和非结构化数据之间的数据备份和迁移。可视化分析组件实现了大数据溯源的图形数据存储，用户、文件、流程

7、等多个方面数据访问。实现了包括DOT和XML文件在内的数据映射和数据展示，为用户提供丰富、友好、可复用的数据结果。实验结果证明，提出的数据安全保护机制能有效结合HDFS文件系统，充分利用元数据，使文件生命周期及其数据来源，和复杂的历史操作行为变得可核查，为数据保护形成完整的信息揭露和信息推导机制。关键词：大数据溯源，PROV模型，溯源压缩，可视化分析，存储中间件IABSTRACTABSTRACTAsdatahasbecomeanimportanteconomicresource,Pepoleconcentrateonitsse