改进的安全存储系统在hadoop平台中的应用研究

《改进的安全存储系统在hadoop平台中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中文图书分类号：TP393.0密级：公开UDC：004.77学校代码：10005工程硕士学位论文M.E.DISSERTATION论文题目：改进的安全存储系统在Hadoop平台中的应用研究论文作者：杜江浩领域：软件工程指导教师：何泾沙教授论文提交日期:2016年5月UDC：004.77学校代码：10005中文图书分类号：TP393.0学号：S201325023密级：公开北京工业大学硕士专业学位论文（全日制）题目：改进的安全存储系统在Hadoop平台中的应用研究英文题目：ANIMPROVEDSTORAGESYSTEMBASEDONHADOOP论文作者：杜江浩学科专业：软件工程

2、研究方向：信息安全申请学位：工程硕士指导教师：何泾沙教授所在单位：软件学院答辩日期：2016年6月授予学位单位：北京工业大学独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：杜江浩日期：2016年5月30日关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权保留送

3、交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：杜江浩日期：2016年5月30日导师签名：何泾沙日期：2016年5月30日摘要摘要互联网的发展使得信息的采集和传播达到空前规模。Apache基金会开发的分布式文件系统Hadoop被广泛应用于存储和处理大数据信息。Hadoop技术的主要特点是扩展能力强、成本低和高效可靠。大数据中通常存在着很多敏感数据，需要得到保护，防止泄露。通过对Hadoop框架的研究，发现在Hadoop集群存储敏感数据时，集群不能起到良好的保护机制。当

4、客户端上传敏感信息存储在云端时，存在着很多不安全的因素，存在信息泄露的风险。为了保证敏感数据的安全性，提出了一种基于Hadoop平台的改进的安全存储系统。在客户端发起上传数据操作时，有选择性的针对敏感数据进行加密。当客户端发起下载数据操作时，进行下载解密操作。以上操作针对客户端用户是透明的，使得用户可以方便安全地保存自己的敏感数据。加密方案是通过对称加密方法和非对称加密方法组成的混合加密方案，各组成部分之间使用数字信封来实现相关安全通信操作，在保证了安全性的前提下兼顾了加密解密的工作效率，保证了敏感信息的安全性。加密的同时通过数字签名和MD5算法加入了敏感信息完整度、密钥

5、和信息时间戳等方面的校验机制，保证了敏感信息的时效性和完整性。从集群运行环境的设备安全性角度进行研究，可以发现Hadoop自身不存在个性化的监控机制。通过对Hadoop框架的研究，提出了一种安全有效的监控系统，可以通过管理员自定义监控Hadoop集群的特定指标。也可以自定义监控多个指标来反映集群的整体波动水平，首先采集集群的不同时刻多个指标参数的数据样本，然后计算不同时刻之间数据样本的相似性，数据样本的相似度越高，代表波动水平越小。同理，当样本之间的相似度较低时，代表波动水平较大。当某个指标参数超过管理员自定义的阈值或者多个指标的集合数值超过整体波动值阈值时，触发报警。关

6、键词：信息安全；加密技术；监控系统；相似性；HadoopIAbstractAbstractThedevelopmentoftheInternet，thescaleofinformationcollectionanddisseminationisunprecedented.TheHadoopdistributedfilesystemdevelopedbytheApachefoundationiswidelyusedinstorageandprocessingbigdata.ThemaincharacteristicofHadooptechnologyistheextensi

7、onability，lowcosts，highefficientandreliable.Usuallytherearealotofsensitivedatainbigdata，whichneedtobeprotectedandavoidedleakage.BasedontheresearchoftheHadoopframework，wecouldfoundthatthesensitivedatastoredinHadoopclusterdoesn’thaveaperfectprotectionmechanisms.Therei