分布式存储及其缓存的优化模型研究

《分布式存储及其缓存的优化模型研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文分布式存储及其缓存的优化模型研究作者姓名李谦健工程领域电子与通信工程校内指导教师陆以勤教授校外指导教师罗旭光高级工程师所在学院电子与信息学院论文提交日期2016年3月ResearchonOptimizationModelofDistributedStorageandCacheADissertationSubmittedfortheDegreeofMasterCandidate：LiQianjianSupervisor：Prof.LuYiqinSouthChinaUniversityofTechnologyGuangzhou,China＼分

2、类号：ＴＰ３９１学校代号；１０５６１学号：２０１３２１００９８０６华南理工大学硕±学位论文分布式存储及其缓存的优化模型研究作者姓名：李谦健指导教师姓名、职称：陆勤教授申请学位级别：工程硕±工程领域名称：电子与通信工程论文形式：目产品研发目工程设计应用研究日工程项目管理目调研报告＼＾／研究方向；通信理论与网络技术２？论文提交日期：巧ｉ月日论文答辩日期年Ｊ｛：月Ｗ日．学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：克卿叶‘＾１１．＇４华南理工大学学位论文原创性声明

3、本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加Ｗ标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中明确方式标明。本人完全意识到本声明的法律后果由本人承担。＇作者签名：日期：ｌｏｌｆｃ年３月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，目Ｐ：研究生在校攻读学位期间论文工作的知识产权单位属华南理工大学。学校有权保存并向国家有关部口或机构送交论文的复印件和电子版，允许学位论文

4、被查阅（除在保密期内的保密论文外）；学校可布论Ｗ公学位文的全，、部或部分内容可允许采缩、汇用影印印或其它复制手段保存编学位一论。文本人电子文档内容。的和纸质论文的内容相致：本学位论文于属□保密，在年适。解密后用本授权书密意网上，０不保，同在校园发布供校内师生和与学校有共享协议的单位；志浏览同意将本人学位论文提交中术国学期刊（光盘版）电子杂社ＣＮＫＩ全文出版编入和《中国知识资总库》，传播源学位论文的全部或部分内。容＂＂上Ｖ（请在相应方框内打）：作者签名曰；期．指导教师签名：．日其：パ化王月３ｆ—：作者联系电

5、话电子邮箱：联系地址（含邮编）摘要采用分布式存储实现的存储虚拟化可以提供良好的可靠性、兼容性和容错能力。然而，传统的分布式存储集群主要应用于面向海量数据分析以及对计算和存储资源的调度上，目前将分布式存储用于实现存储虚拟化的研究和实践较少，其原因在于当数据存储从本地硬盘搬移到网络集群，系统的读写性能会受到影响。当采用分布式存储实现存储虚拟化时，为了在保证系统可靠性的同时兼顾读写性能，需要一个良好的缓存系统作为支持。基于此，本文提出了一种分布式多级缓存模型DMCM，用于验证采用分布式存储实现存储虚拟化的可行性。由于HDFS(HadoopDistribute

6、dFileSystem)是一种应用广泛的分布式存储框架，模型选取了HDFS作为后端存储，以内存作为一级缓存、硬盘作为二级缓存，并在HDFS主节点下配置iSCSI服务器衔接HDFS接口，从而实现基于局域网的存储虚拟化。为了改善读写性能，本文制定了模型的缓存替换策略，并设计了基于该策略的索引表结构。本文采用块设备驱动程序和后端调度程序作为模型的实现方案，当用户通过iSCSI客户端上传下载文件时，会触发对块设备的读写请求，并实现数据块在各级缓存的高效调度。为了实现本文提出的分布式多级模型，本文搭建了HDFS集群和iSCSI服务器，在局域网环境下部署了系统，并对系统

7、的读写性能做了测试。对写性能测试了缓存单元大小和单次写入数据对传输性能的影响，发现增大缓存单元可以提高传输速率，在单次写入文件超过20MB时传输速率趋于稳定；对读请求测试了随机访问、局部访问、顺序访问三种模式下的缓存命中率和使用效率，并发现局部访问下系统的性能更优。本文提出的DMCM模型主要解决基于HDFS实现存储虚拟化时在保证可靠性的同时提高读写性能的问题，可以为采用分布式存储实现存储虚拟化提供参考。关键词：存储虚拟化；分布式存储；缓存替换策略；HDFS；iSCSI服务器IAbstractImplementingstoragevirtualizationu

8、singdistributedstoragecanp