基于云计算的海量信息存储处理系统的设计与实现

《基于云计算的海量信息存储处理系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学号：23620111002论文密级：公开中图分类号：TP302.1学科分类号：085211学校代码：90005工程硕士学位论文基于云计算的海量信息存储处理系统的设计与实现论文作者：宋斌指导教师：顾纯祥副教授申请学位：工程硕士学科名称：计算机技术研究方向：计算机网络论文提交日期：2014年9月20日论文答辩日期：2014年12月8日解放军信息工程学网络空间安全学院二○一四年九月万方数据ADissertationSubmittedtoPLAInformationEngineeringUniversityfortheDegreeofMasterofEngineeringThedesignand

2、RealizationofthemassiveinformationstorageandprocessingsystembasedonCloudcomputingCandidate：SongbinSupervisor：ViceProf.GuChunxiangSep.2014万方数据原创性声明本人声明所提交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表和撰写过的研究成果，也不包含为获得信息工程大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并标

3、示谢意。学位论文题目：基于云计算的海量信息存储处理系统的设计与实现学位论文作者签名：日期：年月日作者指导教师签名：日期：年月日学位论文版权使用授权书本人完全了解信息工程大学有关保留、使用学位论文的规定。本人授权信息工程大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密学位论文在解密后适用本授权书。）学位论文题目：基于云计算的海量信息存储处理系统的设计与实现学位论文作者签名：日期：年月日作者指导教师签名：日期：年月日保密级别：保密年限：年月至年月

4、（保密委员会公章）万方数据摘要基于云计算的海量信息存储处理系统是一个复杂的系统，其设计与实现也是一个高新的科研领域。本文对此进行了比较系统的研究与实现。基于云计算的海量信息存储处理系统的设计目标是以云计算平台作为基础设施和共性支撑，利用虚拟化，分布式存储计算等技术，实现对资源池的划分、系统资源共享、资源动态调配及统一集中管理，提升目前信息系统的互连互通能力、信息资源的协同共享能力和海量数据分析处理能力。以企业局域网和数据中心基础建设为依托，以私有云的服务方式提供各种资源的共享利用，以应对海量数据分析处理工作快速变化为需求。本文研究的主要内容包括基于云计算的海量信息存储处理系统的设计思想、工

5、作原理、体系结构、关键技术及实现方法。论文首先分析了云计算发展现状和趋势，归纳总结了相关技术及研究成果。然后结合实际应用需求和技术条件，提出了系统设计思路和解决方案。将复杂的系统分为基础平台、数据接入、数据管理、运维管理、数据访问和数据分析处理6个子系统，论文按照设计思路，对每个子系统的服务功能、软硬件组成、工作原理和实现方法等结合图表进行了详细的论述。其次对系统设计中关键技术的实现和主要问题的解决途径进行了归纳和总结。最后从系统总体性能指标和实现功能两个层面展开了测试验证和评估总结。本文的创新性贡献如下：（1）提出了一套完整的以云计算平台为基础设施和共性支撑，利用虚拟化、分布式存储计算等

6、技术，实现对资源池的划分、系统资源共享、资源动态调配及统一集中管理的海量信息存储处理系统解决方案，有效解决了海量数据存储及分析处理难题。能够用以帮助企业尽快获得大数据分析最佳实践经验，尤其是如何平衡已有的系统和新近的工具及技术，并从中做出准确及时的决策，快速定制开发自己的云计算产品。（2）系统继承原有存储系统在存储管理体系架构方面的优势，结合当前云计算技术特点，针对海量信息数据，采用了弹性化存储管理架构。一级存储区可动态扩展，二级存储区可按需在线横向扩展，并且存储访问性能也能够线性增加。（3）系统设计采用了一种简便可行的云服务资源动态控制方法。通过系统在线监测分析预警管理，实现服务节点的资

7、源调度和控制，达到控制整个系统正常运行的目的。适用于基于数据中心的云计算服务系统动态资源管理与调度。（4）系统设计采用了一种基于SaaS（软件即服务）服务的负载均衡调度机制，构建基于分类数据划分的区域共享数据存储模式，结合数据处理操作记录信息以及服务间的关联信息，给出了不同事务数据操作服务负载调度分配方法，大大提高了系统的执行效率。关键词：云计算，虚拟化，分布式计算，海量信息存储处理，信息抽取，数据挖掘，智能搜索，集群第