资源描述：
《13面向海量数据处理领域的云计算及其关键技术研究_任崇广》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、目录1绪论21.1课题的背景及研究意义31.2国内外研究现状61.2.1海量数据处理61.2.2云计算研究现状81.2.3海量小文件处理91.3研究内容及主要贡献111.3.1研究内容111.3.2论文组织121.3.3主要贡献132海量数据处理技术分析152.1引言152.2海量数据的产生和特点152.3数据统合处理机制182.4云计算环境下海量数据处理212.4.1云计算相关介绍212.4.2云计算与海量数据处理242.5云计算海量数据处理关键技术262.5.1虚拟化技术272.5.2存储资源分配282.5.3编程方式282.5.4
2、异构数据访问292.5.5数据存储技术292.6本章小结323云计算环境下海量小文件处理模型C-MSFPM333.1引言333.1.1问题描述343.1.2研究内容363.2云平台体系结构363.2.1基本体系结构363.2.2主流云计算平台383.3C-MSFPM模型433.3.1云环境下小文件类别划分及预处理策略433.3.2海量小文件索引结构483.3.3基于就近原则及权值相似度的文件合并算法503.4本章小结514基于C-MSFPM的数据处理524.1引言524.2基于XML和多Value的改进MapReduce处理架构524.
3、2.1MapReduce编程模型524.2.2XML的数据模型574.2.3改进的MapReduce架构算法604.3基于内容依賴的数据査询处理624.3.1PDF格式文档624.3.2复杂任务查询处理664.3.3实验分析684.4基于云平台的车载信息数据处理系统714.4.1处理架构724.4.2数据传输协议754.4.3数据传输分层模型764.4.4实验结果及讨论784.5本章小结805海量数据存储机制研究815.1引言815.2云存储技术概述825.3基于改进遗传算法的存储任务调度机制855.3.1遗传算法855.3.2改进型遗
4、传算法的云存储任务调度875.3.3仿真实验与分析925.4基于改进动态规划的云存储机制965.4.1动态规划算法原理965.4.2改进的动态规划的云存储数据分配975.4.3实验与分析995.5本章小结1011绪论随着信息时代的到来,在许多科学领域中,数据信息呈现出爆炸式的增长。根据IDC(InternationalDataCorporation)的调查显示,截止到2011年,全球信息总量为1.8ZB(ZettaBytes)。IDC预计,到下一个十年(2020年),全球所有IT部门拥有服务器的总量将会比目前多出10倍,所管理的数据将会
5、多出50倍。对于这些大规模、多态性、分布式、非(半)结构化等特性的海量数据,如何对其进行有效地分析与处理,并且从中挖掘出有价值的信息,实现数据统一管理,以使其发挥出最大的效益,是目前实际应用中迫切需要解决的问题。传统的海量数据处理方法主要是釆用并行计算的方式。当前大型并行机主要有:单指令多数据流机SMD(Single-InstructionMultiple-Data)、对称多处理机SMP(SymmetricMulti-Processing)、并行向量处理机PVP(ParallelVectorProcessor)工作站机群COW(Clus
6、terOfWorkstation)分布共享存储多处理机DSM(DistributedSharedMemory)以及大规模并行处理机MPP(MassivelyParallelProcessing)。传统的并行处理方式主要依托高性能计算机,硬件成本过高、并行程序编写困难,一般用户很难操作。其应用范围也非常有限。目前,这种处理方式主要应用于科学计算方面,例如,军事、气象、生物、核科学、高能物理等领域。云计算(CloudComputing)是近年来出现的一个高热度名词,本质上它并不是一个全新的技术。云计算是在分布式计算(DistributedC
7、omputing)、并行计算(ParallelComputing)效用计算(UtilityComputing)以及虚拟化(Virtualization)等技术上发展出来的一个新的技术模式。云计算技术拥有分布式计算,超大规模,虚拟化,高可靠性,高弹性,可扩展,按需服务等特点,能够为海量数据处理提供更为高效的分析以及更好的计算能力。目前,云计算平台主要有亚马逊云计算平台、谷歌云计算平台、IBM“蓝云”计算平台、Eucalyptus、Hadoop等。其中,由于Hadoop在海量数据处理方面具有非常优越旳性能,因此,近几年其已成为最为流行的云计
8、算开发平台之一。本文针对海量数据处理,海量小文件处理以及海量数据存储中目前存在的问题,结合云计算技术中的虚拟化技术、分布式计算技术,以及分布式存储技术等相关理论与技术,构建了云计算环境下的海量小文件处理模型
