基于mapreduce海量教学资源存储模型研究

《基于mapreduce海量教学资源存储模型研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于MapReduce海量教学资源存储模型研兜摘要：本文在研究了MapReduce算法基本原理及应用的基础上，针对当前海量教学资源存储的需求，应用了一种基于云计算环境下优化的MapReduce计算模型，通过测试比较改进前后的MapReduce算法模型数据处理性能，实验证明了改进型MapReduce算法模型提高了海量教学资源数据存储模型的存储能力和计算性能。本文采集自网络，本站发布的论文均是优质论文，版权和著作权归原作者所有。Abstract:Basedonthestudyofthebasicprincipleandapp

2、licationofMapReducealgorithm，inviewofthecurrentstoragerequirementsofmassiveteachingresources，anoptimizedMapReducecomputingmodelbasedoncloudcomputingenvironmentispresented.ThroughtestcomparisonofdataprocessingperformanceoftheimprovedMapReducealgorithm,theexperimen

3、talresultsshowthattheimprovedMapReducealgorithmimprovesthestoragecapacityandcomputingperformanceofthestoragemodelofmassiveteachingresources.关键词：教学资源；存储；MapReduceKeywords：teachingresources；storage；MapReduce中图分类号:TP391.3文献标识码:A文章编号：1006-4311(2017)08-0247-021教学资源教学资

4、源是指高校在教学信息化过程中为教学活动的必要电子材料。一般来说，教学资源是指在教学过程中教学的所有元素，这些主要包括支持教学的信息化数据以及在教学和服务教学的，资金，素材，信息等等。在本文中，教学资源主要是指教学或学习材料，包括媒体资源、试题库、试卷、课件、在线课程等，可以帮助教师和学习者更好的利用教学以及学习知识的信息化数据。2MapReduce的优化MapReduce算法框架首先是由Google提出来的一个分布式计算体系结构，它能够支持大型分布式海量数据处理和分析。这种架构最初起源于两个函数的map和reduce函数

5、式编程模式，但他们的应用程序在最初的算法架构以及原始模型当中进行使用。一个典型的Map/Reduce过程一般有下列几个阶段，如图1所示。虽然MapReduce算法对海量数据存储以及处理方面的优势很大，但是针对高校的海量数据存储的特点，以及当前海量数据存储的需求，MapReduce在处理数据的时候过于繁琐，例如自动并行化数据处理、负载均衡以及设备资源的管理等都得占用计算?C资源。优化的MapReduce的生成方案中可以分为两个部分，分别是第一次的MapReduce算法计算以及第二次的MapReduce分类存储计算。在第一次

6、的MapReduce算法计算当中，首先是把要上传的数据通过Map函数的这个阶段数据的索引词频率计算出来，然后输出对应的数据流当中去，然后再通过Reduce函数来对相应的数据流进行输入，最后再来把计算好的数据记录生成最终的数据记录集合。这样，在第二次MapReduce计算的过程中，再通过对每个数据进行设计相应的权重阈值作为权值，最后再来通过这个权值阀值来进行二次分类，从而提升数据的存储能力以及大大提升访问的速度。优化的MapReduce算法模型如图2所示。3测试分析3.1测试环境所搭建环境具体需求如下：①硬件环境：Mast

7、er（主节点）1台、Slave（子节点）3台。②软件环境：操作系统：Cent0S6.5，集群的主要软件：lladoopl.2.1、DK1.6.022、Vmwareworkstation和Eelipse3.2O3.2hadoop平台搭建采用四台服务器来搭建hadoop集群并部署存储模型进行功能、性能等测试，主节点服务器（roaster）的IP地址为：192.168.1.2（下面简称master）,子节点1:192.168.1.3（下面简称slavel）,子节点2:192.168.1.4（下面简称slave2），子节点3:1

8、92.168.1.188（下面简称slave3），架构规化如下：master作为NameNode,SecondaryNameNode,JobTracker；slavel、slave2以及slave3用来作为DataNode,TaskTracker。3.3实验结果由于实验条件限制，在搭建Hacloop分布式集群的时候，