基于Hadoop平台的教育资源垂直搜索系统的设计与实现毕业答辩

《基于Hadoop平台的教育资源垂直搜索系统的设计与实现毕业答辩》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于Hadoop平台的教育资源垂直搜索系统的设计与实现答辩人：导师：2021/6/19基于Hadoop平台的教育资源垂直搜索系统的设计与实现内容概要总结与下一步工作系统的实现关键技术阐述基于Hadoop平台的MDVSP模型研究的背景、现状和目标2021/6/19基于Hadoop平台的教育资源垂直搜索系统的设计与实现研究的背景、现状和目标背景互联网的信息量呈爆炸趋势增长,数量的增加带来的是搜索服务品质的下降,并且查询的结果里存在大量的重复信息和垃圾信息,用户的查询效率非常低。互联网已经成为基础教育领域的广大教育工作者、学生和家长们获取基础教育资源和信息的重要工具，那么在网

2、络的发展客观上就需要有能够满足这一特定领域、特定人群或者说是特定需求的网站。2021/6/19基于Hadoop平台的教育资源垂直搜索系统的设计与实现研究的背景、现状和目标现状信息过量。网上资源内容广泛,通用搜索引擎返回的大量信息过多过杂,专业性不强.使用户淹没在海量信息里，筛选信息需要耗费大量的精力。信息准确度低。由于通用搜索引擎强调通用性，检索范围广，对资源没有筛选分类，资源索引库十分庞杂，很难满足特定用户群的特定需求。信息服务缺乏针对性，缺少用户交互。通用搜索引擎检索结果完全依赖于用户的关键词，即对于不同的用户，同一个关键词返回的结果相同，没有与用户联系起来，难以满

3、足用户的个性化需求。2021/6/19基于Hadoop平台的教育资源垂直搜索系统的设计与实现研究的背景、现状和目标目标提高教育领域搜索内容的准确率和搜索引擎的计算效率。熟悉Hadoop分布式集群的整体框架，包括其存储模式和计算模型。基于Hadoop，定制Map/Reduce和强大的容错机制，定义和实现数据接口。耦合原始数据预处理和Hadoop,解决名称节点的单点故障等问题。基于Hadoop分布式平台，结合教育资源垂直搜索领域，设计出搜索效率、准确率较高的垂直搜索引擎。2021/6/19基于Hadoop平台的教育资源垂直搜索系统的设计与实现内容概要总结与下一步工作系统的实

4、现关键技术阐述基于Hadoop平台的MDVSP模型研究的背景、现状和目标2021/6/19基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的MDVSP模型HDFS体系架构2021/6/19基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的MDVSP模型HDFS体系架构Hadoop的分布式文件系统被设计为将海量文件遍布存储在一个大集群的多台计算机上。HDFS的设计是受到了GFS的启发。HDFS将每一个文件以分块序列的形式进行存储，一个文件的所有分块除去最后一个分块外都是等大小的。为了实现容错将文件分块进行自动复制。文件分

5、块的块大小和复制比例都是可以按照单个文件进行配置的。HDFS中的所有文件都是“只写一次”并且严格限定在任何时候只有一个写文件操作者。2021/6/19基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的MDVSP模型HDFS体系架构和HadoopMap／Reduce类似，HDFS也是主／从架构。一个安装好的HDFS包括一个单独的名称节点，一个主服务器用于文件系统命名空间管理和客户端的文件访问管理。除此之外，还有很多个数据节点，在集群中的每个节点都有一个数据节点用于存储该节点运行时的数据。名称节点通过RPC接口支持文件系统命名空间中文件和目录的打开

6、、关闭和重命名等操作。它也决定了数据块和数据节点的映射关系。数据节点负责提供文件系统客户端的读写请求，除此之外也提供来自名称节点的数据块创建、删除和复制指令。基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的教育资源垂直搜索系统的设计与实现2021/6/19基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的MDVSP模型Map/Reduce执行流程2021/6/19基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的MDVSP模型Map/Reduce执行流程分割文件(fork)。首先，将众多文件

7、分成大小不等的若干小块数据，数据块大小由用户给定参数控制，然后启动机器集群中的众多程序拷贝。指派Map/Reduce任务主程序指派空闲的工作站程序执行Map任务或是Reduce任务。读取(read)被指派执行Map任务的工作站读取相关的数据块，从原始数据中解析出Key/Value对，经过Map函数处理，得到中间键值时，存入内存缓冲区。2021/6/19基于Hadoop平台的教育资源垂直搜索系统的设计与实现基于Hadoop平台的MDVSP模型Map/Reduce执行流程本地写(1ocalwrite)内存中的数据组被划分函数周期性的划分到R个