高职教育专业教学资源分析

《高职教育专业教学资源分析》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、高职教育专业教学资源分析摘要：笔者详细研究了高职教育专业教学资源搜索引擎的设计与实现，利用分布式爬虫技术，对互联网上的教学资源信息进行爬取、去噪、提炼，获得有效的信息进行保存。同时，建立教学资源的搜索平台，方便学生快速检索网络教学资源。目前，互联网+教育已十分普及，我国网校也达上千家。网校多以考试辅导、专业技能培训为主。此外，还有些人文教育平台，而针对高等教育的平台的建设，目前国内还在起步阶段。目前，国内主要有网易云课堂、慕课网等等平台，这些平台的资源较为分散，学生在寻找相关资料时，也比较费时，影

2、响了学习的积极性和效率。利用搜索引擎的相关知识，搜集互联网上相关的高职教育专业的教学资源，能够有效帮助学生快速找到目标资料。同时，应用积累的数据，建立高职教育专业网络教学资源数据仓库。此外，还可以积累搜索关键词的频率，掌握最受欢迎的学科或学习资料，为教学资源的再生提供方向与引导。1专业教学资源搜索引擎需求分析研究高职教育专业教学资源搜索引擎的主要目的是帮助解决高职院校学生学习资源不集中、大部分学生搜索学习资料的能力有限等问题。高职教育专业教学资源搜索引擎的研究，主要是根据学生输入的搜索内容，将内容

3、进行分割成关键字，利用关键字去各大教学资源站点进行爬虫，将爬出网页资源进行分析，提取网页中的视频资源和其他学习资源，提取资源包含资源下载地址和资源的详细信息。搜索将互联网上的教学资源信息进行爬取、去躁、提炼，获得有效的信息进行保存。各类网页信息的特征不相同，针对不同的网页信息，信息提炼方法也不同。具体的研究目标可以总结如下：（1）建立完备知识库类别；（2）实现资源的共建共享；（3）进行Web集成，展示搜索的教育资源；（4）资源检索，为使用者提供资源库中资源的多种检索功能。2系统设计2.1分布式爬虫

4、架构设计这个模块主要分成两个子模块，爬虫模块和信息分类和提取模块，下面主要介绍爬虫模块。爬虫模块指的是对不同的站点内网页信息进行数据釆集，该部分主要包括爬虫控制模块和爬虫节点模块。（1）爬虫控制模块主要负责对爬虫节点的控制工作，其主要有四个职责：任务调动分配、监测状态、设置参数、通信控制。（2）爬虫节点模块具有网页下载、URL排重和存储（链接管理）、网页解析、数据存储等功能。具体的分布式爬虫架构如图1所示。2.2爬虫爬行搜索策略网页爬虫算法最常见的爬行策略是广度优先遍历和深度优先遍历，它们都是基于

5、图的遍历算法。2.2.1深度优先遍历算法爬虫节点输入开始的URL-A获取网页，分析网页并获取网页中的一个URL-B，再分析根据B获取的网页，并获取一个URL-C，直到网页中没有UR，然后不断处理不同的链路。然而，随着层次的深入，网页的价值和PageRank都会随之下降。这表示价值越高的网页距离种子网页越近，层次越深则其价值越低。2.2.2广度优先遍历算法从起始网页A开始，先抓取该页面的所有页面，然后从页面A中选择一个，继续抓取该页面的所有URL，然后在页面A重新选择一个URL，如此抓取页面中的所有

6、链接页面。本系统的爬虫主要使用广度优先遍历算法，首先，互联网的网页相互连通，最大的链接深度可以达到17层。因此，从网页A到网页B会存在多条路径，需要考虑最短路径的问题，若使用深度优先，会有从低PageRank值到高PageRank值的过程的情况出现，计算PageRank的值比较复杂。而广度优先可以很方便实现并行操作，对于同一个网页上的链接可以通过并行操作提高爬行速度。2.3分布式任务调度策略分布式任务调度数据采集有三种方式：动态、静态和独立。爬虫节点间相互独立是不切实际的，如果采用动态任务分配的模

7、式，爬虫任务集合的划分比较简单，容易维护，确保节点资源最大化被运用到，但是如果考虑到各个爬虫节点机器性能间的差异，动态分配会增加爬虫节点和控制节点的通信数据量，节点的网络带宽负载会过大。静态任务分配模式的思想是根据初始的机器节点的数量，将所有的任务分成N个子集，之后将任务子集提前根据机器性能手动分布相应的爬虫节点，任务分配，节点各自执行各自的任务，互不干涉。静态任务分配的策略有：基于站点名称、基于URL、随机划分。本研究中采用的按站点进行任务划分的静态划分方式是三种方式中最佳的。2.4资源管理平台

8、网络教学资源共享平台是高校数字化学习体系的一部分，高职教学资源库具有强大的资源查询与管理功能。我的资源库模块，可以集中、方便地维护个性化资源。快速浏览模块，可以查询所有资源库的资源，包括开放课程与精品课程中的预置资源及专题库中的本校自建资源。开放课程&精品课程模块，可以查询系统中预置的资源（提前爬虫入库的资源），包括全球开放课程、全国精品课程、清华精品课程、视频资源等。专业资源模块可以查看本校各院系专业所关联专题库中的资源。通知公告模块，用于管理资源库首页公布的通知公告。专题库模块