基于网络爬虫的在线教育平台设计与实现

《基于网络爬虫的在线教育平台设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：１０００４密级：公开ＩＮＧＪ？？讀ＢＥＩＪＩＩＡＯＴＯＮＧＵＮＩＶＥＲＳＩＴＹｉｉ硕±专业学位论文；基于网络爬虫的在线教育平台设计与实现作者姓名房遵堂－进ｘｍｍ培麵软件学院識重！＾？’覇獨醒＾剧朝禪，巧诛霞ｉＩ．——画严——零巧洋乃丹邸墨秦、交道乂攀硕：ｔ专业学位论文基于网络爬虫的在线教育平台的设计与实现ＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＯｎｌｉｎｅＥｄｕｃａｔｉｏｎＰｌａｔｆｏｒｍ目ａｓｅｄｏｎＷｅｂＣｒａｗｌｅｒ作巧：房谨常导师：卢幸

2、教授北京交通大学２０１６年６／］学位论文版权使用授权书本学位论文作者完全了解北京交通大学有关保留。特、使用学位论文的规定授权北京交通大学可Ｗ将学位论文的全部或部分内容编入有关数据库进行检索，提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编Ｗ供査阅和借阅。同意学校向国家有关部口或机构送交论文的复印件和磁盘。（保密的学位论文在解密后适用本授权说明）学位论文作者签名：＾殊麥导ｎ签名；签字日期：Ｍ年＾月签宇Ｕ期；年／月／日学校代码：１０００４密级：公开北京交通大学硕±专业学位论文基于网络爬虫的在线教育平台

3、的设计与实现ＤｅｓｉｎａｎｄＩｍｌｅｍｅｎｔａｔｉｏｎｏｆＯｎｌｉｎｅＥｄｕｃａｔｉｏｎＰｌａｔｆｏｒｍＢａｓｅｄｏｎｇｐＷｅｂＣｒａｗｌｅｒ作者姓名：房理堂学号：１３１２６０６６导师姓名：卢韦职称：教授工程硕±专业领域：软件工程学位级别：硕±北京交通大学２０１６年６月Ｉ致谢、本论文的工作是在笔者的导师卢苹教授的悉屯指导下完成的，卢幸教授严谨的治学态度和科学的工作方法给了笔者极大的帮助和影响、。在此衷屯感谢两年来、卢韦教授对笔者的关屯和指导，尤其在撰写论文的整个过程中，卢華教授给了很一直很关

4、屯、笔者毕业设计的进展多十分有益的建议。邢薇薇副教授也，认真的指一些问题导笔者修改毕业设计中出现的。这些帮助Ｗ及指导使笔者在原定计划内完成毕业设计的同时，巩固及加深了自己的专业知识。另外，还要感谢笔者的企业导师，能够、学院的其他老师Ｗ及笔者的同学们在笔者遇到问题的时候提供力所能及的帮助。同时非常感谢公司的同事，笔者实习期间得到了他们很大的帮助和鼓励，不仅热情指导帮助笔者解决技术难题，而且也教会了笔者很多东西，包括技术领域知识和为人处事方面的道理。最后，还要感谢笔者的家人，他们的理解和支持使笔者能够在学校专也完成学业。北京交通大学硕±专

5、业学位论文＾摘要随着互联网的快速发展，越來越多的传统行业开始与互联网产业相结合。传统的教育模式，，比，可为学生提供良好的现场反馈但是也存在着诸多问题如上课时间、地点的局限性，课程的内容的可选性差Ｗ及教师的专业水平参差不齐等等。线上教育在这些方面具有独特的优势，可Ｗ为学生提供量身定做的课程学习内容。因此，在线教育也成为了如今互联网产业中蓬勃发展的行业。在线上教一，育中，尤其是英文线上教育方面优质的教育资源是吸引学生的个重要内容。一如何获取高质量的学习资源是个难题，而网络爬虫很好的解决了这个难题。—本论文来源于实际工程项目智课网在线教育

6、平台，通过网络爬虫的方式，，对互联网上开源的英文教育资源的获取，并对这些资源进行整合从而得到具有，特色的，、高质量的英文教育资源。首先笔者参与了对获取英文单词相关数据用户练习题目等方面的需求分析Ｗ及后台题库展示的原型界面设计，在设。其次计与实现阶段，笔者独立完成了网络爬虫模块ｅｂ、题库生成模块、Ｗ平台模块的设计和开发，。在测试阶段笔者独立完成了所有平台的功能测试和单元模块测试。Ｆ本文使用了基于Ｐｙｔｈｏｎ的Ｇｍｂ网络爬虫框架和ｌａｓｋ平台框架，结合了通用网络爬虫、主题网络爬虫Ｗ及深层次网络爬虫等不同的网络爬虫手段Ｗ及网络爬虫算法，完成了对

7、互联网上开源英文教育资源的获取，并通过数据的规范化处理和题库的生成，，最终得到了具有特色的英文学习资料和学习题库向用户提供了高质量的英文在线学习平台。目前，该项目正在处于试运行阶段，笔者所负责的模块获取的数据准确，提供的题型基本满足了学生用户的需求，，达到了预期目标平台整体运行稳定。关键词：在线教育；高质量教育资源；网络爬虫；Ｐｙｔｈｏｎｉｉｉ北京交通大学硕上－专业学位论文ＡＢＳＴＲＡＣＴＡＢＳＴＲＡＣＴＷｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐｍｅｎｔｏｆＩｎｋｍｅｔ，ｔｈｅｃｏｍｂｉｎａｔ