基于web爬虫的课程推荐系统研究

《基于web爬虫的课程推荐系统研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Web爬虫的课程推荐系统研究李慧2016年1月中图分类号：TP39UDC分类号：基于Web爬虫的课程推荐系统研究作者姓名李慧学院名称计算机学院指导教师宋晔（副教授）答辩委员会主席朱振峰（教授）申请学位工学硕士学科专业软件工程学位授予单位北京理工大学论文答辩日期2016年1月CourseRecommendationSystemResearchBasedonWebCrawlerCandidateName:LiHuiFacultyMentor:SongYeDegreeby:BeijingInstituteofTechnologyTheDateofDefenc

2、e:January，2016研究成果声明本人郑重声明：所提交的学位论文是我本人在指导教师的指导下进行的研究工作获得的研究成果。尽我所知，文中除特别标注和致谢的地方外，学位论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京理工大学或其它教育机构的学位或证书所使用过的材料。与我一同工作的合作者对此研究工作所做的任何贡献均已在学位论文中作了明确的说明并表示了谢意。特此申明。签名：日期：北京理工大学硕士学位论文摘要本文以《基于云平台的网络影视在线教育培训系统》研究项目为背景，探索社会热点与网络教学相融合的新模式，实现根据最新热点推荐相关网络课程的目标

3、。针对新闻内容的获取问题，本文重点对网络爬虫技术进行了分析和研究，设计并实现了基于Scrapy爬虫框架的新闻站点抓取方案，达到快速抓取结构化新闻数据的目的。针对海量新闻的持久化存储问题，本文应用基于Hash的MongoDB分片技术，实现多台服务器间的负载均衡，有效缓解了数据库服务器的存储压力。对于社会关注热点的提取问题，应用基于TF-IDF算法的关键词抽取方法实现对新闻特征的提取，并综合新闻自身权重及关键词TFIDF值，实现热点获取并保证其准确性及有效性。针对相关课程推荐的问题，利用Solr搜索引擎技术，根据热点检索教学平台中的相关主题课程并做推荐，实现热

4、点与网络教育的有机结合，最终达到调动学生积极性并提高教学效果的目的。论文首先详细阐述了网络爬虫、NoSQL数据库、文本分析等相关技术。其次，根据课程推荐系统的项目需求，对Scrapy爬虫框架进行了深入研究，对Redis和MongoDB数据库进行了重点分析，设计并实现了针对新闻门户网站的定向爬虫。然后，对热点提取方法及Solr搜索引擎技术展开了探索，完成了对新闻热点的获取，并实现热点相关课程的推荐。最后，对系统做了整体测试及结果分析，并对论文中的各项工作进行了总结。关键词：Scrapy框架；中文分词；关键词抽取；新闻热点提取；课程推荐系统I北京理工大学硕士学

5、位论文AbstractTaken“theonlineeducationandtrainingsystembasedonthecloudplatform”researchprojectasthebackground,thispaperexplorethenewpatternofintegrationofsocialhotspotsandnetworkteaching,toachievethegoaloftherelevantcoursesrecommendedaccordingtothelatesthotspots.Aimingattheproblemofo

6、btainingnewscontent,thepaperfocusesontheanalysisandresearchofthewebcrawlertechnology,designedandimplementedanewssitecrawlerbasedonScrapycrawlerframework,toachievethepurposeoffastcapturingstructurednewsdata.Forthepersistentstorageofmassivenews,thispaperusestheMongoDBslicetechnology

7、toachievetheloadbalancebetweenmultipleservers,andeffectivelyeasethestoragepressureofdatabaseserver.Fortheextractionofhotspotsofsocialconcern,usethekeywordextractionmethodbasedonTF-IDFalgorithmtoextractthecharacteristicsofthenews,andoverallconsidersthenewsweightandtheTFIDFvalueofea

8、chkeywordstoachievethehotspotsand