基于主题网络爬虫的科研信息管理系统的研究与实现

《基于主题网络爬虫的科研信息管理系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、＇ｉ‘：等，ｉ妈真密级：保密期限：＊－－．．告氣乂婆＼硕±学位论文基于主题网络爬虫的科研信息管理系统的研究与实现ＲｅｓｅａｒｃｈａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＳｄｅｎｔｉｆｉｃＲｅｓｅａｒｃｈＩｎｆｏｒｍａｔｉｏｎＭａ凸ａｇｅｍｅｎｔＳｙｓｔ：ｅｍＢａｓｅｄｏｎ化ｅＴｏｐｉｃＣｒａｗｌｅｒ学号Ｅｌ３３０１０８５姓名趋庆爱工程硕±学位类别．．媒计算機术ｆｉ导教师张燕平完成时间２０１６年９月纖ｕｍ］．广，■＊．－．．

2、■．。独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的加标注和致谢的地方外，论文中不包含其研究成果，除了文中特别。据我所知他人己经发表或撰写过的研究成果，也不包含为获得安徽大学或其他教育机构的一同工作的同志对本研究所做的任何贡献均已学位或证书而使用过的材料。与我在论文中作了明确的说明并表示谢意。曰：心《年月八曰学位论文作者签名：签字期学位论文版权使用授权书本学位论文作者完全了解安徵大学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借

3、Ｌ乂将学位论文的全部或部分内容编入有关数据库进行检阅。本人授权安徽大学可索，可Ｌ乂采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）＾导师签省：学位论文作者签省：广八＞曰：年／／月曰／／年Ｗ月日签字期签字曰期：摘要随着信息管理技术的应用越来越广泛、越来越深入，科研信息管理系统在实＾施技术上越来越成熟。１＾１往的科研信息管理系统只是将现有的信息录入并保存在，对后系统数据库中，所保，并没有对信息进行有效性验证存的信息可能不准确续的科研王作总结。、考核等带来很多不便本文系统是基于主题

4、网络爬虫技术实现科研信息资源的搜索、抓取和分类等功能，实，并，通过将信息分类存储到本地资源服务器现对科研信息的验证实现对下载资源的添加与删除管理。通过对己下载资源的检索，能够有效地避免重复下载相同的信息资源。该系，为科研信息的管理和验证工作提供有效的数据支撑统Ｗ实际应用为开发背景，利用软件工程原理、软件开发方法Ｗ及利用ＡＳＰ．Ｎｅｔ一技术构建了个基于Ｂ（浏览器／服务器）模式的科研信息管理系统。本文的重／Ｓ一点和难点在于对科研信息管理系统中信息验证的关键技术的研充及实现，提出一种适用于主题网络爬虫的科研信息管理系统模型，设计出套相对完

5、整、可行性较高的解决方案。本文对网络爬虫和科研信息管理进行深入研巧，目的是建立基于主题网络爬虫的科研信息管理系统，该系统要求能够实现对科研信息进行管理，并实现对科研信息的验证，本文的主要研究内容如下：１在现有科研信息管理系统基本没有信息验证的背景下，本文将主题网络爬虫技术引入到信息管理系统中，结合主题网络爬虫技。在系统需求分析的基础上术，讨论了系统中主题网络爬虫在信息检索、信，给出详细的系统设计解决方案息下载。、信息保存等方面的功能和实现方法２针对主题网络爬虫，本文在充分研究传统网络爬虫的架构及其工作原理的一基础上、网页内

6、容的，进步对网络爬虫的实现进行深入研巧，包括网页的解析提取等，然后针对科研信息管理的功能特性，选择向量空间模型为爬虫的基准模。型，并在此基础上设计出基于网页内容的网络爬虫捜索策略３在需求设计和详细设计的基础上，开发实现基于主题网络爬虫的科研信息管理系统。该系统引入主题网络爬虫技术，在爬取的同时对动态交互节点进行分Ｉ一主题相关的信息存储在本地服务器，析个验证过程，将经过验证后与，并通过能够较好的实现科研信息的验证功能。关键词：网络爬虫；资源检索；向量空间模型：科研管理ＩＩＡｂｓｔｒａｃｔＷｅｄｅｖｅｌｏｍｅ打ｔｏｆ

7、化ｅａｌｉｃａｔｉｏｎｏｆｉｎｆｏｒｍａｔｉｏ打ｍａｎａｅｍｅｎｔｔｅｃｈｎｏｌｏｉ也也ｐｐｐｇｇｙ，ｔｈｅｉｍｌｅｍｅ打ｔａｔｉｏ打ｋｃｈｎｏｌｏｏｆｓｃｉｅｎｔｉ巧ｃｒｅｓｅａｒｃｈｍａｎａｅｍｅｎｔｉｎｆｏｒｍａｔｉｏ打ｓｓｔｅｍｐｇｙｇｙｅｃｏｍｉｎｒｅａｎｒｅｍａｔｕｒｅ．ｆｏｒｍａｏｎｏｆｅｓｅｅｘｓｔｓｅｉｓｂｇｏｄｍｏＩ打ｔｉｔｈｉｉｎｓｔｍｓｉｓｓｆｅ）ｒｅｄｉｎｍｇｙｄａｔａｂａｓｅｓｓｔｅｍａｎｄｔｈｅｖａｌｉｄｉｔｏｆｉｎｆｏｒｍａｔｉｏｎｉｓｎｏｔｖｅｒｉｆｉ

8、ｅｄｉｎｅｎｅｒａ．