网上新闻资源自动采集系统

《网上新闻资源自动采集系统》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、毕业设计（论文）开题报告材料1、开题报告2、文献综述3、文献翻译1.综述本课题国内外研究动态，说明选题的依据和意义随着互联网技术的迅猛发展，人们获取资讯的方式不再是仅仅从报纸或者电视。更多的人选择上网浏览或者是通过手机获取。相比前面的两种方式，后者更具及时性，而且信息量更大，传播范围更广。从而衍生了第五媒体的说法，这也带动了相当的周边产业的发展。而这些优点的体现同样需要一个强大的技术平台和相当数量的工作人员来支撑，本文将通过对资源采集系统的介绍，为构建这样一个低成本的信息共享平台提供建议。1.新闻

2、采集系统的现状动态网页技术的出现彻底的改变了传统互联网的模式。它让站长可以更加轻松的更新站点的内容信息。同时也让网络的应用变得更加丰富。以动态网页技术实现的应用如雨后春笋般出现。新闻采集系统也在那个时期开始发展。从最初的ASP版本到现在的多元化语言的版本，虽然架构一次次被更新，功能越来越完善，当然系统的设计目标始终都没有发生改变，实现资源的自动采集来减少人工录入所增加的成本。如今，新闻采集系统技术已经非常成熟。市场的需求量也非常大。在百度中输入“新闻采集系统”可以搜到近393,000条信息，可见这

3、一应用的广泛程度。特别是一些新兴的站点，主要以广告盈利为目的，如果使用新闻采集系统那可以让站长不用去操心如何更新网站内容，一但架设好就几乎可以“一劳永逸”了。2.项目提出的背景通常对于新闻类专业或者大型的门户网站，都拥有自己的新闻渠道或者专门的采编人员，这往往需要很高的成本。新闻采集系统（手机应用版）用于在资源相对匮乏的情况下，使用程序的方式来进行远程抓取。在没有人工干预的情况下可以实现自动采集和资源的共享。一方面可以保证信息更及时更有效，另一方面可以提高工作效率和减轻编辑的负担。为企业提供可靠的

4、信息来源和降低相当的成本。3.主流系统的分析总的来说目前的新闻采集系统已经比较成熟，主流的新闻采集系统基本上可以实现以下功能：1.对目标网站进行信息自动抓取，支持HTML页面内各种数据的采集，如文本信息，URL，数字，日期，图片等。2.用户对每类信息自定义来源与分类3.支持用户名与密码自动登录4.支持记录唯一索引，避免相同信息重复入库5.支持智能替换功能，可以将内容中嵌入的所有的无关部分如广告去除6.支持多页面文章内容自动抽取与合并7.支持下一页自动浏览功能8.数据直接进入数据库而不是文件中，因此

5、与利用这些数据的网站程序或者桌面程序之间没有任何耦合9.支持数据库表结构完全自定义，充分利用现有系统10.保证信息的完整性与准确性，绝不会出现乱码11.支持各种主流数据库，如MSSQL、Access、MySQL、Oracle、DB2、Sybase等4.讨论的范围上面讨论的新闻采集系统与本文所讨论的略有不同，主要是我们的目标有些差别。传统的新闻采集系统都是基于WWW网站。采集的困难程度要略高与WAP网站。因为WWW网站页面内容相对复杂而且更加丰富，最重要的是它没有类似XML的约束性，网页源文件的格式

6、内容可能会因为编写人员的疏忽存在很多错误，这将导致我们在抓取的时候可能会碰到很多解析问题，比如符号的丢失，不能匹配等等，对于采集系统最重要的是能够匹配到想要抓取的内容，如果不能解析网页的源代码不能建立完整的目录树，也就是结构不完整这将很可能造成我们在采集特定内容的时候出现偏差或者采集不成功。所以，对于采集WWW的网站不光需要采集程序的规则编写者有一定的判断力，而且要求网站的编写人员能够按照W3C规范来编写页面。但是，现在的情况是往往用户的浏览器能排除大量的错误，所以会给真正的开发人员一个错误的信号

7、认为自己的页面没有问题，这时候我建议将页面提交到W3C的检验工具来进行检测，这是一个相对繁琐的步骤。WAP网站的优势这时候就体现出来了，因为它严格遵守这些规范，如果出现标记不能匹配或者是不能识别的标签时将会报错，这对于测试人员来说无疑是个好消息，这将大大的降低测试的成本，加快项目的建设。对于采集程序的开发者来说也绝对是个好消息，我们在编写规则的时候就无须考虑太多意外的情况，这为我们这个项目的提出也奠定了一定的基础。当然，随着手机上网的普及和3G网络的建成，越来越多的人已经开始习惯使用手机来获取信息

8、，这已经成为一个趋势，可能在未来的什么时候电脑也将被手机所代替，无线网络最终将代替现有的电缆线路。我们抓住这个形式，将要开发基于手机浏览器平台的浏览内容，我们采集的对象也是WAP网站，可以将内容无缝嵌入到现有的栏目中，真正实现即抓即用。2.研究的基本内容，拟解决的主要问题1.功能规划1.新闻采集采集系统的运行过程是个根据任务列表不断的读取目标站点，采集需要的信息的一个过程。在读取新闻的时候需要维护一个连接，需要分析各种各样的网络连接状况，而系统的维护人员需要针对专门的页面定制一套规