基于hadoop的web信息提取和垃圾信息过滤研究与实现

《基于hadoop的web信息提取和垃圾信息过滤研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERDISSERTATION论文题目：基于Hadoop的Web信息提取和垃圾信息过滤研究与实现学科专业：计算机软件与理论指导教师：傅彦作者姓名：顾涛班级学号：200921060226万方数据分类号密级注1UDC学位论文基于Hadoop的Web信息提取和垃圾信息过滤研究与实现（题名和副题名）顾涛（作者姓名）指导教师姓名傅彦教授博导电子科技大学成都（职务、职称、学位、单位名称及地址）请学

2、位级别硕士专业名称计算机软件与理论论文提交日期2012.4论文答辩日期2012.5学位授予单位和日期电子科技大学答辩委员会主席评阅人2012年月日注1注明《国际十进分类法UDC》的类号万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签

3、名：日期：年月日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）签名：导师签名：日期：年月日万方数据摘要摘要本文从Web信息提取和垃圾信息过滤两个方面的应用来进行研究。Web信息提取，其目的就是从网页中分析提取出用户真正想要的和有价值的

4、信息，排除其他不需要或者无用的信息。网页信息提取已经广泛的应用于搜索、推荐、舆情和数据挖掘等多个领域。随着互联网的发展，互联网的信息日益剧增，海量数据的处理成为了热点。Web垃圾信息过滤，主要是由于论坛、邮件、新闻等等，由于反动、不良信息等等充斥，而产生的应用。这些垃圾信息的泛滥在干扰人们的日常生活的同时，也给社会稳定带来了不利影响。现在垃圾信息过滤，普遍采用机器学习的算法，进行历史垃圾信息数据集的训练，然后对未进行分类的垃圾信息进行识别。对于训练算法，训练集的大小对于实验结果有着较大的影响。本文基于这两方面的

5、应用，首先改进VIPS算法，应用于单个网页的信息提取，然后我们基于Hadoop平台，实现对Web的并行化信息提取，提高信息提取的速度，弥补单机信息提取时有限的系统资源，例如：I/O读写速度、网络速度、打开文件个数、存储空间等等。最后，我们基于Hadoop平台实现多元线性回归算法，对Web文本中的正常信息和垃圾信息的特征关键字属性进行筛选，进行海量数据的训练处理，建立模型，实现对垃圾信息的识别。本文通过实验验证，我们将这两方面的应用与Hadoop平台结合起来，极大的提高了其运算处理的时间性能，取得了理想的效果。关

6、键词：Hadoop，MapReduce，Web信息提取，垃圾信息过滤I万方数据ABSTRACTAbstractInthisthesis,wehavetwoapplicationswhichareWebinformationextractionandspaminformationfilteringasourstudy.WebinformationextractionistoextractreallywantedandvaluableinformationforusersfromWeb,andexcludeothe

7、runwantedoruselessinformation.Webinformationextractionhasbeenusedinmanyareas,suchassearch,recommendation,publicsentimentanddatamining.WiththedevelopmentoftheInternet,theinformationintheInternetissharplyincreasingeveryday,andmassdataprocessinghasbecomeahotpoi

8、nt.Asaresultofwebspaminformationisfloodedintheforums,e-mail,newsandsoon,nowspamfilteringisaveryvaluableapplication.Thefloodedspaminformationnotonlyinterfereswithpeople’sdailylives,butalsohasaneg