新闻数据的分类方法与价值预测的研究与实现

《新闻数据的分类方法与价值预测的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、ＩＨｈＢｕｎｉｖｅｒｓｉｔｙｏｆｅｌｅｃｔｒｏｎｉｃＳＣＩＥＮＣＥＡＮＤＴＥＣＨＮＯＬＯＧＹＯＦＣＨＩＮＡＩ专业学位硕±学位论文ＭＡＳＴＥＲＴＨＥＳＩＳＦＯＲＰＲＯＦＥＳＳＩＯＮＡＬＤＥＧＲＥＥ、｝Ｉ：皂Ｉ１ｊ？ｆ■：论支题目新闻数据的分类方法与价值预测的妍究与实现专业学位类别工程硕壬学号２０１３２２２２０２４０作者姓名杜小清指导教师陈峰副教授分类号密级注1UDC学位论文新闻数据

2、的分类方法与价值预测的研究与实现（题名和副题名）杜小清（作者姓名）指导教师陈峥副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士专业学位类别工程硕士工程领域名称软件工程提交论文日期2016.3.18论文答辩日期2016.4.22学位授予单位和日期电子科技大学2016年6月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。STUDYANDIMPLEMENTATIONONCLASSIFICATIONANDVALUEPREDICTIONOFNEWSDATAAMasterThes

3、isSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:MasterofEngineeringAuthor:XiaoqingDuAdvisor:ZhengChenSchool:SchoolofInformationandSoftwareEngineering独剑性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加Ｗ标注和致谢的地方外，论文中不包含其他人已

4、经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。ｔＵｉ／＾日期作者签名：：＞４年＞月又日＼论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部口或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可将学位论文的全部或部分内容编入有关数据库进行检索，可采用影印、缩印或

5、扫描等复制手段保存、汇编学位论义。（保密的学位论文在解密后应遵守此规定）作者签名：＇ＫＡ导师签名：ｆ中、曰期：茄年＾月ｒ曰摘要摘要随着互联网的发展和普及，网络已经走进千家万户，人们获取新闻资讯的方式逐渐的由传统的报纸、广播、电视等方式向互联网媒体转变。可是面对海量的数据资源，人们往往难以从中筛选出对自己有价值的信息，而且这些庞大的信息如何有效的整合和管理也是个问题。所以为了有效的整合网络新闻资源，以及方便用户简洁而又全面的阅读体验，本系统中设计了一套完整的包含新闻爬取、关

6、联分析、分类以及价值预测的新闻分析系统。主要工作包含以下几个方面：1、在新闻相似性检测方面，实现了基于TF-IDF特征提取和夹角余弦相似计算的新闻相似性度量，通过计算找出内容相似的新闻，根据相似新闻之间的关联关系发现新闻话题，以及根据新闻的发布时间，找出话题的源头等功能。2、在新闻的重复性检测方面，提出了一种基于MinEDD度量的新闻重复性度量方法。为了过滤标记重复新闻，改善用户阅读体验，本系统中还在相似计算的基础上进行新闻的重复性检测。该方法是受传统编辑距离算法的启发而来，在新闻的重复性检测中

7、能够保证更高的检测准确率。3、在新闻分类方面，本文中系统的分析了常用的多分类组合策略的优劣势，结合本项目的特点，提出并实现了一种基于特殊结构的二叉树支持向量机多分类算法BT-ED-SVM的新闻文本自动分类系统。4、在新闻的价值预测方面，结合新闻价值的要素，设计了一套通过百度新闻搜索平台提取与新闻价值相关的特征，并编写定时器自动采集时间序列数据，应用BP神经网络进行预测的新闻价值预测系统。5、基于上述的算法和功能点，实现了一个互联网新闻的分析服务与管理系统。通过该系统能够实现网络新闻的自动增量采集

8、、相似性和重复性检测、分类以及价值预测等功能，能够有效的将互联网新闻资讯进行整合、提高信息使用效率，该平台具有广泛的应用前景和商业价值。目前该系统已经上线运行，已有50万终端用户。关键词：网络新闻，相似性检测，重复性检测，文本分类，价值预测IABSTRACTABSTRACTWiththepopularizationanddevelopmentoftheInternet,thenetworkhasenteredeveryhousehold,andthewayforpeopletogetnewsis