内容审计系统的研究与实现

《内容审计系统的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERDISSERTATION（电子科技大学图标）论文题目：内容审计系统的研究与实现学科专业：信息与通信工程指导教师：秦志光作者姓名：刘齐班学号：200820605047万方数据分类号密级UDC学位论文内容审计系统的研究与实现刘齐指导教师姓名秦志光教授电子科技大学成都申请学位级别硕士专业名称信息与通信工程论文提交日期2011.04论文答辩日期2011.05学位授予单位和日期电子科技大学答辩委员会主席评阅人年月日注1注明《国际十进分类法UDC》的类号万方数据独创性声明

2、本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日期：年月日关于论文使用授权的说明本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手

3、段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）签名：导师签名：日期：年月日万方数据摘要摘要随着互联网络的越来越普及，它所覆盖的范围也越来越大，而互联网络传播的信息量每天都在成倍的增长，信息内容也越来越多样化。为了能在数据量庞大，数据种类繁多，分析过程繁琐复杂的情况下，有效的根据用户的任务要求快捷准确的审计出有危害的信息，我们主要针对目前网络上危害性最大的政治、色情和暴力这三类文本，设计开发了有针对性的内容审计系统。本文的主要研究内容包括以下五个方面：1、采用层次分析的方法实现了对未知文本从主题分类到态度倾向性分析的过程。通过对有害信息的介绍，我们发现危害性最大的文本可以归结为三

4、类：政治、色情和暴力；在主题分类的基础上再针对相应的文本进行倾向性分析无疑会缩小范围，提高分析的准确性。2、针对主题分类的特点，本文在分析现有特征选择算法的基础上，设计了一个基于CHI-GA的组合特征选择算法，通过试验分析证实了它的有效性。3、由于采用层次分析的方法，使得针对某一类文本而构造特定的领域极性词典成为了可能，由此可提高文本倾向性分析的准确性。在本系统中我们分别针对政治、色情和暴力这三类文本构建了不同的领域极性词典。4、针对文本倾向性分析的特点和难点，本文结合现有的文本倾向性分析方法，提出了一种基于领域极性词的短语搭配识别方法，并利用识别出的倾向性短语作为特征训练SVM分类器，从而

5、实现文本倾向性识别。试验结果证实取得了良好的效果。5、针对用户要求审计的数据量庞大，数据种类繁多，分析量繁重的问题，我们采用了先进的分布式处理技术，设计了基于插件的C/S体系结构，使得系统的整体架构表现为客户端—服务器端—代理端—插件的层次结构。并在此基础上实现了能在大量文本中高效准确的识别出有害文本的内容审计系统。关键词：内容审计，特征选择，主题分类，倾向性分析，分布式处理I万方数据ABSTRACTABSTRACTAstheInternetbecomesmoreandmorepopular,itcoveragealsomoreandmorelarge.ThespreadofInternet

6、informationinmultiplegrowtheveryday,informationcontentalsomoreandmorediverse.Inthevastamountofdata,varietyofdatatypes,analysisofcomplexcircumstances,inordertoaccordingtouser'staskrequiresquickaccurateauditahazardinformation,wedesignedanddevelopedatargetedcontentauditsystemnetworkatpresent,mainlyfor

7、thebiggestpolitical,harmsexandviolencethesethreetext.Thispaperthemaincontentsincludefiveaspects:1.Adopthierarchicalanalysismethodisrealizedtextsfromunknowntopicstotheprocessofattitudetendentiousnessanalysis