互联网有害节目信息数据监测系统的设计与实现

《互联网有害节目信息数据监测系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文（工程硕士）互联网有害节目信息数据监测系统的设计与实现DESIGNANDIMPLEMENTATIONOFDATA MANAGEMENTSYSTEMOFTHEHARMFUL INTERNETVIDEOINFORMATION谷天宇2010年8月国内图书分类号：TP311学校代码：10213国际图书分类号：621.3密级：公开工程硕士学位论文互联网有害节目信息数据监测系统的设计与实现硕士研究生：谷天宇导师：张宇副教授副导师：高立琦高级工程师申请学位：工程硕士学科、专业：软件工程所在单位：软件学院答辩日期：2010年8月授予学位单位：哈尔滨工业大学Clas

2、sifiedIndex：TP311U.D.C.:621.3DissertationfortheMaster’sDegreeinEngineeringDESIGNANDIMPLEMENTATIONOFDATAMonitoringSYSTEMOFTHEHARMFULINTERNETVIDEOINFORMATIONGuTianyuCandidate:Supervisor:AssociateProf.ZhangYuAssociateSupervisor:AcademicDegreeAppliedfor:Speciality:Affiliation：Sr.Enginee

3、rGaoLiqiMasterofEngineeringSoftwareEngineeringSchoolofSoftwareDateofDefence:Aug,2010Degree-Conferring-Institution:HarbinInstituteofTechnology哈尔滨工业大学工程硕士学位论文摘要随着互联网信息的海量增长，色情、暴力、反动等有害信息也随之剧增，其有害性体现在破坏社会稳定、毒害青少年心灵、误导群众等方面。在所有互联网的传播手段中，视频节目以其直观性、吸引人等特点，成为了有害信息传播的主要手段。面对新的形势，尤其是针对互联网的海量

4、信息这一特点，人为的发现和甄别有害信息已经变得不现实，需要借助于计算机进行统计。视频节目的特点是存储成本高、识别难度高以及识别效率低等特点，同时由于大部分视频的文本、标签等文本信息能较为准确反映视频信息的内容，本次实现将从视频节目的文本信息入手，对其有害性进行判别。设计部分确定以支持向量机、N元语言模型为主要技术手段，通过网络爬虫对互联网视频节目的文本信息进行网络抓取，通过中文分词和索引对文本信息进行预处理，通过文本分类和聚类分析对数据进行分析，最后通过三层结构将数据展示给用户。论文实现部分主要依据统计自然语言处理，通过网络爬虫对互联网信息抓取，对抓取结果将进

5、行分词处理，通过基于关键词进行的聚类分析实现减小系统的工作负担，应用支持向量机进行文本分类，从而确定互联网信息的有害程度。通过对视频热度的监测查看出其对社会的危害程度，从而给检测者提供出决策的依据。该系统对于促进加强互联网信息监管，组织力量展开信息整理和深入分析，应对网络突发的公共事件，全面掌握社情民意都有着积极的推动作用。关键词有害节目；支持向量机；N元语言模型；中文分词-I-哈尔滨工业大学工程硕士学位论文AbstractAstheinternetinformationrapidlygrowing,theharmfulinformation,suchasob

6、sceneinformation,violenceinformation,reactionaryinformation,andsoon,hasalsoswiftgrowth.Inallthemeansofspreadinginternetinformation,videoisbecomingthemainonebecauseofitscharacteristicssuchasintuitivenessandattraction.Tofacethenewcircumstances,discoveryandscreeningthelargeamountofnega

7、tiveinformationbyhumanbecomesunrealistic.Soweshouldgethelpfromcomputer.Thecharacteristicsofvideoinformationishighstoragecost,difficulttodistinguish,andinefficiencyfordistinguish.Andallmostofvideo’stextandlabelcanreflectthevideo’scontenttruly.Accordingly,themainmethodtoanalyzetheharm

8、fulinformationisana