基于一类svm的网络不良信息过滤算法研究

《基于一类svm的网络不良信息过滤算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、申请上海交通大学硕士学位论文基于一类SVM的网络不良信息过滤算法研究学校：上海交通大学院系：信息安全工程学院硕士生：丁霄云班级：B1103691学号：1110369004专业：信息与通信工程导师：刘功申上海交通大学信息安全工程学院2013年12月万方数据ADissertationSubmittedtoShanghaiJiaoTongUniversityforMasterDegreeofEngineeringAresearchonthefilteralgorithmofspaminformationbasedonone-classSVMAuthor：

2、XiaoyunDingSpecialty:InformationandCommunicationEngineeringAdvisor:AssociateProf.GongshenLiuSchoolofInformationSecurityEngineeringShanghaiJiaoTongUniversityShanghai,P.R.ChinaDecember,2013万方数据万方数据万方数据上海交通大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任

3、何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日万方数据上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本学位论文属于不保密□。（请在

4、以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月万方数据上海交通大学学术硕士学位论文摘要基于一类SVM的网络不良信息过滤算法研究摘要互联网的高速发展使得通过网络传输的文件监控和过滤成为一个热门课题。这些文件中可能包含了不良信息。网络流量中的信息包含着各种网络协议，可能被分片，编码。机器无法直接识别其中的需要监控的内容。而对于内容过滤，使用传统的基于字符串匹配的算法显然无法满足呈几何爆炸级别的信息增长的监管需求。虽然使用SVM确实可以提高分类效率，但依然存在维数过大，导致存储资源和计算能力浪费的现象。本文首先分析如何在众多网

5、络协议中，根据协议本身的特点和协议状态机，对协议中包含的传输内容进行自动识别匹配，然后对数据流部分进行重组还原，并且进行必要的解码操作，以获得需要过滤的文本信息。本文重点研究了主流的应用层HTTP协议，FTP协议，SMTP协议和POP3协议，以及主流的私有应用飞信协议，QQ协议和MSN协议。然后本文提出了一种针对如何有效减少SVM的维数的改进算法，提出通过使用三种特征简约对向量机的维数进行约束。这种算法的改进达到加快运算速度，节省存储空间、提高准确率的作用。实验表明在选用相同数量的特征词的前提下，基于文档频率，基于信息增益和开方拟合算法取舍向量机的

6、特征值各有优缺点。在仅仅选取500个特征值的情况下，改进算法使得不良信息分类和过滤的正确率达到了80%以上。在选取超过1000个特征值的情况下，DF算法的正确率超过了90%。关键词：SVM，特征简约，网络协议，数据重组，分类I万方数据上海交通大学学术硕士学位论文ABSTRACTAresearchonthefilteralgorithmofspaminformationbasedonone-classSVMABSTRACTTheresearchofmonitoringandfilteringofthefilestransportingthroughi

7、nternetisgettinghotterandhotternow.Thatinformationmaycontainspam.Thepacketsinnetworkcontainprotocolparts.Theycanbefragmentedandencoded.Thusitisimpossibleformachinetorecognizethecontentofpackets.Andforcontentfiltering,thetraditionalalgorithmbasedonstring-matchedisnotabletomeett

8、heneedofthehugeincreaseofinformation.AlthoughSVM(Supportvecto