lsa和md5算法在垃圾邮件过滤系统的应用研究new

《lsa和md5算法在垃圾邮件过滤系统的应用研究new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第36卷第6期电子科技大学学报Vol.36No.62007年12月JournalofUniversityofElectronicScienceandTechnologyofChinaDec.2007LSA和MD5算法在垃圾邮件过滤系统的应用研究1123张秋余，孙晶涛，闫晓文，黄文汉(1.兰州理工大学计算机与通信学院兰州730050;2.陕西西禹高速公路有限公司陕西韩城715400;3.陕西理工学院计算机系陕西汉中723003)【摘要】随着对垃圾邮件问题的普遍关注，针对目前邮件过滤方法中存在着的语义缺失现象和处理群发型垃圾邮件低效问题，提出一种基于潜在语义分析(LSA)和信息−摘

2、要算法5(MD5)的垃圾邮件过滤模型。利用潜在语义分析标注垃圾邮件中潜在特征词，从而在过滤技术中引入语义分析；利用MD5在LSA分析基础上，对群发型垃圾邮件生成“邮件指纹”，解决过滤技术在处理群发型垃圾邮件中低效的问题。结合该模型设计了一个垃圾邮件过滤系统。采用自选数据集对文中设计的系统进行测试评估，经与NaïveBayes算法过滤器进行比较，证明该方法在垃圾邮件过滤上优于NaïveBayes方法，实验结果达到了预期的效果，验证了该方法的可行性、优越性。关键词邮件指纹;特征提取;潜在语义分析;MD5算法;滑动窗口;垃圾邮件过滤中图分类号TP393.098文献标识码AResear

3、chofSpamFilteringSystemBasedonLatentSemanticAnalysisandMD51123ZHANGQiu-yu，SUNJing-tao，YANXiao-wen，HUANGWen-han(1.SchoolofComputerandCommunication,LanzhouUniversityofTechnologyLanzhou730050;2.ShaanxiXiyuHighwayCorporationLtdHanchengShaanxi715400;3.DepartmentofComputerScienceandTechnology,Shaa

4、nxiUniversityofTechnologyHanzhongShaanxi723003)AbstractAlongwiththewidespreadconcernofspamproblem,atpresent,therearespamfilteringsystemabouttheproblemofsemanticimperfectionandspamfilterloweffectinthemulti-sendspam.ThispaperproposesamodelofspamfilteringwhichbasedonLatentSemanticAnalysis(LSA)a

5、ndMessage-Digestalgorithm5(MD5).BymakinguseoftheLSAmarksthelatentfeaturephraseinthespam,asemanticanalysisisintroducedintothespamfilteringtechnique;the"e-mailfingerprint"ofmulti-sendspamisbornwithMD5ontheLSAanalyticalfoundation,theproblemoffilteringtechnique'sloweffectinthemulti-sendspamisres

6、olvedwiththiskindofmethod.Wedesignaspamfilteringsystembasedonthismodel.Thissystemisevaluatedwithanoptionaldataset.TheresultsobtainedarecomparedwithNaïveBayesalgorithmfilterexperimentresults.Theexperimentsshowtheexpectedresults,andthefeasibilityandadvantageofthenewspamfilteringmethodisvalidat

7、ed.Keywordse-mailfingerprint;featureselection;latentsemanticanalysis;message-digestalgorithm5;slippingwindows;spamfiltering随着Internet的迅速普及，电子邮件在为人们工过滤方法或多或少地存在着语义缺失的问题，当垃作、学习和生活提供便利通信手段的同时，也为病圾邮件发展到一定程度时，邮件过滤算法或过滤系毒、黑客程序、色情、反动、暴力、迷信等不良信统都将难以应付。而且现阶