基于WINNOW算法的垃圾邮件过滤系统研究

《基于WINNOW算法的垃圾邮件过滤系统研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要电子邮件已经成为人们日常生活中通信、交流的重要手段之一，但垃圾邮件问题也日益严峻，反垃圾邮件已经成为全球性的具有重要现实意义的课题。邮件过滤技术是反垃圾邮件的重要手段，目前经常采用的垃圾邮件过滤技术主要有反向域名验证、黑／白名单、关键词过滤、基于规则的过滤技术以及基于概率统计方法的过滤技术等。Winnow是一种错误驱动的在线学习线性分类算法，在训练速度和分类速度上具有较大的优势；而且，作为一种在线学习方法，Winnow在训练集合不断扩大的情况下能够快速对分类器进行更新，非常适合于对实时性要求较高的即时反馈学习。本文通过分析研究现有的反垃圾邮件过滤技术，结合垃圾邮件自身的特点，从电子邮

2、件的文本内容出发，将Winnow算法应用于垃圾邮件过滤，试图构造一种速度快、计算简便、性能好、反馈学习方便的垃圾邮件过滤系统。本文主要针对中文垃圾邮件，把过滤单元划分成训I练、分类和反馈三个主要过程，分别对应样本邮件的训练即分类器的构造，新邮件的分类以及分类结果的反馈；并给出了部分重要模块的实现。为了提高系统性能，本文着重改进了邮件解码模块，构造了最基本的Winnow分类器，采用了增量式反馈学习方法。关键词MIME；解码；VSM；Winnow；反馈北京工业大学工学硕士学位论文AbstractE-marlhasbecomeoneofthemostimportantrecallsofcomm

3、unication．Atthesametime，thegrowingproblemofjunkmailhasgeneratedaneedforc-mailfiltering．Anti—spamproblemhasbecomeallinternational，significantandpracticaltopicnow．Theemailfilterisoneofthekeytechnologiesofanti—spam．Nowadays，anti—spainmeasurescommonlyindudeinversedomainnamevalidating,Mack／whitelistte

4、chnology,keywordsfiltering，manualrolesandfilteringtechnologybasedonprobabilitystatistics．Winnowisalinear-thresholdcategorizationalgorithm，itisnotonlyonline，butalsomistake—driven．Ithastheadvantageofquickerspeedontrainingandcategorizing．Asanonlinemeasure，Winnowcarquicklyupdatethecategorizerwhilethe

5、trainingsetcontinuetoenlarge．SoWinnowisveryfittothefeedbackstudyingwhichhasahighrealtimecharacter．Thispaperdiscussesandanalyzesvarioustechniquesrequiredinspamfiltersystem，thinksaboutthosespam’characters，beginswiththee-mailcontent，applyingWinnowalgorithmtothee-mallfilter,triestoconstructaspamfilte

6、rwhichrollquickly，calculatesimply,performancewellandeasytofeedback．ThepaperfocusesonChinesespam．Thefilteringunitwasdesignedtothreeprocesses，thetraining，thecategorizingandthefeedback．Inotherwords，trainingexamplemails，namelyconstructfilter,categorizingnewmails，andfeedbackresults．Theimplementationof

7、someimportantmoduleswasgiveninthepaper．Inordertoenhancesystemperformance，thispaperimprovedthedecodemodule，constructedabasalWinnowcategorizer,andadoptedanincrementingfeedback．KeywordsMIME；Decode；VSM；Winnow；Feedback．Ⅱ一独创