“垃圾邮件”的智能分析、过滤和rough集讨论

《“垃圾邮件”的智能分析、过滤和rough集讨论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、“垃圾邮件”的智能分析、过滤及Rough集讨论摘要Internet的迅速发展，电子邮件的应用变得十分广泛，但是许多无用、有害信息随之而来。本文通过对“垃圾邮件”的分析、处理，讨论了电子邮件的智能过滤问题，并进行了基于粗糙集理论的邮件信头分析和实验。最后，介绍了下一步的工作。关键词电子邮件垃圾邮件过滤1、前言Internet的迅速发展，人与人的交往更加快捷方便，电子邮件（E-mail，Electronicmail）成为信息交互的重要工具，人们用它交流思想、传输文件、发表意见等。据IDC调查，2000年全球日平均发送邮件超过100亿封，到2005年将达350亿封以上。E-mail的

2、日益普及，我们注意到网络管理面临着新问题——垃圾邮件的泛滥。所谓垃圾邮件主要有两类，一类是名目繁多的商业广告，另一类是非法团体为其政治、经济等目的，进行的“网络宣传”。后者的危害性显然远远大于前者。垃圾邮件耗费了有限的网络资源，反动邮件严重破坏了社会稳定。另外，它还侵犯了个人隐私，浪费了用户大量时间。所以垃圾邮件的智能分析、自动过滤，是目前研究的一个热点。目前邮件过滤主要的方法有如下三种：（1）安全认证方法，也就是用户A向用户B发送邮件时，必须到用户B的邮件服务器上先进行登记，得到授权，否则邮件服务器拒绝接收。虽然有效地防止未经认证的用户发来邮件，具有很高的安全性，但影响了邮件

3、的易用性；(2)基于规则的方法，很多时候是基于关键词匹配的邮件过滤，虽然能够处理邮件头和正文，但是实质还是生硬的二值判断，局限在二维空间上进行处理，缺少可信度的知识，同时要求用户自己定义规则，对用户的素质要求高，用户需要花费很多时间定义自己的规则，如果用户的兴趣发生变化，规则也要进行很大的改变，另外规则的纯粹人工定制，可能考虑并不周全；（3）统计的方法，可以不考虑具体的语义环境，但是只能区分合法邮件和垃圾邮件，很难进行分类。基于上述情况，本文从电子邮件的体系结构及传输协议入手，设计了基于“用户个性化”的垃圾邮件智能分析过滤概念系统模型，充分考虑到了现有方法的优点和缺陷。2、电子

4、邮件的体系2.1电子邮件的结构及传输电子邮件可以视为半结构化的文本文件，包括邮件头和正文。RFC822标准邮件头则包括发信者的IP地址、邮件地址和邮件标题等信息。邮件的标题一般概括了其主要内容，正文则是该邮件的全部内容。通常情况下，一封E-mail的收发是从用户发出，通过发送邮件本文得到了重庆邮电学院科创基金和课题组项目启动经费的资助。刘洋（1980——）男汉族四川泸州人学士，IEEE会员，计算机科学与技术研究所助理研究员，发表论文10余篇，主要研究方向：信息检索，通信中的人工智能。杜孝平，博士后，主要研究方向：数据挖掘。客户端程序送到SMTP服务器，再转发到目的信箱。最后，由

5、POP3服务器程序配合帐号、口令接收信箱的邮件。2.2相关网络协议支持基于Internet的电子邮件服务协议主要有：SMTP、POP3、IMAP、MIME、HTTP等。其中SMTP和POP3配合完成简单的邮件收发。SMTP协议（SimpleMailTransferProtocol，简单邮件传输协议）定义了传输普通正文文本（ASCII文本）的标准，提供了全双工通信，缺点是安全性不高。后来出现了ESMTP（扩展的SMTP协议）加以改进。现有大部分C/S都支持SMTP，故我们现有的研究是基于该协议的。另外，对于图像、声音、二进位格式等的非文本信息，MIME协议规定了相应的标准，这是复

6、杂邮件过滤的基本原理，这里不作详细讨论。[1]邮件流测试邮件训练邮件邮件自动分类向量空间模型预处理过滤用户分类词典手工归档一次过滤二次过滤3、垃圾邮件过滤系统分析与设计图1垃圾邮件智能分析、过滤系统框图整个系统的概念化设计如图1所示，它基于“用户个性化兴趣”，用户首先随机抽取一定量的邮件进行人工训练，建立用户个性化安全模型，自动学习用户在邮件处理方面的特征，并利用测试邮件调整，生成相关规则，同时兼及人为定义规则（特别注意的是，不同用户兴趣需求不同，其训练邮件和测试邮件相应不同，由于是自动生成规则，对系统本身影响不大，所以扩展性比较好）。通过分类词典对邮件自动分类，以便更好地进行

7、预处理和建立向量空间模型，根据用户需求和兴趣的变化自适应的调整向量空间模型，由此过滤出邮件，另外有选择地手工归档，进行二次过滤，提高处理效率，整个过程中系统可以进行自动的邮件回复。而且，该系统由于分类词典和对关键词进行标引，所以可以很好地支持中英文垃圾邮件过滤。具体包括以下几方面的工作：3.1邮件自动分类邮件的自动分类，目的是：（1）建立邮件的关键词索引，使后续操作更明确、清楚，便于用户查询，避免了邮件虽经过滤，但由于没有分类造成的杂乱无章，给用户的处理造成巨大的的消耗；（2）这里对邮件向量