基于特征内容的短信消息过滤系统设计文献综述

《基于特征内容的短信消息过滤系统设计文献综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、文献综述基于特征内容的短信消息过滤系统设计一、前言部分垃圾短信问题日益严重，受到了社会各界的关注，尤其是迷信、反动内容、情色内容等垃圾短信．现有的针对短信过来的工作使用规则方式有黑白名单设置、模式匹配以及常见的分类算法，例如BP神经网络等．基于规则的方法在一定程度上阻拦了一些垃圾短信的来源，但是对于大量的垃圾短信来说，规则方法就需要更多的用户来自定义设置，也更容易被反过滤．基于内容的过滤是当前研究的主要技术之一．短信的发送与接收是由移动网络中的短消息服务中心(SMSC，shortmessageservicecenter)来进行

2、完成的，依靠的是SMSC的存储机制和转发机制．一般有以下两种发送短信的方式:1)SP——手机;2)手机——手机[1]．针对短信息的传输过程和发送方式，短信过滤技术主要可以分为以下两种方式：l)短消息服务中心的过滤方式[1]．基于短信服务中心的过滤方式可以对短信中存在的敏感词汇进行有效地更新，在对接收到的短信进行存储转发的同时，对有害的短信息实施实时监控．这种监控大多根据的是短信状态监测和短信内容识别相结合的监管模式，因而是目前的主流技术之一．2)手机终端的过滤方式[1]．这种方式通常是在手机中预先设定包含手机和短信服务商号码的

3、黑名单，并且在接收信息时根据黑名单来判别是否对短信进行拦截和过滤．这种方法也同样存在明显的局限性，由于是采用预先设定的黑名单，在对有害信息进行拦截时存在不足，比如说有害信息发送者经常变换手机号码，往往都是以新号码发送垃圾短信，这将使得原有黑名单失效．因此，本设计将以软件的形式来完成，根据文献[2]中所讲述的步骤来设计完成这个系统．该系统能够正确的收发无特征内容的正常短信，而用***代替特征内容．而系统设计所用的则是大家比较熟悉的java语言及其开发工具eclipse，因为java是面向对象的、分布式的和多线程的[3-4]．本软

4、件的设计涉及到java中数据结构、集合架构以及多线程和网络编程等内容．而Eclipse是一个开放源代码的、基于Java的可扩展开发平台[5-6]．二、主题部分21世纪是信息时代，也是网络时代，随着移动通信技术的飞速发展，手机已经成为了人们日常生活工作中必不可少的通讯工具，并且短消息的应用也愈来愈广泛．短信消息虽然是一种个人保密性较好的信息传播方式，不过同时也很容易带来大量不良信息．随着手机的普及，许多内容低俗甚至有害的短消息急剧增加，给我们的信息安全带来了严重的问题，影响了人们的正常生活．这种短消息蔓延所带来的危害，应当引起我

5、们的警惕．因而垃圾短信过滤是目前人们比较关注的一类问题，可以看成是文本分类技术的一种应用．本文就将对此问题做出一定的研究，考虑到目前国内的短信绝大多数是中文短信，所以只要对中文垃圾短信进行过滤，就可以解决绝大部分的短信安全问题，因此我们的处理对象是中文短信．文献[7]详细介绍了中文分词技术，它是最重要的中文文本预处理技术．自动分词就是从信息处理需求出发，按照特定的规范，对汉语按分词单位进行划分的过程．基于字符串匹配的、基于理解和基于统计的分词方法是现在主要的三大算法．1982年，Denning提出信息过滤(Informatio

6、nFiltering)这一概念．他描述了一个信息过滤的实例，即在电子邮件系统中，利用过滤机制区分为紧急的邮件和一般的例行邮件，同时还根据用户需要来限制例行信息的显示方式．为了很好地解决这个问题，Denning构造了一种“内容过滤器”，其中采用的主要技术有层次组织的邮箱、独立的私人邮箱、特殊的传输机制等[2][3]．信息过滤[8-9]的定义是指计算机根据用户提供的一个过滤需求(userProfile)，从动态变化的信息流(比如Web)中自动检索出满足用户需求的信息．其应用系统就是可以引用信息过滤技术从而处理相关信息，特点主要表现

7、为以下几点：第一：信息过滤系统的数据设计主要可以分为无结构化设计和半结构化设计两种．比如电子邮件，就是一类典型的半结构化数据，它具有结构化的邮件头和无结构的邮件正文．第二：信息过滤系统主要是用来处理文本信息的．由于信息过滤系统处理的数据一般为输入信息流，其中包括远程数据源以广播的形式发送消息或者直接发送信息．第三：信息过滤系统还需要包含一组对用户过滤需求的描述．这种描述既可以用来屏蔽不良的信息，又可以用来收集有益的信息．信息过滤系统的分类[9]可以从四个不同的方面划分，根据过滤操作的主动性与被动性、运行过滤系统的位置、过滤策略

8、和用户信息获取方法的不同机型不同的体系分类．信息过滤系统[10-11]可以主要的划分为四个重要组成部分，分别是信息提供模块、用户需求描述模块、过滤模块和学习模块．其中，信息提供模块的主要任务是对输入系统的信息建立统一的描述方式；用户需求描述模块则依赖这一描述方式，建立起突显用