数据挖掘在垃圾短信过滤中的应用new

《数据挖掘在垃圾短信过滤中的应用new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、万方数据第38卷增刊2009年11月电子科技大学学报JournalofUniversityofElectronicScienceandTechnologyofChinaV01．38SupplNOV．2009数据挖掘在垃圾短信过滤中的应用沈超，黄卫东(南京邮电大学经济管理学院南京210046)【摘要】针对手机垃圾短信泛滥、治理效果不佳的问题，基于运营商现有业务平台，借助统计分析和教据挖掘技术设计了垃圾短信过滤系统，提出了垃圾短信过滤闭环流程图；系统根据动态荻取的垃圾短信数据自动生成过滤规则，在信息转发阶段对

2、垃圾短信进行过滤．结合某省运营商短信运营数据对垃圾短信过滤进行了实证研究，在分析样本短信数据的基础上确定了建模特征属性集，采用决策树推进算法获取了垃圾短信的过滤规则，并设计了垃圾短信过滤方案，从准确率和覆盖率两方面进行了验证，取得了较好的效果．关键词决策树推进算法：数据挖掘：短信过滤；垃圾短信中图分类号TP918．9l文献标识码Adoi：10．39690．issn．1001．0548．2009．z1．00lApplicationofDataMininginShortMessageSpamFiltering

3、SHENChaoandHUANGWei—dong(DepartmentofEconomics＆Management，NanjingUniversityofPost&TelecommunicationsNanjing210046)AbstractMobiletelecommunicationiSoverrunwithshortmessagespaminChina．Basedontheshortmessageservice(SMS)platformofsometelecomenterprise，aclosed

4、loopshortmessagespamfilteringsystemwiththeaidofthestatisticalanalysisandthedataminingtechnologywasproposed．Thesystemupdatesfilteringrulesbasedonrealtimeshortmessagedataandfindssuspiciousshortmessagesenderbyscoringtheuser．Applingthesystemtothetelecomenterp

5、rise，theacquiresattributessetacquiredtOidentifyshortmessagespareandgainsgoodeffeCtbyusingtheboostingarithmetictoextractfilteringrules．Keywordsboosting；datamining；shortmessagefiltering；shortmessagespam短信作为一种新媒体是公众获取信息的重要来源。垃圾短信的泛滥侵害着手机用户的信息安全，包含大量诈骗、非法广告、暴

6、力和色情内容的信息降低了用户对运营商通信服务质量的感知，有效过滤垃圾短信成为运营商提高服务质量，保障通信信息安全的重要途径。目前垃圾短信尚未形成统一的定义，结合各种研究视角【l】，本文认为垃圾短信是在主观上违背短信接收方意志并在客观上对短信接收方通信自由、生活安宁造成侵害的、以批量形式发送的违法或违规的短信。短信与电子邮件的发送机制相似【2】，国内学者结合电子邮件过滤机制对短信过滤进行了研究，文献【3】从词频的角度提出了基于贝叶斯分类器的垃圾短信过滤系统，文献【4]提出了基于文本分类的垃圾短信过滤方法，相

7、关研究主要从过滤精度方面进行改进，算法复杂度较高，难以处理SMSC(短信息服务中心)的海量短信数据，主要安装于客户端进行智能过滤；运营商从提高服务质量出发采取措施对垃圾短信进行了治理，如根据用户投诉生成黑名单对其进行过滤，缺乏主动智能的过滤机制。本文以移动通信企业数据仓库为支撑平台，构建了基于数据挖掘技术的垃圾短信过滤系统，通过动态获取的垃圾短信过滤数据自动生成过滤规则，在短信息转发阶段对垃圾短信进行有效过滤。1垃圾短信过滤流程描述图l为垃圾短信过滤闭环流程。流程中的每一步都试图通过数据挖掘技术和统计分析

8、技术来更多地实现“用数据说话”的力度，以提升垃圾短信过滤的科学性和有效性。收稿日期：2009—09一15雎金项爿：国家自然科学基金(70871061)作者简介：沈超(1983一)，男。硕士，主要从事数据挖掘、决策支持方面的研究．万方数据电子科技大学学报第38卷政策法规L—]一上l特征指标————一1正常短信数据广———J———1SMSC卜—————一I建模指标抽取J———厂一ff建模宽表I反馈短信数据广———-!———1L——