数据挖掘在垃圾短信过滤中的应用

《数据挖掘在垃圾短信过滤中的应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第38卷增刊电子科技大学学报V01．38Suppl2009年11月JournalofUniversityofElectronicScienceandTechnologyofChinaNOV．2009数据挖掘在垃圾短信过滤中的应用沈超，黄卫东(南京邮电大学经济管理学院南京210046)【摘要】针对手机垃圾短信泛滥、治理效果不佳的问题，基于运营商现有业务平台，借助统计分析和教据挖掘技术设计了垃圾短信过滤系统，提出了垃圾短信过滤闭环流程图；系统根据动态荻取的垃圾短信数据自动生成过滤规则，在信息转发阶段对垃圾短信进行过滤．结

2、合某省运营商短信运营数据对垃圾短信过滤进行了实证研究，在分析样本短信数据的基础上确定了建模特征属性集，采用决策树推进算法获取了垃圾短信的过滤规则，并设计了垃圾短信过滤方案，从准确率和覆盖率两方面进行了验证，取得了较好的效果．关键词决策树推进算法：数据挖掘：短信过滤；垃圾短信中图分类号TP918．9l文献标识码Adoi：10．39690．issn．1001．0548．2009．z1．00lApplicationofDataMininginShortMessageSpamFilteringSHENChaoandHUANG

3、Wei—dong(DepartmentofEconomics＆Management，NanjingUniversityofPost&TelecommunicationsNanjing210046)AbstractMobiletelecommunicationiSoverrunwithshortmessagespaminChina．Basedontheshortmessageservice(SMS)platformofsometelecomenterprise，aclosedloopshortmessagespamfi

4、lteringsystemwiththeaidofthestatisticalanalysisandthedataminingtechnologywasproposed．Thesystemupdatesfilteringrulesbasedonrealtimeshortmessagedataandfindssuspiciousshortmessagesenderbyscoringtheuser．Applingthesystemtothetelecomenterprise，theacquiresattributesse

5、tacquiredtOidentifyshortmessagespareandgainsgoodeffeCtbyusingtheboostingarithmetictoextractfilteringrules．Keywordsboosting；datamining；shortmessagefiltering；shortmessagespam短信作为一种新媒体是公众获取信息的重要来面进行改进，算法复杂度较高，难以处理SMSC(短源。垃圾短信的泛滥侵害着手机用户的信息安全，信息服务中心)的海量短信数据，主要安装于客户端

6、包含大量诈骗、非法广告、暴力和色情内容的信息进行智能过滤；运营商从提高服务质量出发采取措降低了用户对运营商通信服务质量的感知，有效过施对垃圾短信进行了治理，如根据用户投诉生成黑滤垃圾短信成为运营商提高服务质量，保障通信信名单对其进行过滤，缺乏主动智能的过滤机制。息安全的重要途径。本文以移动通信企业数据仓库为支撑平台，构目前垃圾短信尚未形成统一的定义，结合各种建了基于数据挖掘技术的垃圾短信过滤系统，通过研究视角【l】，本文认为垃圾短信是在主观上违背短动态获取的垃圾短信过滤数据自动生成过滤规则，信接收方意志并在客观上对短

7、信接收方通信自由、在短信息转发阶段对垃圾短信进行有效过滤。生活安宁造成侵害的、以批量形式发送的违法或违1垃圾短信过滤流程描述规的短信。短信与电子邮件的发送机制相似【2】，国内学者结合电子邮件过滤机制对短信过滤进行了研图l为垃圾短信过滤闭环流程。流程中的每一步究，文献【3】从词频的角度提出了基于贝叶斯分类器都试图通过数据挖掘技术和统计分析技术来更多地的垃圾短信过滤系统，文献【4]提出了基于文本分类实现“用数据说话”的力度，以提升垃圾短信过滤的垃圾短信过滤方法，相关研究主要从过滤精度方的科学性和有效性。收稿日期：2009

8、—09一15雎金项爿：国家自然科学基金(70871061)作者简介：沈超(1983一)，男。硕士，主要从事数据挖掘、决策支持方面的研究．万方数据电子科技大学学报第38卷政策法规L—]一过滤效果反馈上l特征指标————一1正常短信数据广———J———1建模宽表SMSC卜—————一I建模指标抽取J———厂一堡兰翌兰堡f-1ff建模宽表I反馈短信数