基于数据挖掘的分布式异常检测

《基于数据挖掘的分布式异常检测》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号，{】7595l2：’．密级UDC注1学位论．’．文基于数据挖掘的分布式异常检测(题名和副题名)周俊临(作者姓名)指导教师姓名吴跃．教授电壬科撞太堂送壑(职务、职称、学位、单位名称及地址)申请专业学位级别博士论文提交日期2010．03论文答辩日期2Q墅卫逝学位授予单位和日期电壬科撞太堂答辩委员会主席评阅人2010年月日注l：注明《国际十进分类法UDC》的类号。豁。0j。尹¨，o●--·-}；h’‘卜}2；}}，mL：m啊．!口■l_■■l-，≥DistributedanomalydetectionbasedondataminingMajo

2、r：￡Q磐卫坠兰皇!=苎Q!!型垒!=皇垒坠垡兰塾金Q￡XAdvisor：里!=Q￡型望Y丛皇．．Author：．．丕塾Q坚j坠坠!i望一．．》～～·q伊●0．oi■，?)l’

3、授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后应遵守此规定)签名：!至]堑垒!l鱼导师签名：日期：驯≯年7月日’、、0●》(-摘要数据挖掘是知识发现的一种重要工具，它的目的是发现隐含在大量数据中有价值的模式信息。异常检测在数据挖掘的四大任务中占据着非常重要的地位，与预测模型、聚类分析和关联分析相比，

4、它显得更有价值，更能体现数据挖掘的初衷。例如，一万个正常的记录很可能只覆盖一条规则，而十个异常很可能就意味着十条不同的规则。异常检测在多个领域中具有广泛的应用，如信用卡欺诈检测、药物研究、医疗分析、消费者行为分析、气象预报、网络入侵检测等。在信息产业高速发展的今天，随着业务规模的不断扩大和服务内容的不断更新，迫切需要企业采用分布式解决方案，用于管理复杂的异构环境，实现不同硬件设备、软件系统、网络环境及数据库系统之间的协同工作，这也给研究者和工程人员提出了新的挑战。在分布式环境下，异常检测需要考虑的主要问题是：如何利用最少传输提供最大的信息共享，

5、同时要保证异常检测的准确性和各方数据的隐私性。为解决此问题，本文从数据挖掘的角度，针对分布式异常检测技术进行了创新性和探索性研究。主要研究内容为：1．从异常检测的定义出发，针对现有基于数据挖掘的各种异常检测方法进行了详细描述，并分析其各自优缺点和目前国内外相关技术的研究现状。2．通过对比集中式异常检测和分布式异常检测的不同，并结合集成学习方法，提出一套分布式异常检测框架。应用此框架，分别针对有监督学习和无监督学习的异常检测方法进行了研究，实验结果表明提出的分布式检测框架能够获得和集中式检测相当甚至更好的检测效果，同时能够保证各方数据的隐私性。3

6、．研究分布式环境下数据流上的异常检测，同时提出一种响应式的概念漂移检测模型，能够准确的进行概念漂移数据流上的异常检测。4．研究分布式环境下高维数据的无监督异常检测，针对高维科学数据提出一种自适应谱聚类方法，并在分子动力学数值模拟科学数据上进行了实验，得到了很好的检测效果。5．研究分布式异常检测中的隐私保护问题，并针对支持向量机分类器提出了一种隐私保护支持向量机。通过实验证明，提出的方法能够保证数据的隐私性，同时能够达到和原支持向量机相当的检测效果。研究基于个性化隐私保护的数据挖掘问题，并提出一种基于数据扰动的个性化隐私保护方法用于分布式异常检测

7、。I咚∥j摘要关键词：数据挖掘，异常检测，分布式集成学习，概念漂移检测Ⅱ’0}-ABSTRACTDataminingisaveryimportanttoolinknowledgediscove珂．Itaimsatdiscoveringthevaluablepatternshiddeninlargevolumeofdata．AnomalydetectionpiaysaIlimpoRantr。1einthefourtasksofdatamining．Comparingwithpredict协g，cIustenngandassociationrole

8、s，anomalydetectionbetterreflectstheoriginalpurposeofdatamining·Theresultsof