基于图核的复杂数据异常检测算法

基于图核的复杂数据异常检测算法

ID:8321625

大小:1.42 MB

页数:69页

时间:2018-03-19

基于图核的复杂数据异常检测算法_第1页
基于图核的复杂数据异常检测算法_第2页
基于图核的复杂数据异常检测算法_第3页
基于图核的复杂数据异常检测算法_第4页
基于图核的复杂数据异常检测算法_第5页
资源描述:

《基于图核的复杂数据异常检测算法》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、摘要摘要I摘要随着信息技术、互联网、云计算等产业的飞速发展,数据的采集、存储与传输变得更加便捷,使得人们迫切的需要从大量的数据中挖掘出重要的信息,数据挖掘得以飞速发展,异常检测则是数据挖掘中的重要组成部分。在海量的复杂数据中存在着一类图数据,他们呈现出一定的拓扑、几何特性,如化学分子、社交网络等。本文的研究内容就是图数据的异常检测,并根据不同数据集提出了相关算法。首先,本文利用图模型、邻接矩阵等方法对图数据进行描述,研究了图数据后选用了图核方法作为图数据之间的相似性度量,并利用KPCA方法对图核处理后的数据进行降维处理。其次,针对训练过程中使用的数据集相对不平衡状态,对图核处理并降

2、维后的数据集采用对不同类别引进不同惩罚因子的加权SVM、加权SVDD-Negative方法,提出了基于图核的相对不平衡数据集异常检测算法,并在小数据集上进行了算法的分析,实验结果表明本文提出的算法在数据量相对不平衡的状态下具有一定的异常检测效果。接着,针对绝对不平衡状态即单类问题,对图核处理并降维后的某一类别数据利用单类分类器方法如OneClassSVM、单类SVDD方法进行模型的训练,随后对未知属性的数据进行异常检测,提出了基于图核的绝对不平衡数据集异常检测算法,实验结果表明本文提出的算法对绝对不平衡数据集具有一定的异常检测效果。再次,利用在实际应用中的两个复杂的数据集对本文提出

3、的算法进行了性能验证,表明本文提出的算法具有一定的实际意义。关键词:图核、图数据、数据不平衡、异常检测IIVABSTRACTABSTRACTIVABSTRACTWiththerapiddevelopmentofinformationtechnology,therapidprogressofinternet,cloudcomputingandotheremergingindustry,datacollection,storageandtransmissionhavebecomemoreconvenient.Peopleurgenttodigouttheusefulinformatio

4、nfromlargeamountsofdata,dataminingwasdevelopedandanomalydetectionisanimportantpartofdatamining.Thereisakindofgraphdatainthecomplexdata,andtheyhavethetopological characteristics,suchaschemical,socialnetworks,etc.Inthispaperwemakearesearchonanomalydetectionofgraphdata,andputforwardtherelatedalgo

5、rithmaccordingtodifferentdatasets.Firstly,weusethemethodofgraphmodeloradjacencymatrixtodescribethisgraphdata,andusethegraphkernelmethodasthesimilaritymeasurebetweenthegraphdata,andusingKPCAmethodtoreducethedimensionofthedataprocessingbygraphkernel.Secondly,weusethedifferentpenaltyfactoraccordi

6、ngtodifferentcategoriesofdatatosolvetherelativelyimbalancesdatasets,suchasSVM-Weights,SVDD-NegativeWeights,andputforwardtherelativelyimbalancesanomalydetectionalgorithmbasedongraphkernel.Wetestouralgorithmonsmalldatasetandtheresultsshowthattheproposedalgorithmhasacertainabnormaldetectioneffect

7、ontherelativeunbalancedataset.Thirdly,weuseoneclassclassifiersuchasOneClassSVM,SVDDmethodtotrainonekindofdataandtrainmodel,thentesttheunknowndatausingthemodel,andputforwardthedefinitelyimbalancesanomalyalgorithmbasedongraphkernel,theres

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。