网络异常检测的无监督聚类方法

《网络异常检测的无监督聚类方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Unsupervisedclusteringapproachfornetworkanomalydetection__文献阅读笔记论文：网络异常检测的无监督聚类方法本文描述了无监督聚类方法在检测未知的网络入佼或攻击方面的应川。给出了五种聚类算法和它们在实际情况中的具体表现。五种聚类算法分别是：k-Means算法，改进的k-Means算法，k-Medoids算法，EM聚类法和基于距离的孤立点检测法。1k-Meansk-Means是机器学习屮最简单的一种聚类算法，算法需要事先定好类别的个数K,第一步是选择K个实例集合作为聚合质心，通常每个集合选择一个实例即付，尽可能远的能使每个类别分开。具体

2、算法如下：1.Selectthetotalnumberofclusters(k)选择聚合类别的个数K2.Chooserandomkpointsandsetascentroid随机选择K个点和集合作为聚心3.CalculatethedistancefromeachinstancetoallcentroidsusingEuclideanmethod使用欧儿里德方法计算每个实例到聚心的距离4.Assigneachinstancetotheclosestcentroid将每个实例分配到距离最近的聚心的集合5.Recalculatethepositionsofthecentroids重新计算各个

3、聚心的位罝6.Repeatstep3-5untilthecentroidsdonotchange重复3-5步，直到聚心不再改变2k-Medoidsk-Medoids算法和k-Means类似，但是本算法能将实例到聚心的距离最小化.一个medoid定义为用来代表一个类集的模板数据点。k-Means算法对噪声和离群值比较健壮。具体算法如下：1.InputadatasetDconsistsofnobjects输入行个n对象的数据集D2.InputthenumberofclustersK输入聚合类别的个数K3.Selectkobjectsrandomlyastheinitialclusterce

4、ntresorclustermedoids随机选择K个对象作为初始化聚心或medoid4.Assigneachobjecttotheclusterwiththenearestmedoid将每个对象分配到距离最近的medoid的集合5.Calculatethetotaldistancebetweentheobjectanditsclustermedoid计算对象到它的medoid的总距离6.Swapthemedoidwithnon-medoidobject交换medoid和:

5、

6、•:medoid1.Recalculatethepositionsofthekmedoids重新计算K个med

7、oids的位置2.Repeat4-7untilthemedoidsbecomefixed東复4-7步，直到medoids不再改变1EMClusteringExpectationMaximization(EM)clustering最大期望聚炎法是变种的k-Means算法，广泛使用在非监督聚类的数据点密度估计上。EM计算使数据的似然伉最大的参数，假定数裾由K个正态分布生成.，算法同时得到正态分布的方法和协方差。算法需要输入数据集、聚合的类别个数、最大误差公差、最大迭代次数。EM可分为两个重要过程E过程(E-step)和M过程(M-step).1)E-step目的是计算每个实例的似然值的期望

8、，然后用它们的概率估计重新标记每个实例。2)M-step的目的是重新估计参数值，输出参数值作为下一个E-step的输入。3)两个过程反复迭代计算，直到结果收敛。2OutlierDetectionAlgorithms孤立点检测(Outlierdetection)是为了找到数据屮不合预期的行为的数据模式。大多数的聚类算法虽然不是为所有的点分配类别，但在在计算屮其实都把噪声对象考虑了进去。Outlierdetection算法首先实现一个聚类算法然后检索噪声集。因此算法的效果収决于聚类算法的好坏。算法有两种实现方式：基于距离的孤立点检测和基于密度的孤立点检测。基于距离的孤立点检测，假设正常的数

9、据对象有一个密集的分布区，孤立点距离那些区域很远。论文只给出了基于距离的孤立点检测算法。通过nestedloop(NL)算法来计算每一对儿对象的距离，而那些远离大多数对象的则被标记为孤立点。基于密度的孤立点检测，假设正常的数据对象的密度与其相邻分布区密度相似，孤立点则大相径庭。算法通过计算孤立值來比较这种密度差异。3ExperimentalSetup实验过程3.1IntrusionDataset入侵数据集试验使用的是NSL-KDD入侵数据。训练