基于聚类数据流异常检测算法的研究

《基于聚类数据流异常检测算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、掌寸／-dA／J0-哩f▲i≥膏0f^●0哈尔滨工程大学学位论文原创性声明本人郑重声明：本论文的所有工作，是在导师的指导下，由作者本人独立完成的。有关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中己注明引用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文的研究做出重要贡献的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。作者(签字)：毋夯磋L日期：Zo／o年1月，日哈尔滨工程大学学位论文授权使用声明本人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔

2、滨工程大学有权保留并向国家有关部门或机构送交论文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈尔滨工程大学。涉密学位论文待解密后适用本声明。本论文(口在授予学位后即可鹾授予学位12个月后口解密后)由哈尔滨工程大学送交有关部门进行保存、汇编等。作者(签字)：名糸堤日期：趵历年，月f日导师(签字)：危磁幽f。年弓月夕日‰^■勺岱．。0哈尔滨下程大学硕十学何论文摘要在海量的、动态变化的网络数据流中如

3、何检测出异常，是网络安全领域主要关心的问题，同时也是检测网络攻击的主要手段，现在越来越受到学者的关注。在网络数据流方面一般认为正常的行为占大多数，而异常的行为属于个别行为。基于此假设，选择k．means算法对数据流进行聚类分析，最终不属于任何子簇的数据点最有可能是异常点。k-means算法的执行过程是首先确定k个初始聚类中心点，将新到来的数据对象点根据距离阀值与距离最近的子簇合并，最终完成具有k个子簇的聚类结果。本文针对k-means算法存在的缺点和不足，例如，对输入数据对象点输入顺序敏感、容易陷入局部最优而非全局最优等问题。从两个方面对原有算法进行改进：首先根据有效性函数最小

4、性原理，确定接近于真实聚类数的k值，然后通过执行聚类中心选择算法，选取处于高密度区域的若干点，将点集周围数据点数量作为权值赋予该点，对选取的若干点集合构建最小堆，然后进行堆排序，权值作为堆节点的值，一次扫描确定密度最高的k个数据点作为初始聚类中心。改进后的k．means算法可以使准则函数收敛的更快，由于使用堆排序而非距离迭代计算选取聚类中心，时间复杂度相对较低，从而使算法在执行的时间效率上得到提高，又由于初始聚类中心点选择的接近于真实聚类中心，在聚类过程中不容易将大簇分割，从而使聚类结果更准确。最后选取UCI数据库中的数据集和KDD99数据集，对改进后算法和原算法进行聚类分析。

5、实验结果表明，改进后的算法提高了聚类结果的准确性，同时算法的执行效率也有一定程度的提高。关键词：数据流；异常检测；k-means算法；聚类中心；子簇哈尔滨丁程大学硕十学位论文AbstractHowtodetectabnormalinthemassiveanddynamicchangesofinternetdatastreamisamajorprobleminthefiledofnetworkandisalsotheprimarymeansoftdetectingnetworkattacks，nowmoreandmorescholarsareconcernedaboutthat．

6、●Intheaspectsofthenetworkdatastream，generallybelievethatthemajorityarenormalbehaviors，whiletheindividualbehaviorsareabnormalbehaviors．Basedonthisassumption，choosethek-meansclusteringalgorithmtomakedataflowanalysis，theenddoesnotbelongtoanysub—clusterofdatapointsaremostlikelytobeoutliers．K-mea

7、nsalgorithmimplementationprocessisthatfirstdeterminetheinitialclustercenterofk，thenewdataobjectpointsbasedondistancethresholdmergertothenearestsub--cluster,finalygettheksub-·clustersofclusteringresults．Inthispaperfortheshortcomingsanddeficienciesof