基于邻域超图的不完备信息系统分类方法研究

《基于邻域超图的不完备信息系统分类方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP391.4密级公开UDC004.93学位论文编号D-10617-308-(2016)-02057重庆邮电大学硕士学位论文中文题目基于邻域超图的不完备信息系统分类方法研究英文题目AReseachforNeighborhoodHypergraphBasedClassificationAlgorithmforIncompleteInformationSystem学号S130201060姓名石瑾学位类别工学硕士学科专业计算机科学与技术指导教师胡峰教授完成日期2016年4月16日重庆邮电大学硕士

2、学位论文摘要摘要不完备信息系统的分类问题是智能信息处理领域的一个研究重点。由于不完备信息系统中缺失值的存在，用传统的机器学习方法直接对其进行处理，往往效果不佳。超图是机器学习领域中一个新的方法，为机器学习提供了新的解决思路。但是传统的超图在对不完备信息系统分类时主要有以下三个问题：（1）传统超图不能处理离散型数据；（2）传统的超图模型在训练过程中的超边替换环节具有很大的随机性；（3）不完备信息系统中缺失值的存在使传统超图不适用。为解决上述问题我们提出了解决方案并通过实验验证了解决方案的有效性。本

3、文的创新点在于：（1）提出基于不完备信息系统的邻域超图。将邻域粗糙集理论与超图模型结合的邻域超图解决了传统超图不能处理离散型属性的问题。但由于不完备信息系统中缺失值的存在使得普通的邻域超图仍不适用。于是本文结合不完备信息系统的联系度提出了基于不完备信息系统的邻域超图，并通过邻域超图演化学习的过程最终得到一个效果较好的分类器。（2）在邻域超图演化学习过程中加入粗糙集的指导。粗糙集可以不依赖先验知识，根据数据的决策与分布进行知识发现，一旦使用这种能力，就可以在邻域超图迭代训练过程进行有监督的指导，提

4、高超图中超边的泛化能力。（3）结合Spark，将本文提出的算法并行化。本文提出的第一个算法在大数据集的运行时间久，效率较低。所以我们结合Spark提出了基于邻域超图对不完备系统分类的并行化算法。Spark的特性使得其在并行化有多次迭代的机器学习算法时有其它并行化框架没有的优势，于是我们通过并行化超图的演化训练阶段，降低了算法的时间复杂度，从而有效的改善了本文提出的算法在大数据集上的执行效率。对于基于邻域超图的不完备系统分类算法，本文在15个UCI数据集上进行了仿真实验，并与粗糙集分类算法、C4.

5、5、SVM、NavieBayes等方法进行比较。实验结果表明，文中算法在Precision、Recall、AUC、F-measure等多个指标上，具有较好的效果。此外，本文还通过实验验证了并行化后的算法不仅能保持原算法的有效性，而且能大幅度降低算法执行时间。关键词：邻域粗糙集超图不完备信息系统分类并行化SparkI重庆邮电大学硕士学位论文AbstractAbstractTheclassificationproblemofincompleteinformationsystemisahotissue

6、inintelligentinformationprocessing.Duetotheexistenceofmissingvalueinincompleteinformationsystem,itisineffectivebyusingtraditionalmachinelearningmethodtodealwith.Inordertoprovetheaccuracyofincompleteinformationsystem,manysolutionshavebeenproposedfromd

7、ifferentperspective.(1)Turntheincompleteinformationsystemintoacompleteinformationsystem,thenclassifythesystembyusingthemethodwhichisusedforcompleteinformationsystem.(2)Classifytheincompleteinformationsystemdirectly.Amongthesedifferentdataanalysistheo

8、riesandmethods,roughsetsarethemostfrequentlyused.Therearesomeextensionmodelsinroughsettodealwithincompleteinformationsystem,suchastolerancerelation,limitedtolerancerelation,non-symmetricsimilarityrelation,etc.Hypergraphisanewintelligentmethodformachi