基于auc的分类器性能评估问题研究

《基于auc的分类器性能评估问题研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP391单位代码：10183研究生学号：2013534012密级：公开吉林大学硕士学位论文基于AUC的分类器性能评估问题研究ResearchesonPerformanceEvaluationofClassifierBasedonAUC作者姓名：蒋帅专业：计算机技术研究方向：数据库与智能网络指导教师：李雄飞教授培养单位：计算机科学与技术学院2016年5月基于AUC的分类器性能评估问题研究ResearchesonPerformanceEvaluationofClassifierBasedonAUC作者姓名：蒋帅类别：工程硕士领域（方向)：计算机技术

2、指导教师：李雄飞教授答辩日期：2016年5月25日未经本论女作者的书面授权化法收存和保管本论文书面，版本、电子版本的任何单位和个人，均不得对本论文的全部或部分内容进行任何形式的复制、修改、发行、出租、改编等有碍作者著作权的商业性使用（但纯学术性使用不在此限）。否则，应承担侵权的法律责任。吉林大学硕±学位论文原创性声明本人郑重声明：所呈交的硕±学位论文，是本人在指导教师的指导下。，独立进行研究工作所取得的成果陳文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文的研究做出重要贡献的个

3、人和集体，均己在文中Ｗ明确方式标明。。本人完全意识到本声明的法律结果由本人承担学位论文作者签名：宿日期；２０１６年５月２７日摘要摘要基于AUC的分类器性能评估问题研究近几十年来，随着计算机技术的飞速发展，人工智能被人们广泛关注和深入研究，其分支机器学习也快速崛起并已经渗透到社会的各个领域。其中，分类模型是其重要研究方向，分类模型的性能一般用准确率和召回率来衡量。然而，当数据集的类别分布不平衡时，准确率和召回率并不能保证分类模型性能评估的准确性。ROC（ReceiverOperatingCharacteristic，接收者操作特征曲线）评估

4、算法衡量了分类模型在任何数据集类别分布情况下的性能，并用AUC（areaunderthecurve，曲线下方面积）量化ROC曲线性能。由于数据集类别分布比例的不确定性，ROC曲线在分类模型性能评估中变得越来越重要。ROC和AUC在分类模型性能评估中已经得到广泛应用，但普通的AUC和ROC却存在一些缺陷：首先是公认的AUC的计算只利用得分排序而忽略了得分值；然后是AUC对分类错误代价是弱敏感的，分类模型性能会因为错误代价而存在很大差别。所以，本文将分两部分进行讨论。第一部分针对得分值提出了切割点和切割函数的概念，进而提出sorROC曲线和sorAUC：根据

5、P-N对设置切割点和切割函数，最终得到sorROC曲线，sorAUC即为sorROC曲线下方面积；第二部分基于假正例和假负例，从不同错误代价的角度提出vAUC和vROC的概念：将vAUC看做一块厚度均匀且各个区域密度不同的1*1的板子，用ROC对其进行切割，剩下板子质量即为vAUC。在提出新算法之后，本文提出算法相关的几条定义，然后从理论上推导证明了算法的若干性质并用一个简单的实例说明了新算法和普通AUC、ROC的优劣。最后，本文使用UCI数据集对新算法和AUC进行对比实验。实验分为两个部分：第一部分将sorAUC和AUC、sAUC、pAUC作对比实验，

6、实验表明sorAUC比AUC更精确，并且与sAUC、pAUC具有相同的性能评估能力，而且sorROC曲线的绘制比pROC曲线更简单、可靠；第二部分将vAUC和AUC、sAUC、pAUC进行对比实验，实验表明：vAUC充分利用了样本实例的错误代价，使其对分类模型的评估更精确，也更具针对性。在错分代价不同的情况下，vAUC具有更好的性能评估能力，也更接近于真实的结果。I摘要关键字：机器学习，AUC，分类模型，错误代价，实例得分IIAbstractAbstractResearchesonPerformanceEvaluationofClassifierBase

7、donAUCRecentyears,asthedevelopmentofcomputertechnology,artificialIntelligenceiswidelyconcernedandresearched,andthemachinelearningisalsopenetratedintomanyfields.Inmachinelearning,theclassificationisoneofthoseimportantresearches,theperformanceoftheclassificationmodelisoftendescribe

8、dbytheaccuracyrateandtherecallrate.Butth