资源描述：
《acc和auc在atr算法评估中的应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第15卷第4期电光与控制Vol.15No.42008年4月ElectronicsOptics&ControlApr.2008文章编号:1671-637Ⅹ(2008)0420009204ACC和AUC在ATR算法评估中的应用孙长亮,肖怀铁(国防科技大学电子科学与工程学院,长沙410073)摘要:ATR算法评估领域常用的评估指标为正确识别率ACC,但ACC自身存在诸多缺陷,仅用ACC指标评估结论具有一定的盲目性和误导性。基于ROC曲线的性能评估指标AUC反映了识别算法在多门限下的整体性能,克服了ACC指标的缺陷。在概述ACC及AUC各自含义和性质的基础上,全面揭示了二者之间内在的联系,AU
2、C值固定时,加权和非加权ACC均值与AUC间存在线性关系;另一方面在ACC固定的情况下,若PTP已知,ACC、AUCmax和AUCmin之间也存在线性关系,最后阐释了AUC的优越性。关键词:自动目标识别;算法评估;正确识别率;ROC曲线;性能评估中图分类号:V271.4;TN959.17文献标识码:AApplicationofACCandAUCinATRalgorithmevaluationSUNChang2liang,XIAOHuai2tie(SchoolofElectronicScienceandEngineering,NUDT,Changsha410073,China)Abstr
3、act:ThemostcommonlyusedevaluationmeasureinthedomainofAutomaticTargetRecognition(ATR)algorithmevaluationisAccuracy(ACC),however,theACCmeasurehasmanydefects.TheevaluationconclusionsdrawnunderACCalonemaybeblindandmisleading.TheAreaUndertheCurve(AUC)basedonReceiverOperatingCharacteristic(ROC)curveca
4、ndepictthewholeperformanceofthealgorithmundermulti2thresholdandovercometheinherentdefectsofACC.TheconceptandcharacteristicsofACCandAUCaredis2cussedrespectively,andtherelationshipbetweenthetwomeasuresisanalyzedindetail.WhentheAUCvalueisfixed,theweightedandun2weightedmeanvalueofACChaslinearrelatio
5、nshipwithAUC;meanwhile,whentheACCvalueisfixedandtheprobabilityoftruepositivePTPisgiven,theACCalsohaslinearrelationshipwiththemaximumandminimumvalueofAUC.Intheend,thesuperiorityoftheAUCevaluationmeasureisanalyzed.Keywords:automatictargetrecognition;algorithmassessment;ACC;ROCCurve;performanceeval
6、uation中不可或缺的环节。评估指标做为评估的基本准则0引言和尺度,在算法评估中具有基础和指导性的作用,因在自动目标识别(ATR)领域,建立了算法模型而也得到了广泛的关注和发展。目前最常采用的评只是完成了任务的一部分,该模型是否达标以及不估指标为正确识别率ACC(Accuracy),反映了分类器同模型间的比较选择就涉及到算法评估的问题。随正确分类的能力,随着ATR技术的发展和应用范围着ATR技术的发展,算法性能评估已成为算法开发的拓展,ACC自身存在的不可克服的缺陷逐渐为人们所重视,其评估结论的合理性及有效性受到怀收稿日期:2006208223修回日期:2007203209疑[1-2
7、]。ROC曲线(ReceiverOperatingCharacteristic基金项目:武器装备预研重点基金项目(6140522)Curve)在20世纪70年代最早应用于雷达目标检测,作者简介:孙长亮(1982-),男,山东无棣人,硕士生,主要研反映了虚警率和检测概率之间的关系。以后在医学究方向为自动目标识别算法的性能评估。诊断性能评估中得到了广泛运用和发展,并取得了10电光与控制第15卷[3]大量有益的结论,证明了ROC曲线评估方法的可ACC
