召回率、精度、漏警与虚警、ROC曲线、混淆矩阵等分类指标.pdf

《召回率、精度、漏警与虚警、ROC曲线、混淆矩阵等分类指标.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、召回率、精度、漏警与虚警、ROC曲线、混淆矩阵等分类指标对于分类问题，评价算法的指标是分类准确率。准确率是指测试样本中，被正确分类的样本和测试样本的比，该值越大，分类器越准确，反之亦然。针对二分类问题，我们有精度、召回率、ROC曲线等评价指标对于多分类问题，我们有准确率、混淆矩阵等评价指标为什么会有这么多指标？这是因为模式分类和机器学习的需要性。判断一个分类器对所用样本的分类能力或者在不同的应用场合时，需要有不同的指标。举例而言，判断雷达信号是否为虚警时，我们需要尽可能提高分类器的召回率，精度也就相对要求弱一些，漏警尽可能小，而虚警可以稍微大些，因为漏判就可能造成

2、很严重的损失；人脸识别应用中，我们就需要尽可能提高精度，召回率就可能会低一些，虚警尽可能小，而漏警可以稍微大些，因为我们不希望不是本单位的人能开启门禁。以上这些都属于静态的指标，当正负样本不平衡时它会存在着严重的问题。极端情况下比如正负样本比例为1:99（这在有些领域并不少见），那么一个基准分类器只要把所有样本都判为负，它就拥有了99%的精确度，但这时的评价指标是不具有参考价值的。另外就是，现代分类器很多都不是简单地给出一个0或1的分类判定，而是给出一个分类的倾向程度，比如贝叶斯分类器输出的分类概率。对于这些分类器，当你取不同阈值，就可以得到不同的分类结果及分类器

3、评价指标，依此人们又发明出来ROC曲线以及AUC（曲线包围面积）指标来衡量分类器的总体可信度。假设原始样本中有两类，其中：1：总共有P个类别为1的样本，假设类别1为正例。2：总共有N个类别为0的样本，假设类别0为负例。经过分类后：3：有TP个类别为1的样本被系统正确判定为类别1，FN个类别为1的样本被系统误判定为类别0，显然有P=TP+FN；4：有FP个类别为0的样本被系统误判断定为类别1，TN个类别为0的样本被系统正确判为类别0，显然有N=FP+TN；那么：真正（TruePositive,TP）被模型预测为正的正样本；假负（FalseNegative,FN）被模

4、型预测为负的正样本；假正（FalsePositive,FP）被模型预测为正的负样本；真负（TrueNegative,TN）被模型预测为负的负样本。真正率（TruePositiveRate,TPR）或灵敏度（sensitivity）TPR=TP/（TP+FN）（正样本预测结果数/正样本实际数）假负率（FalseNegativeRate,FNR）FNR=FN/（TP+FN）（被预测为负的正样本结果数/正样本实际数）假正率（FalsePositiveRate,FPR）FPR=FP/（FP+TN）（被预测为正的负样本结果数/负样本实际数）真负率（TrueNegativeR

5、ate,TNR）或特指度（specificity）TNR=TN/（TN+FP）（负样本预测结果数/负样本实际数）目标属性的被选中的那个期望值称作是“正”（positive）精确度（Precision，查准率）：P=TP/(TP+FP);反映了被分类器判定的正例中真正的正例样本的比重针对人脸识别举例，精度应该是识别正确的人脸图像数/总的识别人脸图像数，例如有1000人脸图像，识别出了900张，但是识别正确的人脸数有890张，也就是错误识别人脸数为10张，还有100张没有识别出来。那么此时精度的计算为890/900召回率(Recall，查全率)，也称为TruePosi

6、tiveRate:R=TP/(TP+FN)=1-FN/P;反映了被正确判定的正例占总的正例的比重针对人脸识别举例，召回率的计算为900/1000漏警概率（MissingAlarm）MA=FN/(TN+FN)反应有多少负例被误判为正例虚警概率（FalseAlarm）FA=FP/(TP+FP)反映被判别正例的样本中有多少负例统计信号分析中，希望上述的两个错误概（漏警率和虚警率）尽量小。而对分类器的总的惩罚旧是上面两种错误分别加上惩罚因子的和：COST=Cma*MA+Cfa*FA。不同的场合、需要下，对不同的错误的惩罚也不一样的。像雷达信号识别中自然希望对漏警的惩罚大，

7、人脸识别中自然希望对虚警的惩罚大。转移性（Specificity），也称为TrueNegativeRateS=TN/(TN+FP)=1–FP/N；明显的这个和召回率是对应的指标，只是用它在衡量负例样本的判定能力。准确率（Accuracy）A=(TP+TN)/(P+N)=(TP+TN)/(TP+FN+FP+TN);反映了分类器统对整个样本的判定能力——能将正的判定为正，负的判定为负针对人脸识别举例，准确率与精度是一致的F-measureorbalancedF-score这就是传统上通常说的F1measure，另外还有一些别的Fmeasure，例如可以参考下面的链接h

8、ttp:/