评价指标模型方法-模型的评价

《评价指标模型方法-模型的评价》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、-------------------------------------------------------精选财经经济类资料----------------------------------------------评价指标模型方法-模型的评价评分模型的评价指标　　　　【摘要】如何评价一个评分模型的判别能力，一般在统计上用ROC、CAP、K-S统计量、GINI系数统计量等图形工具或统计指标。其中ROC曲线是较受欢迎的，而K-S统计量、GINI系数等和ROC曲线之间有一定的联系。　　【关键词】评分模型评价指标　　如果把业务上的二分类问题从统计角度理解，都在于寻找一个分类器，这个分类器可能是

2、logistic模型，也可以是多元判别模型，还可以使其它复杂形式的模型。　　一、ROC曲线-----------------------------------------------最新财经经济资料----------------感谢阅读-----------------------------------~6~-------------------------------------------------------精选财经经济类资料----------------------------------------------　　ROC，英文全称ReceiverOperatingCurv

3、e，翻译成中文，简称受试者工作特征曲线。其在统计实务中应用甚广，尤其应用于处理医学研究中的“正常组”和“异常组”区分建模问题，用于评价分类模型的表现能力。　　ROC曲线原理。　　要说清楚ROC曲线的原理，我们从一个简单的分类实例问题说起。假如我们有了基于商业银行企业贷款数据建立违约-非违约的业务分类模型，比如说我们是预测的所有样本的违约概率或者信用评级得分，比如信用评级得分，我们获得了关于两类样本的分布图形：　　图两类样本的违约率经验分布　　1.基本假设-----------------------------------------------最新财经经济资料---------------

4、-感谢阅读-----------------------------------~6~-------------------------------------------------------精选财经经济类资料----------------------------------------------　　上面的图例可以看成一个基于银行债务人违约率分类的分类器。左边的分布表示历史样本数据中违约者预测得到的违约率的分布；右边的分布相应表示非违约者的分布，其中C点表示决策者做出决断的切分点，对于该点有这样的经济意义：一旦我们确定了C点，不考虑其他业务处理，的样本被预测为违约者，反之被预测为非谓

5、语这。对于一个固定的Cutoff点，我们可得到一些有实际意义的量化指标：　　HR=，表示在C点左边，对Defaulters的信用得分分布中，基于C点做决策时候，被正确命中的比率，这里H表示被正确预测的违约者的样本个数，ND表示违约样本的总数。　　HR=，表示在C点左边，对non-Defaulters的信用得分分布中，基于C点做决策时候，被错误预测的比率，这里F表示被错误预测的违约者的样本个数，NND表示非违约样本的总数。　　绘制方法-----------------------------------------------最新财经经济资料----------------感谢阅读------

6、-----------------------------~6~-------------------------------------------------------精选财经经济类资料----------------------------------------------　　很显然，当我们移动C点的时候，我们得到了一个二维坐标点的集合，FAR，HR

7、C？缀信用得分区间}这里的FAR，HR是风险管理领域的专用表示方法。将其用统计中的一些概念进行一般化处理，得到：FD==，表示在C点左边违约样本个数，FD表示在C点违约者信用得分的累积概率；FND=FAR则相应表示非违约者信用得分的累

8、积概率；同样我们可得到二维坐标集合{FND，

9、C？缀信用得分区间}。　　我们将{FND，

10、C？缀}在xy坐标平面上绘制，就得到了ROC曲线。　　ROC曲线与其他评价指标间关系。　　统计量　　图ROC曲线切线—K-S统计量　　K-S检验，用于检验样本是否来自一个指定的分布或者检验两类样本是否同分布。对上述例子，两样本分布独立性的检验常用K-S统计量：　　D=MAX

11、FD-FD

12、，这里为了符合常识，我们用表示变量