数据挖掘模型评估

《数据挖掘模型评估》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据挖掘模型评估2021/7/181一、评估分类法的准确率2021/7/182评估分类法准确率的技术有保持（holdout）和k-折交叉确认（k-foldcross-validation）方法。另外，还有两种提供分类法准确率的策略：装袋（bagging）和推进（boosting）。1、保持和k-折交叉在保持方法中，给定数据随机划分成两个独立的集合：训练集和测试集。通常，三分之二的数据分配到训练集，其余三分之一分配到训练集。2021/7/183“保持”这种评估方法是保守的，因为只有一部分初始数据用于导出的分类法。随机子选样是“

2、保持”方法的一种变形，它将“保持”方法重复k次。总体准确率估计取每次迭代准确率的平均值。K—折交叉确认在k—折交叉确认（k—foldcross—validation）中，初试数据被划分成k个互不相交的子集或“折”，每个折的大小大致相等。训练和测试k次。在第i次迭代，第i折用作测试集，其余的子集都用于训练分类法。准确率估计是k次迭代正确分类数除以初始数据中的样本总数。2021/7/1842、提高分类法的准确率2021/7/185装袋2021/7/186推进即使用相同的分类器，各个分类器不是独立的；使用同一个算法对样本迭代训

3、练，后建立的分类器关注于先前建立的分类器不能更好处理的部分数据；最终的输出为各个分类器的加权投票。3、灵敏性和特效性度量假定你已经训练了一个分类法，将医疗数据分类为“cancer”或“non_cancer”。90%的准确率使得该分类法看上去相当准确，但是如果实际只有3—4%的训练样本是“cancer”会怎么样？显然，90%的准确率是不能接受的——该分类法只能正确的标记“non_cancer”（称作负样本）样本。但我们希望评估该分类能够识别“cancer”（称作正样本）的情况。2021/7/187为此，除用准确率评价分类模型外

4、，还需要使用灵敏性（sensitivity）和特效性（specificity）度量。还可以使用精度（precision）来度量，即评估标记为“cancer”，实际是“cancer”的样本百分比。2021/7/188其中，t_pos是真正样本（被正确地按此分类的“cancer”样本）数，pos是正（“cancer”）样本数，t_neg是真负样本（被正确地按此分类的“non_cancer”样本）数，neg是负（“non_cancer”）样本数，而f_pos假正样本（被错误地标记为“cancer”的“non_cancer”样本）数

5、2021/7/189灵敏性特效性精度2021/7/1810预测值1（实际“cancer”）0（实际no_cancer）1(预测“cancer”)000(预测“no_cancer”)1090二、数据挖掘模型评估的错误观念传统评估分类预测模型时，通常使用的是“准确度”。它的功能是评估模型分类实物是否正确。准确度越高模型就越好。但事实上，这样评估出来的模型并不是最好的。2021/7/1811例：某家银行发行现金卡，风险控管部门主管决定建立DM模型，利用申请人申请当时的所填的资料，建立违约预测模型，来作为核发现金卡以及给予额度的标准

6、。该银行邀请两家DM公司来设计模型，评比的标准是根据模型的“准确度”。根据此标准，A公司所建模型的准确度92%，B公司的准确度是68%。银行和A公司签约。2021/7/1812利用A公司的模型后，结果发现里面只有一条规则，那就是“所有的人都不会违约”。为什么？A：所有的人都不会违约，因此它错误的只有8%的违约分类错误（违约误判为不违约），因此准确率是92%。B：在根据评分由高至低筛选出来前40%的名单中，可以将所有的违约户都找出来。即有32%的非违约户被误判为违约户，因此准确率只有68%。哪一家的模型更好呢？由上可以发现，不

7、能使用准确率来评判模型的优劣。2021/7/1813为什么会出现这样的结果？原因在于两类错误，忽略了“错误不等价”。如果把一个“会违约的人判断成不会违约”，这家银行损失20～30万元的现金卡卡金，但是如果将一个“不会违约的人错判成违约”，只是划分了一些审查成本以及可能因为保守给予额度而造成的机会成本损失。因此两种误判所造成的效益影响是不等价的。2021/7/1814所谓小概率事件是发生概率小，而且一定是能够为企业界带来高度获利或严重损失的事件。由于小概率事件发生概率很小，如果针对所有客户采取行动，就会形成浪费，因此，需要利用

8、预测的技术将小概率事件找出来。那么，只针对预测的小概率事件采取行动就会避免浪费。DM的价值就在于能够利用历史资料找出“小概率事件”。2021/7/1815小概率事件：因此，评估数据挖掘模型的第一步就必须从错误状态的分类入手。这需要建立分类矩阵，通过分类矩阵来查看所有错误的分布。2021/7