机器学习第2章 模型评估与选择.ppt

《机器学习第2章 模型评估与选择.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第2章模型评估与选择主要内容经验误差与过拟合评估方法性能度量比较检验偏差与方差误差误差（error）：学习器实际预测输出与样本真实输出之间的差异训练集：训练误差（trainingerror），（经验误差，empiricalerror）训练集的补集：泛化误差（generalizationerror）我们希望泛化误差小的学习器过拟合过拟合（overfitting）：训练过度使泛化能力下降欠拟合（underfitting）：未能学好训练样本的普遍规律过拟合是机器学习的关键障碍且不可避免！模型误差包含了数据误差，或者说模型信息中包含了噪声。学习器泛化评估——实验测试测试集：测试误

2、差（testingerror）训练集和测试集组成数据集。假设测试样本是从真实分布中采样而得，避免因数据划分引入偏差。测试集应与训练集互斥。测试方法数学表达注意事项优缺点留出法（hold-out）分层采样（stratifiedsampling）重复试验取平均评估结果测试集小，评估结果方差较大训练集小，评估结果偏差较大交叉验证法（crossvalidation）次折交叉验证稳定性和保真性很大程度取决于留一法（Leave-One-Out，LOO）每次使用一个样本验证不受随机样本划分方式影响数据量大时计算量大自助法（bootstrapping）可重复采样/有放回采样数据集较小有用

3、改变初始数据集的分布，引入偏差调参与最终模型参数调节（parametertuning）算法参数人工设定候选值模型参数通过学习产生候选模型学习算法和参数配置确定后要用整个数据集重新训练模型性能度量性能度量（performancemeasure）：衡量模型泛化能力的评价标准回归（regression）：均方误差（meansquarederror）离散数据：连续数据：分类（classification）：错误率（errorrate）和精度（accuracy）离散数据：连续数据：任务需求——以二分类为例混淆矩阵（confusionmatrix），非对角，纠缠相查准率（precis

4、ion）：查全率（recall）：P-R曲线面积、平衡点（Break-Even-Point，BEP）度量：的调和平均度量：的加权调和平均多混淆矩阵先分别计算查准率和查全率，再平均宏查准率（）：宏查全率（）：宏（）先平均各混淆矩阵对应元素，再计算查准率和查全率微查准率（）：微查全率（）：微（）ROC与AUC受试者工作特征曲线（ReceiverOperatingCharacteristic）横轴——假正例率：纵轴——真正利率：AUC（AreaUnderROCcurve）AUC反应样本预测的排序质量代价敏感错误率与代价曲线非均等代价（unequalcost）代价矩阵（costm

5、atrix）代价敏感错误率：加权的错误率代价曲线（costcurve）：横轴——正例概率代价纵轴——归一化代价比较检验如何比较？——从统计的角度统计假设检验（hypothesistest）：根据测试错误率估计推断泛化错误率的分布。提出假设找到符合某种概率分布的中间变量利用该概率分布确定在某个置信度（confidence）下是否接受该假设单个学习器二项检验泛化错误率为的学习器，个测试样本，测试错误率为假设“”，置信度为，拒绝域为，其中临界值t检验个测试错误率，可看做泛化错误率的独立采样计算得平均测试错误率和样本方差，则服从自由度的t分布假设“”，显著度，拒绝域为一个数据集多

6、个学习器成对t检验学习器A和B，折交叉验证法得测试错误率和计算得差值及它们的均值和样本方差假设“”，显著度，拒绝域为McNemar检验学习器A和B，留出法得列联表（contingencytable）假设“”，显著度，拒绝域为多个数据集和多个学习器Friedman检验由数据集对算法测试结果排序得算法平均序值假设“各算法性能相同”，，显著度，拒绝域为，其中Nemenyi后续检验若假设被拒绝，计算平均序值差别的临界值域假设“两个算法性能相同”，显著度，拒绝域为偏差与方差泛化误差可分解为偏差、方差和噪声之和。偏差度量了学习算法的偏离程度，方差度量了数据扰动所造成的影响，噪声刻画了

7、学习问题本身的难度，谢谢！