第七章：模型选择和模型评估

《第七章：模型选择和模型评估》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、上节课内容总结贝叶斯的概率观点概率描述的是主观信念的程度可以对参数进行概率描述，为参数生成一个概率分布贝叶斯推理的基本步骤先验分布似然模型计算后验分布从后验分布中得到点估计和区间估计点估计：后验均值、后验众数（MAP）后验区间1MLE上节课内容总结后验的仿真模拟贝叶斯推理与MLE例令为的极大似然估计，在合适的正则条件下，后验均值为贝叶斯推理的优点可以方便的结合先验信息数据和先验同等对待由后验可以同时推出点估计和区间估计2MLE第七章：模型选择和模型评估内容：估计选择（Ch13）模型选择（Ch14，Ch9，统计学习基础第7章）3MLE估计选择有几个不同的估计，哪个估计更好一些？统计决策

2、理论4MLE损失函数损失函数：度量真值与估计之间的差异损失函数举例平方误差损失绝对误差损失损失0-1损失KullbackLeibler损失5MLE风险函数风险函数：损失的均值一个估计的风险是对平方误差损失，风险为MSE风险是的函数比较不同的估计，转化为比较不同估计的风险但并不能清楚地回答哪个估计更好6MLE风险比较没有一个估计的风险在所有的θ值都超过另外一个7MLE风险比较风险函数的两个单值概述最大风险贝叶斯风险其中为θ的先验。8MLE决策规则(DecisionRules)决策规则是估计的别名最小化贝叶斯风险的决策规则成为贝叶斯规则或贝叶斯估计，即为对应先验f的贝叶斯估计其中下界是对

3、所有的估计计算最小化最大风险的估计称为最小最大规则其中下界是对所有的估计计算9MLE贝叶斯估计给定一个模型（先验和后验）和损失函数，就可以找到贝叶斯规则若，则贝叶斯规则为后验均值若，则贝叶斯规则为后验中值若为0-1损失，则贝叶斯规则为后验众数10MLE最小最大规则找最小最大规则，或者证明一个估计是最小最大估计是一件很困难的事情。但还是有一个简单的方法：有些贝叶斯估计（如风险为常数）是最小最大估计令对应先验f的贝叶斯估计：假设则为最小最大估计，且f称为最小受欢迎先验(leastfavorableprior)。上述结论一个简单的结果有：如果一个贝叶斯规则的风险为常数，则它是最小最大估计。

4、11MLEMLE为近似最小最大估计对满足弱正则条件的参数模型，极大似然估计近似为最小最大估计。对均方误差损失，通常根据Cramer-Rao不等式，这是所有无偏估计的方差的下界。12MLEMLE为近似最小最大估计因此对所有估计，有对大数N，MLE为近似最小最大估计。因此，对大多数参数模型，当有大量样本时，MLE近似为最小最大估计和贝叶斯估计。ManyNormalMeans情况不成立（不是大样本）13MLE可接受性(Admissibility)一个估计如果在θ所有值上都比其它估计的风险大，则该估计不是我们所希望的。如果存在一个其它的规则，使得则该估计是不可接受的。否则，是可接受的。至少存

5、在一个θ14MLE可接受性可接受性是与其他表示估计好坏的方法有何关系？在一些正则条件下，如果为贝叶斯规则且有有限风险，则它是可接受的。如果的风险为常数且是可接受的，则它是最小最大估计。15MLE许多正态均值(ManyNormalMeans)ManyNormalMeans是一个原型问题，与一般的非参数回归或密度估计等价。对这个问题，以前许多关于极大似然估计的正面的结论都不再满足。令，表示数据，表示未知参数，c>0，这里参数的数目与观测数据一样多16MLEManyNormalMeansMLE为，损失函数为MLE的风险为最小最大估计的风险近似为，且存在这样一个估计能达到该风险。也就是说，存

6、在风险比MLE更小的估计，因此MLE是不可接受的。在实际应用中，风险的差值可能很重要。因此对高维问题或非参数问题，MLE并不是最优估计。另外在非参数场合，MLE的鲁棒性也不是很好。17MLE底线根据这些工具，怎样选择估计呢？如果一个估计是不可接受的，则该估计一定是不好的。如果你信仰贝叶斯观点，则你可以用贝叶斯规则如果最小最大性满足应用要求，可以使用最小最大估计。18MLE模型选择给定一个估计和风险函数，应该选择哪个模型/参数？19MLE“模型”我们说的“模型”有时指的是模型类别，例如所有2个高斯的混合模型和所有3个高斯的混合模型。有时也指在一个类别的模型中的一员，如参数的值为特定值。

7、也就是说，模型的类别是固定的，而考虑的是不同的参数值。在实际应用中，我们通常同时考虑上述两种情况，也就是说：20MLE训练与测试训练数据目标/类别学习模型测试数据应用模型21MLE训练误差与测试误差测试误差，亦称泛化误差(generalizationerror)，是在与训练数据同分布的独立的测试样本上的期望预测误差：训练误差是在训练样本上的平均损失：22MLE训练误差与测试误差我们的目标：选择使测试误差最小的模型M，称为模型选择。23MLE训练误差与测试误