贝叶斯决策理论.ppt

《贝叶斯决策理论.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第2章贝叶斯(Bayes)决策理论2.1引言（已知条件、欲求解的问题）2.2几种常用的决策规则2.3正态分布时的统计决策2.4离散情况的贝叶斯决策2.5分类器的错误率问题2.1引言模式识别的分类问题：根据待识别对象的特征观察值，将其分到某一个类别中Bayes决策理论的基本已知条件①已知决策分类的类别数为c，各类别的状态为：②已知各类别总体的概率分布（各个类别出现的先验概率和类条件概率密度函数）Bayes决策理论欲解决的问题如果在特征空间中观察到某一个（随机）向量x=(x1,x2,…,xd)T那么，应该

2、将x分到哪一个类才是最合理的？2.2几种常用的决策规则2.2.1基于最小错误率的Bayes决策2.2.2基于最小风险的Bayes决策2.2.3Neyman-Pearson决策2.2.4最小最大决策2.2.5序贯分类方法2.2.1基于最小错误率的Bayes决策利用概率论中的Bayes公式进行分类，可以得到错误率最小的分类规则已知条件①类别状态的先验概率②类条件概率密度根据Bayes公式得到状态的后验概率基本决策规则ifthen将x归属后验概率最大的类别后验=似然x先验/证据因子两类情况下的Bayes决策

3、规则及其变型①Bayes决策规则②变型1（消去相同的分母）③变型2④变型3（取似然比的自然对数的负值）似然比似然比阈值两类的后验概率相等时，采取的策略：归属其中一类拒绝（设置一个拒绝类，供进一步分析）例：某地区细胞识别中，正常和异常细胞的先验概率：P(ω1)=0.9，P(ω2)=0.1有未知细胞x，对应的类条件概率密度：P(x

4、ω1)=0.2，P(x

5、ω2)=0.4判别该细胞属于正常细胞还是异常细胞？解：先计算后验概率：属于正常细胞，注意：先验概率起主导作用如果先验概率相等，则属于异常细胞正确分类与错

6、误分类正确分类：将样本归属到样本本身所属的类别错误分类：将样本归属到非样本本身所属的类别以一维、两类情况为例，证明Bayes规则使分类错误率最小（平均）错误率定义为条件错误概率Bayes决策规则：此时，x(ω2)的条件错误概率此时，x(ω1)的条件错误概率条件错误概率Bayes公式全概率公式平均错误率t是两类的分界点，x轴分成两个区间只有当t取两类后验概率相等的点时，错误率才是最小的（黄颜色区域变成零）红＋黄绿2.2.2基于最小风险的Bayes决策在医学诊断上，有误诊（无病说有病）、漏诊。在雷达防空中

7、，有虚警、漏警（有飞机说成无飞机）。这些错误判断会造成不同的后果和损失。基于最小风险的Bayes决策是：在考虑各种错误可能造成不同的损失的情况下的Bayes决策规则基本概念决策（行动）：所采取的决定决策（行动）空间：所有可能决策所构成的一个集合损失：每一个决策将付出的代价，通常为决策和自然状态（类）的函数状态决策…c个自然状态（类）a个决策损失一般决策表说明：状态空间由c个自然状态（c个类）组成：决策空间由a个决策组成：a=c或者a=c＋1（拒绝类）损失函数有a×c个值：含义：当真实状态为ωj而所采取

8、的决策为αi时所造成的损失大小已知后验概率最小错误率Bayes决策取后验概率的最大者对于给定的模式向量x在决策表中，每一个决策αi对应存在c个损失。对于x，定义在采取决策αi时的条件期望损失（条件风险）为：x是随机向量的观察值，对于其不同观察值，采取不同的决策αi时，对应不同的条件风险。所以，不同的x，将会采用不同的决策决策可以看成随机向量x的函数，记为α(x)（随机变量），可以定义期望风险为注：积分在整个特征空间上进行差别：条件风险R(αi

9、x)只反映出，对某一个x取值，采取决策行动αi所带来的风险

10、期望风险R则反映，在整个特征空间中不同的x取值，采取相应的决策α(x)所带来的平均风险目标：所采取的一系列决策行动应该使期望风险达到最小手段：如果在采取每一个决策时，都使其条件风险最小，则对所有的x作决策时，其期望风险也必然达到最小决策：最小风险Bayes决策最小风险Bayes决策规则：其中采取决策最小风险Bayes决策的步骤①在已知类先验概率和类概率密度函数的情况下，计算待识x的后验概率（Bayes公式）②根据决策表，计算每一个决策的条件风险③找出条件风险最小值所对应的决策，对x采取该决策（归属到该

11、类）例：区分正常与异常细胞正常细胞异常细胞后验概率条件风险决策：归属到异常细胞原因：损失起主导作用0610正常异常归正常归异常两种决策规则之间的关系定义0-1损失函数意义：正确决策没有损失，错误决策损失都为1附件条件：c个类别对应c个决策（无拒绝类）对x采取决策（归属）ωi时的条件错误概率结论：在0-1损失函数的条件下，使风险最小的Bayes决策等价于使错误率最小的Bayes决策，后者是前者的特例最小最小最大2.2.3Neyman-Pearson(聂曼-