《判别分析》PPT课件

《《判别分析》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第八章　判别分析DISCRIMINATEANALYSIS距离判别　　贝叶斯判别Fisher判别判别分析利用已知类别的样本培训模型，为未知样本判类的一种统计方法。它产生于本世纪30年代。近年来，在自然科学、社会学及经济管理学科中都有广泛的应用。判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。然后，当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。§1什么是判别分析§2距离判别（一）马氏距离距离判别的最直观的想法是计算样品到第i类总体的平均数的距离，哪个

2、距离最小就将它判归哪个总体，所以，我们首先考虑的是是否能够构造一个恰当的距离函数，通过样本与某类别之间距离的大小，判别其所属类别。设是从期望μ=和方差阵Σ=的总体G抽得的两个观测值，则称样本X和Gi类之间的马氏距离定义为X与Gi类重心间的距离：X与Y之间的Mahalanobis距离马氏距离和欧式距离之间的差别马氏距离欧氏距离马氏距离有如下的特点：2、马氏距离是标准化后的变量的欧式距离1、马氏距离不受计量单位的影响;3、若变量之间是相互无关的，则协方差矩阵为对角矩阵（二）两个总体距离判别法先考虑两个总体的情况，设有两个协差阵相同的p维正态总体，对给定的样

3、本Y，判别一个样本Y到底是来自哪一个总体，一个最直观的想法是计算Y到两个总体的距离。故我们用马氏距离来给定判别规则，有：1、方差相等则前面的判别法则表示为当和已知时，是一个已知的p维向量，W（y）是y的线性函数，称为线性判别函数。称为判别系数。用线性判别函数进行判别分析非常直观，使用起来最方便，在实际中的应用也最广泛。2、当总体的协方差已知，且不相等随着计算机计算能力的增强和计算机的普及，距离判别法的判别函数也在逐步改进，一种等价的距离判别为：设有个K总体，分别有均值向量μi(i=1,2,…,k)和协方差阵Σi=Σ，各总体出现的先验概率相等。又设Y是

4、一个待判样品。则与的距离为（即判别函数）(三)多总体的距离判别法上式中的第一项Y’Σ-1Y与i无关，则舍去，得一个等价的函数将上式中提-2，得则距离判别法的判别函数为：注：这与前面所提出的距离判别是等价的.判别规则为（四）对判别效果做出检验1、错判概率由上面的分析可以看出，马氏距离判别法是合理的，但是这并不意谓着不会发生误判。两总体分别服从其判别函数为2、交叉核实交叉核实法的思想是：为了判断第i个观测的判别正确与否，用删除第i个观测的样本数据集计算出判别函数，然后用此判别函数来判别第i个观测。对每一个观测都这样进行。交叉核实检查比较严格，能说明所选择判别

5、方法的有效性。交叉核实可以检验所用方法是否稳定。交叉核实可以解决样本容量不大的情形，改变样本，来检验方法是否稳定的问题。判类原类合计加权错判率：设qi是第i类的先验概率，pi是第i类的错判概率，则加权错判率为简单错判率：距离判别只要求知道总体的数字特征，不涉及总体的分布函数，当参数未知和协方差时，就用样本的均值和协方差矩阵来估计。距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即先验概率，没有考虑到错判的损失。贝叶斯判别法正是为了解决这两个问题提出的判别分析方法。§3贝叶斯判别法办公室新来了一个雇员小王，小王是好人还是坏人大家都在猜测。按人们主

6、观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2，一天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人。。一、最大后验准则距离判别简单直观，很实用，但是距离判别的方法把总体等同看待，没有考虑到总体会以不同的概率（先验概率）出现，也没有考虑误判之后所造成的损失的差异。一个好的判别方法，既要考虑到各个总体出现的先验概率，又要考虑到错判造成的损失，Bayes判别就具有这些优点，其判别效果更加理想，应用也更广泛。贝叶斯公式是一个我们熟知的公式

7、设有总体，具有概率密度函数。并且根据以往的统计分析，知道出现的概率为。即当样本发生时，求他属于某类的概率。由贝叶斯公式计算后验概率，有：判别规则则判给。在正态的假定下，为正态分布的密度函数。则判给。上式两边取对数并去掉与i无关的项，则等价的判别函数为：特别，总体服从正态分布的情形问题转化为若，则判。当协方差阵相等则判别函数退化为令问题转化为若，则判。完全成为距离判别法。令有问题转化为若，则判。当先验概率相等，二、最小平均误判代价准则设有总体，具有概率密度函数。并且根据以往的统计分析，知道出现的概率为。又D1，D2，┅，Dk是R(p)的一个分划，判别法则为

8、：当样品X落入Di时，则判关键的问题是寻找D1，D2，┅，Dk分划，这个分划应该