曾啸贝叶斯分类.doc

《曾啸贝叶斯分类.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、贝叶斯模式分类器硕937班姓名：曾啸学号：3109091004一、实验目的通过本次实验了解模式识别课程的用处，初步了解贝叶斯判别准则，并深入掌握正态分布模式的贝叶斯分类器，观察各种因素及参数对分类错误概率的影响。b5E2RGbCAP二、实验原理模式识别的分类问题是根据识别对象特征的观察值将其分到某个类别中去，统计决策理论是处理模式分类问题的基本理论之一，它对模式分析和分类器的设计有着实际的指导意义。贝叶斯决策理论方法是统计模式识别中的一个基本方法，用这个方法进行分类时要求：p1EanqFDPw分类别总体的概率分布是已知的；决策分类的类别数是一定的。在模式分类问题中，人们往往希

2、望尽量减少分类的错误，从这样的要求出发，利用概率论中的贝叶斯公式，就能得出使错误率为最小的分类规则，称之为基于最小错误率的贝叶斯决策。应用贝叶斯最小错误概率判别原则来分类，可使得分类器发生分类错误的概率最小。DXDiTa9E3d对于两类模式集的分类，即对于两个类别和，要确定是属于类还是类，这应由来自类或类的后验概率来判断，其中是维观测向量，表示为：RTCrpUDGiT如，则<1－1）如，则在通常情况下后验概率很难得到，然而利用贝叶斯公式，后验概率可由类别的先验概率和条件概率算出，即由式<1－1），判别规则可表示为：如果，则；如果，则；对于具有正态分布的两类模式来说，多元正态分

3、布的密度函数为：式中是维列向量；是维均值向量；是8/8维协方差矩阵，是的逆矩阵，是的行列式；是的转置，且；对于正态分布的两类模式来说：可见，多变量正态密度函数完全由均值向量及协方差矩阵所确定。取自一个正态总体的样本模式的分布是聚集于一个集群之内，其中心决定于均值向量，而其分布形状决定于其协方差矩阵，分布的等密度点的轨迹为超椭圆，椭圆的主轴与协方差矩阵的本征向量的方向一致，主轴的长度被本征值所决定。5PCzVD7HxA根据类别判别函数：对于两类问题，判别规则如下：，则；，则对于正态密度函数，由对数函数的单调性，对判别函数取自然对数：代入得：常数项两两想减时可以消去，故可以将旁别

4、函数进行如下改造：这就是正态分布模式的贝叶斯判别函数。可以看出是超二次曲面，所以对于两类正态分布模式的贝叶斯分类器来说，两个模式类别之间用一个二次判别界面分开，就可以求得最优的分类效果。jLBHrnAILg三、实验步骤实验中对三组正态分布模式的数据进程序的基本思想如下：1.根据样本数N,对三组原始数据分别计算它们的均值向量和协方差矩阵；在假定先验概率相同的情况下，对于其他数据分别计算其判别函数，根据判别函数分别在任两组数据间进行分类。N的取法采用两种识别中最经典的取法：1.取三留一法，取37个数据做训练集，取13个数据做测试，分别按正序和反序取1次；2.训练集即测试集。xHA

5、QX74J0X2.设定不同的先验概率，重复1，重新计算其判别函数，进行分类。四、实验结果与分析8/81、已知有三组数据，每组分别有50个样本模式，样本是4维的。在这里我们先假设，即两个类别的概率相同。对于第一类和第二类数据在不同学习样本下的正确率：正态分布的两类X1与X2之间的分类样本选取方式取三留一正序取三留一反序测试集即训练集X1的分类正确率100%100%100%X2的分类正确率100%100%100%对于第一类和第三类数据在不同学习样本下的正确率：正态分布的两类X1与X3之间的分类样本选取方式取三留一正序取三留一反序测试集即训练集X1的分类正确率100%100%100

6、%X3的分类正确率100%100%100%对于第二类和第三类数据在不同学习样本下的正确率：正态分布的两类X2与X3之间的分类样本选取方式取三留一正序取三留一反序测试集即训练集X2的分类正确率92.3%100%94%X3的分类正确率100%100%98%实验结果表明经典的分类样本选择方法对于这三组两两分类问题表现出了一定的优越性；第二类和第三类分类时，样本顺序的选择对结果有比较大的影响。LDAYtRyKfE2、分别设置先验概率为0.8与0.2交替，重复上面的实验：8/8正态分布的两类X1与X2之间的分类样本选取方式取三留一正序取三留一反序测试集即训练集X1的分类正确率100%1

7、00%100%X2的分类正确率100%100%100%正态分布的两类X1与X2之间的分类样本选取方式取三留一正序取三留一反序测试集即训练集X1的分类正确率100%100%100%X2的分类正确率100%100%100%正态分布的两类X1与X3之间的分类样本选取方式取三留一正序取三留一反序测试集即训练集X1的分类正确率100%100%100%X3的分类正确率100%100%100%正态分布的两类X1与X3之间的分类样本选取方式取三留一正序取三留一反序测试集即训练集X1的分类正确率100%100%100%X