矩阵分析与应用试卷

《矩阵分析与应用试卷》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、矩阵分析与应用试卷1.简述K■均值算法2.简述最小平方误差算法3.简述正态分布的最小错误率贝叶斯决策规则4.简述贝叶斯估计与贝叶斯学习5.简述K-L变换的多类模式特征提取1.K-means算法是硬聚类算法，是典型的局域原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最有分类，使得评价指标J最小。算法采用误差平方和准则函数作为聚类准则函数。K-均值算法的聚类准则是使每一聚类中，多模式点到该类别的中心的距离的平方和最小。

2、其基本思想是：通过迭代，主次移动各类的中心，直到得到最好的聚类为止。主要步骤如下：第一步：适当地选取m个类的初始中心乙⑴,Z2⑴，•••，Zm⑴，初始中心的选择对聚类结果有一定的影响，初始中心的选择一般有如下几种方法：1）根据问题的性质和经验确定类别数m,从数据中找出直观上看来比较适合的m个类的初始中心。2）将全部数据随即地分为m个类型，计算每类的重心，将这些重心作为m个类的初始中心。第二步：在第k次迭代中，对任一样本X按如下的方法把它调整到m个类别屮的某一类别屮去。对于所有的i工j,i=1,2,•••,m,如果〃X・ZF）〃＜〃X・ZF）〃，则XeS/k）其中

3、SV是以ZF）为中心的类。笫三步：由第二步得到SF）类新的中心式屮，叫为SV类中的样木数。Zj（k+"是按照使J最小的原则确定的，J的表达式为：加II2j珞E/-zr/=1XwS屮第四步:对丁所有的i=1,2•••,m,如果Z严1）两（气则迭代结束，否则转到第二步继续迭代。这种算法的结果受到所选聚类中心的数目和其初始位置以及模式分布的几何性质和读入次序等因素的影响，并且在迭代过程中又没有调整类数的措施，因此可能产生不同的初始分类得到不同的结果，这是这种方法的缺点。可以通过其他的简单的聚类中心试探方法，如最大距离法，找出初始中心，提高分类效果。2.最小平方误差算法

4、（以下简称MSE）,是对准则函数引进最小均方误差这一条件而建立起来的，这种算法的主要特点是在训练过程中判定训练集是否线性町分，从而对结果的收敛性做出判断。我们把不等式纽变为如下形式：/儿二*＞（）bn为给定的任意的正常数。将上式联立方程组可以得到：Ya=b其中Y=[*y……以F，为N*d的矩阵,y[为规范化增广样本向量。通常样本数N大于样本维度d,故Y为长方形阵且般列满秩。实际上这是方程个数多余未知数的情况，一般为矛盾方程组无精确解。因此定义误差向量：e=Ya-b并且定义误差准则函数N人（°）=

5、

6、e『=

7、

8、Ya・blF=工（刃九―仇严/

9、=1然后寻找一个使得

10、固定值Js（a）极小化的a作为问题的解。这就是矛厉方程组的最小二乘近似解，也就是所谓的伪逆解或者是MSE解。使用解析法求出伪逆解。首先对人（。）求梯度：N▽人（Q）=工2（/y”一bN严2Yt（Ya"）n-发生在Ya=b时。准则函数的值等于/儿和*误差的平方之和，此时i=,2,…,N,我们的目标是使这个误差的平方和最小，因此称这一准则导出的算法为最小均方误差算法。我们可以发现，当b=[N/N1,N/N1,N/N1……N/N2,N/N2……]T（N/N1冇N1个,N/N2冇N2个,N=N1+N2）,MSE解『等价于Fisher解。同样，当样本N趋于无穷的时候，

11、如果令b=llN,其中UN中元素均是1，则它以最小均方误差逼近贝叶斯判别函数。