实验三、主成分分析

《实验三、主成分分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、实验三、主成分分析一、实验目的掌握基于离散K-L变换做特征提取的原理和特点，编写基于离散K-L变换的特征提取算法程序。二、实验内容编写基于类间离差矩阵Sb的DKLT特征提取程序，要求：（1）在程序注解中，列写出程序的输入、输出、算法描述、变量说明；（2）对c类问题，求输入样本x的类间离差矩阵Sb；（3）求Sb的本征值l1³l2³…³ld及其对应的本征矢量T=(t1,t2,…,td)，d

2、及众多有关的变量。但是，变量太多不但会增加计算的复杂性，而且也会给合理地分析问题和解释问题带来困难。一般说来，虽然每个变量都提供了一定的信息，但其重要性有所不同，而在很多情况下，变量间有一定的相关性，从而使得这些变量所提供的信息在一定程度上有所重叠。因而人们希望对这些变量加以“改造”，用为数极少的互补相关的新变量来反映原变量所提供的绝大部分信息，通过对新变量的分析达到解决问题的目的。⑴总体主成分1）定义设X1，X2，…，Xp为某实际问题所涉及的p个随机变量。记X=(X1，X2，…,Xp)T，其协方差矩阵为它是一个p阶非负定矩阵。设（1）则有（2）第i个主成分：一般地，在约

3、束条件8及下，求li使Var(Yi)达到最大，由此li所确定的称为X1，X2，…，Xp的第i个主成分。2）总体主成分的计算设是的协方差矩阵，的特征值及相应的正交单位化特征向量分别为及则X的第i个主成分为（3）此时3）总体主成分的性质n主成分的协方差矩阵及总方差记为主成分向量，则Y=PTX，其中，且由此得主成分的总方差为即主成分分析是把p个原始变量X1，X2，…，Xp的总方差分解成p个互不相关变量Y1，Y2，…，Yp的方差之和，即而。第k个主成分的贡献率：；前m个主成分累计贡献率：，它表明前m个主成分Y1，Y2，…，Ym综合提供X1，X2，…，Xp中信息的能力。n主成分Yi

4、与变量Xj的相关系数8由于Y=PTX，故X=PY，从而由此可得Yi与Xj的相关系数为（4）4）标准化变量的主成分在实际问题中，不同的变量往往有不同的量纲，由于不同的量纲会引起各变量取值的分散程度差异较大，这时总体方差则主要受方差较大的变量的控制。为了消除由于量纲的不同可能带来的影响，常采用变量标准化的方法，即令（5）其中这时的协方差矩阵便是的相关矩阵，其中（6）利用X的相关矩阵作主成分分析，有如下结论：设为标准化的随机向量，其协方差矩阵（即X的相关矩阵）为，则的第i个主成分为（7）并且（8）其中为的特征值，为相应于特征值的正交单位特征向量。第i个主成分的贡献率：；前m个主

5、成分的累计贡献率：；与的相关系数为。（2）样本主成分前面讨论的是总体主成分，但在实际问题中，一般（或）是未知的，需要通过样本来估计。设8为取自的一个容量为n的简单随机样本，则样本协方差矩阵及样本相关矩阵分别为（9）其中分别以S和R作为和的估计，然后按总体主成分分析的方法作样本主成分分析。四、实例编程实现某市为了全面分析机械类个企业的经济效益，选择了8个不同的利润指标，14企业关于这8个指标的统计数据如下表所示，试进行主成分分析。表114家企业的利润指标的统计数据变量企业序号净产值利润率（%）xi1固定资产利润率（%）xi2总产值利润率（%）xi2销售收入利润率（%）xi3

6、产品成本利润率(%)xi5物耗利润率(%)xi6人均利润率xi7(千元/人)流动资金利润率(%)xi8140.424.77.26.18.38.72.44220.0225.012.711.211.012.920.23.5429.1313.23.33.94.34.45.50.5783.6422.36.75.63.76.07.40.1767.3534.311.87.17.18.08.91.72627.5635.612.516.416.722.829.33.01726.6722.07.89.910.212.617.60.84710.6848.413.410.99.910.913.

7、91.77217.8940.619.119.819.029.739.62.44935.81024.88.09.88.911.916.20.78913.71112.59.74.24.24.66.50.8743.9121.80.60.70.70.81.10.0561.01332.313.99.48.39.813.32.12617.11438.59.111.39.512.216.41.32711.6分析：样本均值向量为：,样本协方差矩阵为：8由于S中主对角线元素差异较大，因此我们样本相关矩阵R出发进行主成分分析。样本相关矩阵R为：矩