07典型相关分析

《07典型相关分析》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、典型相关分析专题§9.1引言典型相关分析是研究两组变量之间相关关系的一种统计分析方法，它能够真正反映两组变量之间的相互线性依赖关系。例如，F.V.Waugh（1942）研究了美国1921年至1940年每年牛肉、猪肉的价格与按人口平均的牛肉和猪肉的消费量之间的相互关系，可归结为研究这两组变量之间的相互依赖关系。采用典型相关分析，可由第一组变量构造一种价格指数，由第二组变量构造一种消费量指数，这两种指数分别为这两组变量的典型变量，而后研究这两种指数间的相互关系。又如，在工厂里常常要研究产品的个质量指标（）与原材料的个质量指标之间的相关关系，这也是需采用典型相关分析来解决的问

2、题。一般地，为研究两组变量和之间的相关关系，常采用类似于主成分的思想，找出第一组变量的某个线性组合，并找出第二组变量的某个线性组合，于是我们把研究两组变量之间相关的问题化为研究两个变量与之间的相关问题，希望使与的相关达到最大。我们称这种相关为典型相关，基于这种原则的分析方法称为典型相关分析。§9.2总体典型相关一、典型相关的定义及导出设和是两组变量，且，，，即有其中典型相关分析研究的是，的线性函数与的线性函数22之间的相关关系，其中和我们先来计算一下与的相关系数（9.2.1）（9.2.2）所以，与的相关系数为（9.2.3）由于对任意非零常数和，有因此，为避免不必要的结果

3、重复，我们常常限定与均为标准化的变量，即附加约束条件，（9.2.4）这等价于约束条件，（9.2.5）于是，我们的问题归结为在约束条件（9.2.4）式或（9.2.5）式下，求和，使得（9.2.6）达到最大。令，，于是，。利用柯西不等式，有记为的秩，则22从而，非负定矩阵有个正特征值，分别记为，相应的单位特征向量分别为，其余个零特征值的单位特征向量分别为，是正交矩阵。结论：（特征值；特征向量；）（特征值；特征向量；）（特征值；特征向量）（特征值；特征向量）其中因此，由上述不等式和谱分解定理有若取，，则22备注：的最大特征值为，对应的特征向量为，故这里是的正平方根。所以，当取

4、，时，达到最大值（显然）。我们称，（9.2.7）为第一对典型相关变量，称为第一个典型相关系数，称，为第一对典型系数。利用和具有相同非零特征值的性质，可知都具有相同的非零特征值。令，，，（9.2.8）其中是的正平方根。由于22（9.2.9）所以（9.1.10）即为的相应于的正交单位特征向量；22（9.2.11）即为的相应于的正交单位特征向量；（9.2.12）即为的相应于的正交单位特征向量。第一对典型相关变量提取了原始变量与之间相关的主要部分，如果这一部分还显得不够，可以在剩余相关中再求出第二对典型相关变量，，也就是应满足，，且应使得第二对典型相关变量不包括第一对典型相关变

5、量所含的信息，即在这些约束条件下使得达到最大。一般地，第（）对典型相关变量，是指，找出和，在约束条件，，，，（9.2.13）22下，使得达到最大。为此，令，，于是约束条件（9.2.13）式等价于，，，（9.2.14）22当取时，可验证满足（9.2.13）式，且22故这时达到最大值，称它为第个典型相关系数，称，为第对典型系数。二、典型相关变量的性质1．同一组的典型变量互不相关设的第对典型变量为，，（9.2.15）则有，，，，，（9.2.16）表明由组成的第一组典型变量互不相关，且均有相同的方差1；由组成的第二组典型变量也互不相关，且也均有相同的方差1。2．不同组的典型变量

6、之间的相关性，（9.2.17）22（9.2.18）表明不同组的任意两个典型变量，当时，相关系数为，当时是彼此不相关的。记，，则上述性质可用矩阵表示为，，或其中223．原始变量与典型变量之间的相关系数记则上述四个等式也可表达为4．简单相关，复相关和典型相关之间的关系当时，与之间的典型相关（唯一）就是它们之间的简单相关；当或时，与22之间的典型相关（唯一）就是它们之间的复相关。因此，复相关是典型相关的一个特例，而简单相关是复相关的一个特例。从第一个典型相关的定义可以看出，第一个典型相关系数至少同的任意分量与的复相关系数一样大，即使所有这些复相关系数都很小，第一个典型相关系数

7、仍可能很大（对也一样）；同样，从复相关的定义也可以看出，当时，与之间的复相关系数也不会小于与的任意分量之间的相关系数，即使所有这些相关系数都很小，复相关系数仍可能很大。三、从相关矩阵出发计算典型相关有时，与的各分量的单位不全相同，我们希望在对各分量作标准化变换之后再作典型相关分析。记，，，，为的相关矩阵，同时也是的协方差矩阵。对与的各分量作标准化变换，即令，（9.2.23）现在我们来求和的典型相关变量，，。22于是因为所以即即即即（备注：）所以同理（备注：）由此可见，，为和的第对典型系数，其第个典型相关系数仍为，在标准化变换下具有不变性，