第10章 典型相关分析

《第10章 典型相关分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第十章典型相关分析CanonicalCorrelationAnalysis1.两个随机变量Y与X简单相关系数2.一个随机变量Y与一组随机变量X1,X2,…,Xp多重相关(复相关系数)3.一组随机变量Y1,Y2,…,Yq与另一组随机变量X1,X2,…,Xp典型相关系数何时采用典型相关分析典型相关是简单相关、多重相关的推广；或者说简单相关系数、复相关系数是典型相关系数的特例。典型相关是研究两组变量之间相关性的一种统计分析方法.也是一种降维技术.由Hotelling(1935,1936)最早提出，Cooley

2、andLohnes(1971)、Kshirsagar(1972)和Mardia,Kent,andBibby(1979)推动了它的应用。什么是典型相关分析？典型相关分析是研究两组变量之间相关关系的一种多元统计分析方法．它借用主成分分析降维的思想，分别对两组变量提取主成分，且使两组变量提取的主成分之间的相关程度达到最大，而从同一组内部提取的各主成分之间互不相关，用从两组之间分别提取的主成分的相关性来描述两组变量整体的线性相关关系．典型相关关系研究两组变量之间整体的线性相关关系，它是将每一组变量作为一个整体来

3、进行研究而不是分析每一组变量内部的各个变量．所研究的两组变量可以是一组为自变量，而另一组变量为因变量；两组变量也可以是同等的地位，但典型相关关系要求两组变量都至少是间隔尺度．通常情况下，为了研究两组变量的相关关系，可以用最原始的方法，分别计算两组变量之间的全部相关系数，一共有pq个简单相关系数，这样又烦琐又不能抓住问题的本质。如果能够采用类似于主成分的思想，分别找出两组变量的各自的某个线性组合，讨论线性组合之间的相关关系，则更简捷。在解决实际问题中，这种方法有广泛的应用。如，在工厂里常常要研究产品的q个

4、质量指标和p个原材料的指标之间的相关关系；也可以是采用典型相关分析来解决的问题。如果能够采用类似于主成分的思想，分别找出两组变量的线性组合既可以使变量个数简化，又可以达到分析相关性的目的。例家庭特征与家庭消费之间的关系为了了解家庭的特征与其消费模式之间的关系。调查了70个家庭的下面两组变量：分析两组变量之间的关系。X1X2Y1Y2Y3X11.000.800.260.670.34X20.801.000.330.590.34Y10.260.331.000.370.21Y20.670.590.371.000.

5、35Y30.340.340.210.351.00变量间的相关系数矩阵Y2Y3Y1X2X1典型相关分析的思想：首先分别在每组变量中找出第一对线性组合，使其具有最大相关性，然后再在每组变量中找出第二对线性组合，使其分别与本组内的第一线性组合不相关，第二对本身具有次大的相关性。V2和W2与V1和W1相互独立,但V2和W2相关.如此继续下去,直至进行到r步,两组变量的相关性被提取完为止.Rmin(p,q),可以得到r组变量.典型相关的数学描述一般地,假设有一组变量X1,…,Xp与Y1,…,Yq,我们要研究这两

6、组变量的相关关系,如何给两组变量之间的相关性以数量的描述?当p=q=1时,就是研究两个变量X与Y之间的相关关系.相关系数就是最常见的度量,其定义为当p≥1,q=1(或q≥1,p=1)时,p维随机向量设则称为Y与X1,…,Xp的全相关系数,全相关系数用于度量一个随机变量Y与一组随机向量X1,…,Xp的相关关系.当p,q>1时,利用主成分分析的思想,可以把多个变量与多个变量之间的相关化为两个新的综合变量之间的相关.也就是求和,使得新的综合变量和之间有最大可能的相关,基于这个思想就产生了典型相关分析.§10.

7、1总体典型相关设及为随机向量,我们用X和Y的线性组合和之间的相关性来研究两组随机变量X和Y之间的相关性.我们希望找到和,使最大.由相关系数的定义易得出对任意的常数e,f,c和d,均有这说明使得相关系数最大的并不唯一.故求综合变量常限定,.于是有以下定义.定义10.1.1设p+q维随机向量的均值向量为0,协方差阵>0(不妨设p≤q).如果存在和使得则称是X,Y的第一组(对)典型相关变量,它们之间的相关系数称为第一个典型相关系数.则称是X,Y的第k组(对)典型相关变量,它们之间的相关系数称为第k个典型

8、相关系数(k=2,…,p).如果存在使得典型相关变量的解法设随机向量其中(不妨设p≤q);E(Z)=0;以及D(Z)==1.第一对典型相关变量的求法令则V,W的相关系数求第一对典型相关变量就等价于求和使用拉格朗日乘子法,令(其中1和2为拉格朗日乘子)为求的极大值,对上式分别关于,求偏导,并令其为零,得(10.1.1)再分别用左乘方程(10.1.1)def得则方程组(10.1.1)等价于(10.1.2)则方程组(10.1.2)有