典型相关分析(译文)

《典型相关分析(译文)》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、第十四章典型相关分析利用低维映射的方法可以更好的理解复杂的多变量数据结构。对于两个数据集的联合研究，我们需要知道哪种低维映射方法能够用來发现两个样本的联合数据结构。典型性关分析(canonicalcorrelationanalysis,CCA)是一种川來发现和两哈两个变量Z间的多元统计分析标准工具。该方法的基础技术是映射。首先定义一个指数(多元变量的映射)，它与每个样本的其他变量指标Z间的相关性得到最大化。典型相关分析的目的就是最大化两个数据集的低维那个蛇之间的关系(冇相关系数度最)。通过两个变最之

2、间的联合协方茅分析可以得到典型想关向量。该技术经常被应用于市场化例了中，以分析价格因了与其他变量(比如设计、公平等)的关联。最后会检验和评估所得到的这种关联性的显著程度。14.1最有趣的线性组合典型相关分析能够识别并量化两组变最之间的关联程度，该技术最早是由Hotelling在935年捉出的，他分析了算术的熟读和能力之间的相关程度。其他的例子分析了政府政策变量与经济表现Z间的联系，以及工作和公司特征Z间的联系。假定我们冇两个随机变虽XeR和丫wR7，需要找到一个指标來描述X与Y之间的联系。典型相关分

3、析是基于随机变最的线性指数(即线性组合)：aTX和歹丫典型相关分析要找到向量a和b使得指数/X和Z/Y的关系能够被量化□易于解释。更准确的说，需要找到“最启趣的”映射a和b,来最人化两个指数的相关关系：PGb)弋詁接下来，我么吗进一步考察两个映射之间的关系式P(a,b)。假定一X-「工XX工刃”_Y其中，协方差结构的子距阵由下式给出：Var(x)二工xxSq)Var(Y)=^rr(PxP)Cov(X,Y)=E(X-“)(Y〜J二工XY二工二(qxp)利用式(3.7)和式(3.26),可得:P(ci,

4、b)=(/工xM)%(//》,)%因此，对于任意的ceR+,有p(cci、b)=pab)°基于单位不变性，我们可以重新调节映射a和b,以等价求解:MAX=aTYXYba.b约束条件为。工XX^ib'》xxb=对于该问题，定义(14.3)y「％乙XX乙XY乙YY回忆定理2.2中关于K(q*p)的奇异值分解(SVD)，矩阵K可以分解为K=fAA7其中「=(/,・・・，％)A=(4…，戈)(14.4)A二d/og(人由式14.3和式2.15,可知k=rank{K)=rank(^XY)=rank(^jYX

5、)且人n易、…人是®=kL和；?2=ktk的非零特征值，儿和q是M和M的标准特征向量。现在，对定义向量4二工蠢(14.5)(14.6)它们被称为典型和关向R(canonicalcorrelationvectors)□利用这些典型相关向量，我们定义下述典型相关向量(canonicalcorrelationvectors)(14.7)(14.8)对于i=l,......〃匕数值p=几#被称为典型相关系数(canonicalcorrelationcoefficents).山式(14.4)奇界值分解的性质，

6、我们有Cov^j)=a^xx^j=/I/j=(o寫(14.9)Co@(p)也满足同样的关系式。下面的定理将告诉我们典型相关向量是式(14.1)最大化问题的解。定理14.1对于任意给定的r,

7、Xa)(aTy}XYb)约束条件为max//工炳b。由定理2.5,改嘴人话由下列矩阵最大的特征值给出由推论2.2,唯一的非零特征值等于(14.11)在满足该定理约束条件的前提下基于a来最人化式(14.11)。令厂工炸a‘式(14.11)等于：/工怡丫灯工初工/工為=因此，求解下面的等价问题maxyTNxy(14.12)约束条件为YTY=1,力＞=0(z=1,……,r-l)o注意，齐是M的对应于钱r・l个最人特征值的特征向量。因此，依据定理9.3,式(14.12)的最大化问题的求解就是耍使得了等于对应

8、于第厂个最大特征值的特征变量，即y=Yt或Q二勺。这样得到：Cr)=^Njr=Ar^y=Ar(iii)计算当d二色和吋的最大化值。山K的奇并值分解得到K8r=pr7r,所典型相关向量为"工x山=力K。=pj=；yr=pr■X■"XX工XY]]YV9工a=L偸勺=工唸1最大化了下列典型变量之间的相关关系：7i=X心:Y典型变量〃和0的协方差在下一个定理中给出。定理14.2令7•和0为第i个典型相关变量(i=l，.…,k).定义(p=©....g,其中A在式(14.4