主成分分析概要

《主成分分析概要》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、主成分分析概要在对某一事物进行实证研究中，为了全面、准确地反映出事物的特征及其发展规律，人们往往要考虑与其有关的多个指标，在多元统计中也称为变量。这样就产生了如下的问题：一方面，人们为了避免遗漏重要的信息而考虑尽可能多的指标，而另一方面，随着考虑指标的增多增加了问题的复杂性，同时由于各指标均是对同一事物的反映，不可避免地造成信息的大量重叠，这种信息的重叠有时甚至会抹杀事物真正特征和内在规律。因此，人们就希望在定量研究中设计的变量较少，而得到的信息量又较多O主成分分析正是研究如何通过原来变量的少数几个线性组合来解释原来变量绝大多数信息的一种多元统计方法。一般而言，利用主成分分析

2、得到的主成分与原始变量之间有如下基本关系：1、每个主成分都是各原变量的线性组合；2、主成分的数目大犬少于原始变量的数目；3、主成分保留了原始变量绝大多数信息；4、个主成分之间互不相关。1•主成分的一般定义设有随机变量Xi，X2，…,Xp,其样本均数记为石石…，或,样本标准蒼己为S

3、,S2,…,S"首先作标准化变换我们有如下的定义：⑴若丫1=。11兀1+412兀2+・・・+。1丹，，且使Wr(Yl)最大,则称Y为第一主成分；(2)若丫2=。21*1+。22无2+・・・+。2声"，(。21，。22，•…,。2卩)垂直于@11，012，…，01)且使Var(Y2)最大，则称丫2为

4、第二主成分；(2)类似地，可有第三、四、五…主成分，至多有°个。2.主成分的性质主成分y2,与具有如下儿个性质：(1)主成分间互不相关，即对任意i和办c•和C,的相关系数Corr(Yi，Yj)=QiHj(2)组合系数(an，ai2,两)构成的向量为单位向量，(3)各主成分的方差是依次递减的，即%厂(丫1)三％厂(丫2)三…上％厂(乙)(4)总方差不增不减，即Var(Y[)+Var(Y2)+...+Var(Yp)=Var(X)+Var(X2)+..・+Var(xp)=P这一性质说明，主成分是原变量的线性组合，是对原变量信息的一种改组，主成分不增加总信息量，也不减少总信息量。(

5、5)主成分和原变量的相关系数Co”(Yk，勾)二伽JVar(YJ=%扬(6)令Xi，X?,…,X”的相关矩阵为R,(g，族2，…，。妙)则是相关矩阵/?的第k个特征向量(eigenvector)o而且，特征值几就是第比主成分的方差，即Var(Yk)=九其中入'为相关矩阵R的第k个特征值(eigenvalue)兄1上兄2三…三易上03.主成分分析计算的步骤(见讲课的课件)2.主成分的数目的选取前已指出，设有〃个随机变量，便有卩个主成分。由于总方差不增不减，岭，b等前儿个综合变量的方差较大，而纬，等后儿个综合变量的方差较小，严格说来，只有前儿个综合变量才称得上主（要）成份，后几个

6、综合变量实为“次”（耍）成份。实践屮总是保留前儿个，忽略后儿个。保留多少个主成分取决于保留部分的累积方差在方差总和中所占百分比（即累计贡献率），它标志着前几个主成分概括信息之多寡。实践中，粗略规定一个方分比便可决定保留几个主成分；如果多留一个主成分，累积方差增加无儿，便不再多留。