主成分分析及算法

《主成分分析及算法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第21卷第1期苏　州　大　学　学　报(自然科学版)Vol.21,No.12005年1月JOURNALOFSUZHOUUNIVERSITY(NATURALSCIENCEEDITION)Jan.2005文章编号:100022073(2005)0120032205X主成分分析及算法李玉珍,王宜怀(苏州大学计算机科学与技术学院,江苏苏州　215006)摘　要:以主成分分析(PCA)特征结构的理论分析为基础,分别从神经网络和向量量化器两个不同的角度给出了最大主成分线的算法实现和比较,并由此讨论了HEBB算法对学习

2、率的依赖和敏感度.关键词:主成分分析;神经网络;学习率;算法中图分类号:O24212　　　文献标识码:A0　引言主成分分析(principalcomponentanalysis,PCA)也许是多变量分析中最古老和最著名的技术.最早是由[1][2]PEARSON在1901年的生物学理论研究中引入的.1933年,HOTELLING将此想法应用于心理学研究,[3]并得到了进一步的发展.1947年,KARHUNEN独立地用概率论的形式再次将其显现出来,其后,LOE’VE将该理论进一步扩充和完善.故PCA理论也称

3、为KARHUNEN2LOE’VE变换.主成分分析主要产生于以下动因:即希望设计一种变换,将数据集转化为由维数较少的“有效”特征成分来表示,而不减少原始数据所包含的内在信息内容,使其在统计意义下达到方差最优的目的,故该问题亦称为特征抽取.当只截取第一有效成分时,PCA称为最大线性主成分分析.PCA理论可以应用到数据挖掘、信息压缩、图像编码以及模拟识别等诸多领域.1　主成分分析的特征结构分析在文献[4]中,PCA问题被描述如下:d假定x为数据空间R上的服从某一分布的随机向量,且E(x)=0(将向量聚集于中心

4、),那么是否存∧dd在一个可逆的线性变换T:R→R,使得Tx的截取Tx为x的k个(k≤d)顺序特征抽取值.那么PCA问题如何转化为特征值问题?这个可逆的线性变换T是否存在呢?为什么需要这样的转化呢?T为了解决这一系列问题,我们考虑一数据向量x=(x1,x2,⋯,xd)在某个单位方向u的投影:a=TTux=xu.记TR=E[xx]22Tψ(u)=σ=E(a)=uRu这里R称为x的自相关矩阵(d×d矩阵),亦称x的协方差矩阵(covariancematrix),ψ(u)是反映投影值(可以认为是x在某个方向上

5、的变化量)的方差探针,即投影值的方差.X收稿日期:2004-08-10基金项目:江苏省教育厅自然科学基金资助项目(02KJD52001)作者简介:李玉珍(1961-),女,江苏泰州人,在读硕士研究生,主要从事数据处理研究.©1994-2006ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.http://www.cnki.net第1期　　　　　　　　　　　　　　　　　　　李玉珍,王宜怀:主成分分析及算法33d(ψ(u))为了使

6、这个方差探针达到稳定值,利用极值理论,考虑=0,可利用变分ψ(u+δu)=ψ(u)推du出:T(δu)Ru=0(111)2TT再由‖u‖=1,‖u+δu‖=1,推出(δu)u=0,因此u使ψ(u)=uRu取得极值的充要条件是存在数λ,使得Ru=λu,即u为R的特征向量.由R的定义,我们得知R是对称、半正定的,所以其特征值必定非负.假定R的特征值互不相同,则对应的特征向量所决定的特征直线一定是唯一的.设R有d个互不相同的特征值:λ1,λ2,⋯,λd,且满足:λ1>λ2>⋯>λd,对应的特征向量分别为:u1

7、,u2,⋯,ud,则一定存在正交相似变换U,U=[u1,u2,⋯,ud],满足:1i=jTuiuj=δij=0i≠j使得TURU=Λ(112)T-1这里Λ=diag[λ1,λ2,⋯,λd]且有U=U.展开式(1.2)可知,当u为特征向量ui时,不但ψ(ui)极值存在,而且有ψ(ui)=λi(i=1,⋯,d).TT因此,任一随机变量x,令ai=uix=xui(i=1,⋯,d),则x可以写成dTx=∑aiui=U(a1,a2,⋯,ad)(113)i=1k∧T令x=∑aiui=[u1,u2,⋯,uk](a1,

8、a2,⋯,ak)(k