资源描述：
《主成分分析算法解析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、主成分分析算法的研究报告人：周卫林2016.4.151背景8应用4几何意义2提出主成分分析算法3原理5数学描述6数学推导7计算步骤9程序演示主成分分析算法的背景指标在实际工程领域的研究中，为了全面、系统地分析问题，我们必须考虑众多的影响因素。在多元统计分析中也称为变量。主成分分析算法的背景每个变量都在不同程度上反映了所研究问题的某些信息，并且变量之间彼此有一定的相关性，因而使得统计后的数据反映的信息在一定程度上存在重叠。主成分分析算法的产生原因主成分分析算法的背景在用统计方法研究多变量问题时，变量太多
2、会大大增加计算量和问题的复杂度，会耗费很多硬件、网络资源，所以人们希望在进行定量分析的过程中，通过较少的变量得到较多的信息量。主成分分析算法的产生原因主成分分析算法的提出主成分分析(PrincipalComponentAnalysis)首先是由K.Pearson在1901年的生物学理论研究中引入的；之后H.Hotelling将此方法推广到心理学中随机向量的情形，使主成分分析得到进一步发展；1947年，Karhunen独立地用概率论的形式再次描述了主成分分析算法；其后，Loe’ve将该理论进一步扩充和完
3、善。因此主成分分析也有其它名称，又叫做KLT(Karhunen一LoeveTransform)或者Hotelling变换。卡尔皮尔逊（KarlPrarson,1857-1936），英国生物学家和统计学家。他是现代统计学的奠基人之一，他的主要成就和贡献是在统计学方面。他开始把数学运用于遗传和进化的随机过程，首创次数分布表与次数分布图，提出一系列次数曲线；推导出卡方分布，提出卡方检验，用以检验观察值与期望值之间的差异显著性；发展了回归和相关理论；为大样本理论奠定了基础。皮尔逊的科学道路，是从数学研究开始，
4、继之以哲学和法律学，进而研究生物学与遗传学，集大成于统计学。卡尔皮尔逊（KarlPrarson,1857-1936），英国生物学家和统计学家。他是现代统计学的奠基人之一，他的主要成就和贡献是在统计学方面。他开始把数学运用于遗传和进化的随机过程，首创次数分布表与次数分布图，提出一系列次数曲线；推导出卡方分布，提出卡方检验，用以检验观察值与期望值之间的差异显著性；发展了回归和相关理论；为大样本理论奠定了基础。皮尔逊的科学道路，是从数学研究开始，继之以哲学和法律学，进而研究生物学与遗传学，集大成于统计学。主
5、成分分析算法的原理以某些线性组合来表示原始数据，再从这些线性组合中尽可能快地提取原始数据的信息。当第一个线性组合不能提取更多的信息时，再考虑用第二或更多的线性组合继续快速提取数据信息……直到所提取的信息与原始数据包含的信息相差不多或者满足用户精度要求。这些线性组合依次被称为第一主成分(主分量)、第二主成分(主分量)……主成分分析在二维空间的几何意义主成分分析在二维空间的几何意义相当于坐标旋转。主成分分析在二维空间的几何意义主成分分析在二维空间的几何意义相当于坐标旋转。主成分分析在二维空间的几何意义经过
6、坐标变换可以看到，在新坐标系y1Oy2下m个散点的坐标Y1和Y2几乎不相关。散点总是沿着y1和y2方向分布，它们在y1轴上的方差达到最大，在y2轴上的方差次之，所以在这两个方向上散点的离散程度很小。在这里，我们把Y1称为第一主成分，Y2称为第二主成分。主成分分析的数学描述主成分分析就是针对原始数据，要寻求那些主成分并以它们为坐标轴构建一个新的坐标系，使得原始数据在新坐标轴上的投影的方差最大。主成分分析可用数学语言描述为:给定n维空间中的m个数据(如图像信息、工业参数、基因指标等)，寻求一个nxn维的变
7、换矩阵W,使得Y=[y1,y2,…,ym]=WTX，而且满足新坐标系下各维之间数据的相关性最小，或者说一个去相关性的过程。主成分分析的数学推导在下列所有运算中均有i、k∈[1，n]，j∈[1，m]。假设有m个n维数据组成的矩阵其中，xi=[xi1,xi2,…,xim]。X的均值矩阵和协方差矩阵分别记为主成分分析的数学推导另外，假设转换矩阵其中，wi=[wi1,wi2,…,win]T。主成分分析的数学推导考虑如下的线性变换：用矩阵形式表示为：主成分分析的数学推导我们需要寻求一组新的变量Y1,Y2,...
8、,Yd(d≤n)，这组新的变量要求能充分地反映原变量X1,X2,...,Xn的信息，而且相互独立。对于Y1,Y2,...,Yd有：这样我们所要解决的问题就转化为，在新的变量Y1,Y2,...,Yd相互独立的条件下寻求，使得达到最大。主成分分析的数学推导下面依次求取各主成分构造目标函数并对目标函数微分，有即两边分别左乘，可得主成分分析的数学推导是X的协方差矩阵的特征方程，因为是非负定的，所以特征根均大于0，假设由式可知Y1的方差为也就是说，Y1的最大方差为
