数字信号处理KL变换的应用.docx

《数字信号处理KL变换的应用.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Karhunen-Loeve变换的应用（硕研2013-3班辛明真2013020331）1、Karhunen-Loeve变换定义1.1Karhunen-Loeve变换的提出在模式识别和图像处理等现实问题中，需要解决的一个主要的问题就是降维，通常我们选择的特征彼此相关，而在识别这些特征时，数据量大且效率低下。如果我们能减少特征的数量，即减少特征空间的维数，那么我们将以更少的存储和计算复杂度获得更好的准确性。于是我们需要一种合理的综合性方法，使得原本相关的特征转化为彼此不相关，并在特征量的个数减少的同时，尽量不损失或者稍损失原特征中所包含的信息。Karhunen

2、-Loeve变换也常称为主成分变换(PCA)或霍特林变换，就可以简化大维数的数据集合，而且它的协方差矩阵除对角线以外的元素都是零，消除了数据之间的相关性。所以可以用于信息压缩、图像处理、模式识别等应用中。Karhunen-Loeve变换，是以矢量信号X的协方差矩阵Ф的归一化正交特征矢量q所构成的正交矩阵Q，来对该矢量信号X做正交变换Y=QX，则称此变换为K-L变换（K-LT或KLT），K-LT是Karhuner-LoeveTransform的简称，有的文献资料也写作KLT。可见，要实现KLT，首先要从信号求出其协方差矩阵Ф，再由Ф求出正交矩阵Q。Ф的求法与

3、自相关矩阵求法类似。1.2Karhunen-Loeve展开及其性质设零均值平稳随机过程u(n)构成的M维随机向量为u(n),相应的相关矩阵为R，则向量u(n)可以表示为R的归一化特征向量的线性组合，即，此式称为u(n)的Karhunen-Loeve展开式，展开式的系数是由内积定义的随机变量，且有，。K-L展开式具有以下四个性质：(1)信号的最佳（压缩）表达：即均方误差最小，与每一维特征对应的本证值，反映了该维特征对表达原空间有效性的大小。(2)新空间中的特征是互不相关的：，即变换后的特征向量的二阶矩阵为，其中为变换阵。（3）表示熵最小：用表示熵来考察用d维

4、坐标来表示D维所完成的信息压缩的程度。考虑展开系数的方差对。进行归一化。，使，定义熵为。（4）总体熵最小：很多情况下，类样本均值中包含了重要的分类消息。利用均值来代表各类样本设计分类器是最基本的设计方法，为考察用均值代表样本集所造成的不确定性，定义总体熵。1.3Karhunen-Loeve变换的定义给定N维随机变量：,。向量包含了N个随机变量，每个随机变量的数学期望表示为：。其中。利用向量的数学期望，可以得到向量的协方差矩阵：。协方差矩阵的特征向量对应着其第个特征值，则有：。是对称矩阵，所以其特征向量是正交的，即满足：。归一化可以得到单位正交矩阵，使其满足

5、，则个特征向量可以联合起来表示为：。由于是正交矩阵，因此在上式的两边可以分别左乘，得到，其中。给定一维随机向量X，可以定义X的K-L变换为：。即，K-L变换就是将X的所有分量投影在得到频域映射。是K-L变换矩阵，显然它随着随机向量中每个成分的变化而改变。变换后向量Y的均值为，Y的协方差矩阵为：Y向量协方差矩阵是一个对角阵，说明Y向量之间的相关性最小，而X向量协方差矩阵非对角元素不为零，说明X向量有较强的相关性。由于，在K-L变换两边分别乘以可以得到X，即，这就是K-L反变换。1.4Karhunen-Loeve变换的特点Karhunen-Loeve变换具有如

6、下特点：（1）去相关特性：K-L变换后，Y向量的协方差矩阵是一个对角阵，因而其向量间的相关性最小。（2）能量集中性：所谓能量集中性，是指对N维矢量信号进行K-L变换后，最大的方差集中在前M个低次分量之中（M

7、en-Loeve变换的应用－特征提取KL变换被广泛应用于模式识别和图像分析中，是对原波段图像进行波谱信息的线性投影变换，在尽可能不减少信息量的前提下，将原图像的高维多光谱空间的像元亮度值投影到新的低维空间，减少特征空间维数，达到数据压缩、提高信噪比、提取相关信息、降维处理和提取原图像特征信息的目的，并能有效地提取影像信息。它可使原来多波段图像经变换后提供出一组不相关的图像变量，最前面的主分量具有较大的方差，包含了原始影像的主要信息，所以要集中表达信息，突出图像的某些细部特征，可采用主分量变换来完成。　　从几何角度看，K-L变换可以看作是坐标轴的平移和旋转，

8、即将原始坐标系的坐标轴平移、旋转成一组新的正交坐标轴，并按原始数据