(机器学习作业)基于稀疏表示的数据缩减算法

《(机器学习作业)基于稀疏表示的数据缩减算法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基于稀疏表示的数据缩减学院：学号：姓名：年级：导师：-24-目录1稀疏表示理论31.1稀疏表示基本理论31.2基于稀疏表示的人脸识别及实验42基于稀疏表示的数据缩减算法62.1算法思想62.1.1实例分析72.1.2对比分析82.2人脸数据库介绍及实验仿真结果102.2.1ORL库[2]的仿真结果与分析102.2.2PIE人脸数据库[7,8]的仿真结果与分析142.2.3ExtendedYaleb库的仿真结果及分析163小结18参考文献19附录论文程序源代码20-24-1稀疏表示理论1.1稀疏表示基本理论稀疏表示理论在实际中越来越得到广泛的应用，例如图像去噪、重构、

2、编码，模式识别与机器视觉等领域。2009年Wrightetal[1]等人根据稀疏表示和压缩感知理论提出基于稀疏表示的人脸识别方法（SparseRepresentationbasedClassification，SRC），算法提出两个假设前提：（1）同类样本处于同一个线性子空间，任何一个测试样本均可以用来自该类的训练样本线性表示；（2）用所有的训练样本构成字典，则测试样本在该字典上的表示是稀疏的，同时该稀疏系数包含了样本的类别信息。因此，直接用所有类的训练样本当字典，通过最小化稀疏表示系数的范数来求解该稀疏系数，分类时将测试样本归属于最小残差的一类，在图像识别中取得了

3、较好的结果。假定测试样本图像，其中（表示图片长度方向像素个数，表示图片高度方向像素个数），将整个图像库中的所有训练样本直接作为字典，测试样本可以通过字典中的原子进行线性表示。而理论上每个训练样本仅与字典中同类的所有原子相关性最大，与非同类的原子相关性较小或者无关，因此最理想状态下，测试样本仅仅需要使用字典中同类原子线性表示进行重构，而其它类别的样本系数值很小，几乎为零。由上述理论可知，测试样本属于第类，则它仅需要由同类的个原子可以线性组合表示，表达式如下所示：（1-1）若在所有字典上进行线性表示，则表达式如下：（1-2）其中A和分别为：-24-（1-3）解集为，在理

4、论上讲，应是稀疏的，即仅有少数元素数值为非零的，大部分元素值为零值或很小。按照稀疏表示的求解模型，求解下面方程：（1-4）其中代表范数，表示向量中非零元数的个数，对范数的求解是一个NP问题，可通过穷举法求解，但是所需时间较长，而理论证明，若信号在字典上的表示足够稀疏，则稀疏表示系数的求解等价于求解一下范数模型：（1-5）1.2基于稀疏表示的人脸识别及实验ORL人脸库[2]共有40个类，每类有10张图片，在本实验中采用ORL库，将每类前5张图片作为该类的字典，则所有类组合成的字典将拥有200个原子，其中图1.1就是第一类样本的第6张图片在该字典上求解的系数分布，横轴为

5、原子，纵轴为原子对应的系数值。从上图可知，系数是稀疏的，大部分系数数值为0，且属于同一类的样本解出来的系数较大，即对应字典中的原子与要表示的测试样本相关性越大，也就是同类原子对样本的重构能力更强，非同类原子对样本的重构能力很弱。为了对测试样本进行分类，利用上面求得系数的稀疏分布，分别用字典中的每一类字典的所有原子样本以及它们对应的系数值对测试样本进行线性重构，然后用重构出来的图片分别和原始测试样本比较求得残差，假如类别数为，则共有项残差，而测试样本属于重构残差最小的那一类。其中每类字典对测试样本的重构残差公式如下：-24-（1-6）其中，表示只提取出第类样本所对应的

6、系数，即仅使用第类样本重构测试样本。根据公式（1-6），完善上述实验，求出每一类字典对测试样本的重构残差，如下图1.2所示：图1.1　基于稀疏表示的系数分布图示可见，第一类字典对测试样本的重构残差最小，其它类字典对样本的重构残差较大，即测试样本和第一类字典原子最相似，因此应属于第一类，与实验已知结论相符。综上所述，基于稀疏表示的人脸识别算法流程如下：①给定训练样本矩阵：，有个类的样本，共有个样本，给定测试样本，并对和字典的每列原子进行归一化。②求解下面最小范数：③计算残差：④对测试样本进行分类-24-图1.2　SRC算法重构残差图2基于稀疏表示的数据缩减算法针对目前

7、的数据缩减算法都不能较好地刻画出数据的空间相互关系和模式的空间分布。此外，它们对含有遮挡、腐蚀的数据进行分析时，性能退化很明显。而稀疏表征从感知角度较好地刻画了数据的相互关系和分布，因此，提出了从稀疏表征学习入手，选择出具有代表性的数据，使得一方面能较好地刻画出数据的内在几何特性和空间分布，另一方面对腐蚀、遮挡具有好的鲁棒性。并在常用的人脸样本库上进行实验，选择具有代表性的样本，然后用PCA分类器对选出的样本图像进行分类识别以验证选出的样本的好坏。通常原始的人脸库样本的数据量非常大，在此情况下进行分类很耗时，而且过多的数据也会造成误判，影响最终的识别率。利用稀疏