基于非线性映射的Fisher判别分析.pdf

《基于非线性映射的Fisher判别分析.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第卷第期控制与决策年月文章编号基于非线性映射的判别分析范玉刚!李平!宋执环浙江大学工业控制技术国家重点实验室工业控制技术研究所杭州摘要提出一种非线性分类方法基于非线性映射的判别分析首先提取基向量然后采用方法以基向量为训练样本将形式未知的非线性映射近似表达为已知形式的非线性映射这种近似的非线性映射将变量由非线性的输入空间转换到线性的特征子空间最后对映射数据进行线性判别分析实验采用组标准数据集结果显示具有较强的分类能力关键词判别分析核函数特征空间中图分类号文献标识码＠引言了分类性能线性判决分析算法是一种旨文献将核函数引入

2、形成基于核函在降低特征维数的方法算法的目标是建数的非线性特征提取方法核判决分析立一个子空间由所有的投影轴构成所有样本在算法在具体求解过程中可能会出该子空间内满足类内散度最小类间散度最大样本现问题一是特征空间的维数大于或等于样本数据在这些投影轴上的投影系数可作为样本的特征向量导致特征空间中类内散布矩阵通常是奇异量利用这些特征向量便可进行样本的分类识别的二是特征空间的散布矩阵的维数等于训练样本在解决两类模式识别问题中取得了较好的结的数目当样本量很大时所耗费的计算量果并得到广泛应用然而作为统计数据分析常用的异常惊人技术有一

3、定的局限性常常不能有效地将不与相比本文方法实现了非线性映射的同类别的样本区分开为此本文提出基于非线性具体形式对特征子空间中的映射数据直接进行线映射的判别分析其基本思想性分析因此其实现原理和过程不同在本是首先提取基向量并以基向量为训练样本采用文方法中选取的基向量只是训练样本的一部分散方法构造非线性映射函数然后对映射数布矩阵的维数小于样本数据量因此可以避免据进行线性判别分析与相比中存在的计算问题对输入空间的样本数据进行非线性映射提高收稿日期修回日期基金项目国家计划项目浙江省科技计划项目作者简介范玉刚男山东文登人博士生从事

4、数据挖掘机器学习等研究李平男广西北流人教授博士生导师从事工业过程模型化智能控制等研究第期范玉刚等!基于非线性映射的判别分析和的机理分析算法首先通过一个非线性映射将输入线性判别分析数据影射到一个高维的核空间中然后在该高维核线性判别分析是把输入空间的样本数空间中再进行线性判决分析然而在据投影到一条直线上使得在这条直线上样本的投中并没有确定非线性映射的具体形式为了影分开得最好求解特征空间中的线性判别分析假设一个样本集合包含个维样本引入核函数将式转化为只包含特征矢量内积其中个属于类的样本记为的形式由于特征空间中各坐标分量间的

5、计算仅限个属于类的样本记为于内积用满足条件的核函数代替线性算法在进行线性判决分析时目标中的内积不需知道非线性映射的具体形式因此是找到线性投影方向以使训练样本在这些轴上的算法是将核学习方法的思想与算法相投影结果为类内离散度最小类间离散度最大结合的产物定义类间离散度矩阵和类内离散度矩阵基于非线性映射的判别分析如下主要包含个过程基向量的选取采用方法构造非线性映射函数对映射数据进行线性判别分析】】基向量提取e假设样本集有个样本其中是各类样本的均值向量即】e对应于样本集有如下定义那么寻找最好投影方向的问题在数学上就定义设样本集

6、中存在子集成为寻找最好的变换方向。的问题即最大化下＜在特征空间中的映射为式若子空间由扩展而成使得样本的映射在中的投影因此最大化的本质是要找到一个最好方向来误差小于给定值则称为基向量为基向量集最大化投影后的类间离散度分子同时最小化该为特征子空间方向上的类内离散度分母设任意一个测试样本如图所示在中的映射为。的投影为。到方向为那么其决策其扩展而成的特征子空间是图的阴影区函数为其中为决策阈域用表示样本的非线性值映射可分解为正交投影和正交投影误核判别分析差线性判别分析是统计数据分析常用的技术属于线性方法然而在实际情况下线性方法

7、非常有限常常不能有效地解决非线性问题为此引入非线性映射将输入空间的样本数据变换到特征空间中即e一一其中e这样在特征空间中可以进行线性判别分析此时线性判别分析函数为图向量在子空间中的正交其中e和是中相应的类间离散矩阵和投影和正交误差类内离散矩阵即基向量选取原理从中选取个基向量构成基向量集由的映射扩展而成子空间那么】】其他样本在子空间中的正交投影可以表示为其中其中是使和差异最小的系数向量通过计】控制与决策第卷算与的夹角求取因此求解可归结为选取样本如果＜并且＜则U转向否则转向或退出为选取的基向量集得到基向量集后以为训练样本

8、构造非线求解上式得性映射构造非线性映射由定理对于任意核其中函数存在一个正交集合和与其对应的非负＜＜＜＜正数有和是基向量＜＜是样本和基向量集的核函数内积因此所有样本对的夹角】的正弦值平方和为】以该式值最e其中＜是空间再生核的希尔伯特空小为目标函数选取基向量问题可以归结为间的维数式是核函数的分解式其中和】分别是积分等式e即l】的特征值和特征向量e非