试论特征空间与相空间的等价性

《试论特征空间与相空间的等价性》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、http://www.paper.edu.cn试论特征空间与相空间的等价性刘代志，李夕海，赵克第二炮兵工程学院602室(710025)email:daizhiliu@163.com摘要：本文简要介绍了特征空间与相空间等价问题的由来，等价性研究的前期工作，在此基础上，提出了进一步研究的思路和设想。关键词：特征空间相空间等价性1．问题的由来大家知道，在模式识别，特别是统计模式识别中，都需要经过三个阶段：模式采集、特征提取/选择和模式分类。从空间变换的角度来讲，模式识别实质上是三大空间的变换：模式空间→特征空间→类型空间，在特征提取/选择阶段得到的一组特征即构成特征空间。待[1]识别的样

2、本在特征空间中用一个点来表示，称之为样本点。模式识别的关键就在于获得这一特征空间并将其划分（分类）为类型空间，所以，我们的研究对象也正是这一特征空间。模式识别问题大都可以划归两类识别问题，所以研究两种类型的模式识别问题具有典型性。以两类问题为例，将两类样本放到特征空间中，如果两类样本线性可分，就可以给出一个超平面（当特征空间为一维时，则为一个点，为二维时，则为一直线，三维时为一平面），将两类样本区分开来。如果不是线性可分，但只要可分，理论上就存在一个超曲面（平面是曲面的特例），将两类样本分开。我们知道，模式识别中的特征选择，目的在于使特征空间中样本类能更好地划分开来。实质上这里存在

3、两个问题，一是至少要选择几个特征才能把样本类完全描述，二是选取什么样的特征才能把样本类最佳地划分开来。这两个问题并没有从理论上根本解决，目前依据的方法原理是在不同类别可分性准则、熵最小化准则和最小均方[1]误差准则下的各种特征提取与选择方法。特别是对第一个问题，明确从理论上探讨的较少。此外，在模式识别中，分类器的设计一般都涉及到分类器的训练，要作好分类器的训练，首先要选择训练样本，而分类器的性能与训练样本有很大关系。训练样本的选择，对有些模式识别问题来说是不成为问题的，但对有些模式识别问题则是十分重要的，对此目前没有什么通用的方法可循，更谈不上从理论上解决训练样本的选择这一问题。训

4、练样本的选择实际上还涉及有监督学习（可供选择的样本类别是已知的）和无监督学习（样本的类别是未知的）两种情形。综上所述，在模式识别中我们目前遇到四个问题需要进一步深入研究，即：1）至少选取几个特征才能完全描述样本类（也即目标识别的最少特征量下限问题）；2）选取什么样的特征类才能把样本类最佳地划分开来（即最佳特征选择问题）；3）有监督学习情形下的训练样本选择（包括选择哪些样本，选择多少等）；4）无监督学习情形下的训练样本选择。我们对这四个问题的研究，引出了模式识别中的特征空间与动力学系统研究中相空间等价性问题的思考。2．等价性问题的由来以两类问题为例，当两类样本经特征提取之后，放在特征

5、空间中，如果特征空间维数>3时，样本点在特征空间中的聚集（散布）形像便只能想象，而无从直观表现。要想直观表现，-1-http://www.paper.edu.cn只能采取两维切面的方式，分别组合来直观表现。如以d,d,L,d分别代表m个特征，12m则由其中任意两个特征d,d组成的坐标平面就构成了一个特征空间切面，样本点在该切平if面上的散布形象就是样本点在特征空间散布形态的一个切面。如果在该切面上样本可分，则不难发现，不同类的样本会各自聚集在一聚集中心区，两类样本就有两个聚集中心区，两区之间会出现过渡带，如图1所示。类似文献[2]中所讨论的模式类的紧致性中的临界点情况。(a)(b)

6、图1特征空间切平面图我们在处理核爆炸与天然地震识别问题时，也遇到了这种情况。图2是核爆炸与天然地震在二维特征空间切面上的样本散布图。图2核爆炸与天然地震样本特征空间切面图由图1和图2，使我们联想到动力学系统中相空间的庞卡莱切面，在庞卡莱切面上，系统的运动轨迹在切面上也是留下一些点（轨道穿过切面），这些点就像特征空间切面上的样[3，4]本点。此外，我们在利用时间延迟法对一维时间序列进行相空间重构时，得到的相空间也是系统状态（轨迹）点的散布图，与模式识别中的特征空间情形十分相似。对于两类样本识别问题，就好象相空间存在两个吸引子一样。于是，我们在文献[5]中用类比方法，提出了一个概念——

7、特征相空间，即将模式识别中的特征空间类比为动力学系统中的相空间，特征空间中的样本点就类比为相空间中的相点（系统状态点、轨迹点）。这样一来，就可以用相空间的研究方法来研究特征空间中的有关问题。为了表明这一特点，将此时的特征空间叫做特征相空间。文献[5]中进而对特征相空间进行了相应研究，提出了特征相空间中的吸引中心和吸引域的概念；把不同类型的样本当成不同系统的状态（相点）或同一系统中属于不同吸引子的相点看待，计算了相应吸引子的关联维数，得到了一些有意义的结果。3．有关等价