欢迎来到天天文库
浏览记录
ID:30641915
大小:19.59 KB
页数:8页
时间:2019-01-02
《基于最优互信息的特征选取》由会员上传分享,免费在线阅读,更多相关内容在应用文档-天天文库。
1、从本学科出发,应着重选对国民经济具有一定实用价值和理论意义的课题。课题具有先进性,便于研究生提出新见解,特别是博士生必须有创新性的成果基于最优互信息的特征选取摘要本文提出一种新的多层神经网络的特征提取的方法。基于所提出的每个特征的评价函数值,此方法能够给出所有特征的排序。该方法在人造数据集和真实数据集上进行了实验。实验结果表明OMI能够准确地高效地在各种数据集上鉴别出最优特征集。关键词特征选取;特征排序;神经网络;多层神经网络随着信息科学技术的快速发展,在工业界和学术界有着更复杂和更大的多变量建模问题。研究人员发现当不相关和冗余的特征向量剔除之后,模式识别技术的
2、性能将显著的提高。由此,特征提取成为了数据预处理和数据挖掘技术的重要的步骤之一。具体来讲,特征提取有助于在线计算,加强系统的可读性,以及提高系统的预测性能。课题份量和难易程度要恰当,博士生能在二年内作出结果,硕士生能在一年内作出结果,特别是对实验条件等要有恰当的估计。从本学科出发,应着重选对国民经济具有一定实用价值和理论意义的课题。课题具有先进性,便于研究生提出新见解,特别是博士生必须有创新性的成果一般来讲,特征选择有两大步骤:计算评价函数值和特征子集搜寻[1]。评价函数要能反映出特征向量与数据类信息的匹配度信息,以及分类器性能变化的信息。而就特征子集搜寻来讲,
3、为了避免繁冗的无遗漏搜寻,一些被大多数学者认可的搜寻方法被广泛采用,例如:前向选择,后向删除,双向搜寻等等[2]。与完全搜寻和随即搜寻相比,这三种顺序的搜寻方法都能简单而快速的执行。在构造输入数据和输出数据的复杂映射方面,由于多层神经网络(MLP)的卓越性能,因而MLP被广泛的采用。本文采用MLP来作为分类器,来展示各种特征选取方法在各个数据集上的分类性能。根据Shannon信息理论,一个随机变量C的不确定性可以由熵H来估计。对于两个随机变量X和C,条件熵可以估计当变量X已知时,变量C的不确定性。而互信息可以估计变量C和变量X的相互依赖性。从而,H,和三者有如下
4、的关系[3]:,等价于(1)训练分类模型的目的是最小化已知训练数据与类属性数据的不确定性。若比较大,则意味着训练数据集X所包含的信息能够有效地预测它们的类属性;相反地,若比较小,则意味着训练数据集X所包含的信息不能够有效地预测它们的类属性。所以,训练分类器的过程应该找一组分类器参数Θ,而尽可能增大互信息。而对于特征选取而言,其目的是从特征全集中选取一特征子集使得互信息尽可能的大以致于特征子集F能够有效地预测训练数据的类属性。也就是说,共有个F从而即可得到,我们可以选择最大的所对应的F来作为最优的特征集来代表特征全集X。然而,以上的描述只是考虑到了特征子集F与类属
5、性C有最大的相关性,F未必成为最优的特征集。例如若F中每个的特征与属性C有最大的相关性时,它们当中有可能含有极大线性或非线性相关的特征甚至重复的特征。所以我们应该剔除掉这些冗余的特征,使得处理后的F成为新的最优的特征集。即最小化。课题份量和难易程度要恰当,博士生能在二年内作出结果,硕士生能在一年内作出结果,特别是对实验条件等要有恰当的估计。从本学科出发,应着重选对国民经济具有一定实用价值和理论意义的课题。课题具有先进性,便于研究生提出新见解,特别是博士生必须有创新性的成果因此,最大相关性和最小冗余性应同时考虑在一起。我们定义一个算子Θ将D和S结合起来来最大化Θ,
6、从而可以同时优化D和S:(2)在实际中,我们可以采取前向递增的搜寻方法,并根据(2)来找到最优的特征向量集。假设我们已经有了(m-1)个特征集Fm-1。现在的任务是要选取mth特征从。这一过程可以通过最大化Θ()来实现。也即优化下式:(3)其中,。通过以上分析,我们将OMI特征提取算法,表述为如下过程:初始化:将F设为空集,X为包含所有特征的全集。(1)计算与类属性的互信息:对每一个特征,计算。(2)选取第一个特征:选择特征f,对应最大的互信息值;并且设置。(3)递归计算:选择特征f,对应最大的OMI评价函数,即:(4)如果,回到第2步,否则F即为最终所有特征向
7、量的排序。需要指出的是,通过计算特征向量与类属性的互信息值,来导出每个特征向量相关性的排序,在理论上是可以证明的。另外,OMI评价函数可以避免估算多变量的的密度函数来求互信息。例如:计算和,意味着需要先计算和。而这两项在高维数据集的实例中,无法有效地准确地估计。而OMI中,只需计算和,意味着只需先计算和即可。通常这两项可以用ParzenWindow,Histogram等常用的低维密度函数估计的方法来估计。课题份量和难易程度要恰当,博士生能在二年内作出结果,硕士生能在一年内作出结果,特别是对实验条件等要有恰当的估计。从本学科出发,应着重选对国民经济具有一定实用价值
8、和理论意义的课题。课题具
此文档下载收益归作者所有