基于认知的信息模式测度与特征压缩算法分析

《基于认知的信息模式测度与特征压缩算法分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中国科学院计算技术研究所博士后研究工作报告摘要摘要智能的机器化和机器的智能化是目前科学技术发展的一个重要的研究方向。模式识别一直被认为是智能的核心部分，其研究宗旨是使得机器具有人类那样综合分析、自动分类并能完成自动识别任务．模式识别(PR)是一种新颖的智能信息处理理论，其实质可归结为两次映射：一是由测量空间(M)到特征空间(F)映射，另一个是由特征空间(F)到决策空间①)映射，其核心研究内容为信息模式测度理论及其模式识别分类器算法研究。本文就模式识别的第一次映射为研究对象，建立基于认知的信息模式测度与特征压缩算法。其主要研究内容包括以下4个方面：l、信息模式测度(IP旧理论研究介绍了

2、信息的基本概念及其基本性质，讨论了离散信源及其信息测度、连续信源及其信息测度。然后在现有模式测度理论基础上，基于交互熵理论，提出了0tI^Ij，对称交互熵(SCE)的概念，建立了交互距离测度(CD旧理论；同样基于信息论，提出了多项式熵(PE)的概念，并对PE进行了改进，提出了改进多项式熵(IPE)的概念，由此建立了一种新的多项式熵测度(PE旧理论；以平均互信息量或公共信息量为基础，提出了相关信息系数(CIC)的概念，以此为基础，建立了相关信息测度(CIM)理论；以平均互信息量、联合熵为基础，构造并论证了一种新的距离测度，从而建立了信息距离测度(ID旧理论；讨论了离散量的概念与性质，在

3、此基础上建立离散增量测度，进一步建立广义信息距离钡8度。2、模糊信息测度凹M)理论研究在分析现有模糊集理论的基础上，基于模糊信息论，对两个模糊矢量之间的测度理论问题进行了进一步的研究。讨论了模糊熵理论，提出了模糊公息(FMI)、一¨，，●～模糊相对公息(FAMD、模糊相对公息(FRMD，进而建立了模糊绝对熵测度(FAEM)、模糊相对熵测度(FREM)等理论；基于Shannon交互熵理论，建立了模糊交互熵(FCE)的概念，并针对FCE的不足，提出了对称模糊交互熵(SFCE)的概念，由此建立了模糊交互熵测度(FCEM)；在对模糊似然测度(FLIVO公理化理论分析的基础上，建立了一种新型的

4、模糊似然函数一一对称模糊子集度(SFSD)，以刻画两模糊集之间的相近程度．3、无监督信息特征压缩(IJIFC)理论研究讨论了主成分分析(PCA)的基本原理，基于信息熵理论，研究了PCA的信息特性，为信息特征优化压缩奠定了理论基础；基于Shannon的可能性理论，根据PCA的基本思想，尤其是本征值的内在特性分析，提出可能性信息函数(IFP)的概念，用以度量本征值的内在特性，提出了可能信息率(IRP)和累计可能信息率(AIRP)丁世飞，基于认知的信息模式测度与特征压缩算法研究概念，用它度量了信息压缩的程度，由此建立了改进PCA算法(IPCA算法)；将偏最小二乘(PLS)回归引入到信息特征

5、压缩领域，提出了基于PLS的信息特征压缩算法。该算法在对解释变量数据集进行压缩的同时，顾及了与预测变量的相关程度，其压缩结果较传统的主成分分析(PCA)，主成分回归@CR)具有更大的优越性，尤其当解释变量多，而样本量少时很有效，且更有理论意义与实际意义；讨论了两维显示问题，建立了基于两维显示的信息特征压缩算法。4、有监督信息特征压缩(sIFC)理论研究对类别可分性判据(csc)的基本概念、基本性质研究分析的基础上，基于信息论，讨论了一种新的类别可分性判据——散度准则①C)，讨论并证明了DC的基本性质，尤其是“距离”度量性质，建立了基于DC的信息特征压缩算法。基于信息熵理论，建立了信息

6、熵准则(IEC)，用于度量两个后验概率分布的可分性程度，并给出了几种IEC判据．在分析研究IEC判据的基础上，且类概率密度函数服从正态分布时，建立了一种基于IEC的信息特征压缩算法；基于交互熵理论，构造了对称交互熵(SCE)，并证明了它是一个距离度量测度．进一步为应用方便，提出了多项式熵(PE)，进而构造了一种新的距离度量测度．改进的对称多项式熵(ISPE)准则。基于ISPE，我们建立了一种新的有监督信息特征压缩算法，同时，我们将ISPE准则进行了改进，构造了平均ISPE(AISPE)，建立了一种推广的基于ISPE的信息特征压缩算法；在对白化变换及其相关概念的分析的基础上，建立了基于

7、散布矩阵+DK【，T的信息特征最优特征压缩算法；同时介绍了同时对角化的基本概念，建立了应用白化变换、正交变换将两个对称矩阵同时对角化的基本步骤，在此基础上，建立了基于同时对角化的一种简化最优特征压缩算法，并进行了实际应用。关键词：认知；信息论；模式识别：信息熵；交互熵；对称交互熵；平均互信息；信息模式测度；模糊熵：模糊交互熵；模糊似然测度；模糊信息测度：无oY，●。L监督信息特征压缩；有监督信息特征压缩中国科学院计算技术研究所博士后研究丁作搬告摘要，lqj