独立成分分析IndependentComponentAnalysis(ICA)

独立成分分析IndependentComponentAnalysis(ICA)

ID:37009687

大小:1017.31 KB

页数:31页

时间:2019-05-11

独立成分分析IndependentComponentAnalysis(ICA)_第1页
独立成分分析IndependentComponentAnalysis(ICA)_第2页
独立成分分析IndependentComponentAnalysis(ICA)_第3页
独立成分分析IndependentComponentAnalysis(ICA)_第4页
独立成分分析IndependentComponentAnalysis(ICA)_第5页
资源描述:

《独立成分分析IndependentComponentAnalysis(ICA)》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、独立成分分析IndependentComponentAnalysis(ICA)齐娟2007-5-29主要内容ICA定义ICA模型ICA原理ICA算法ICA应用PCA&ICAICA定义定义一:利用很少的先验知识将混合信息分离成独立分量的一种重要方法。定义二:找到事物的一种合理表示,使得各分量最大化地独立。20世纪八十年代才被提出。cocktail-partyproblem例子:cocktail-partyproblemSourcesObservationss1s2x1x2MixingmatrixAx=Asnsources,m=nobservationscocktail-pa

2、rtyproblemTwoIndependentSourcesMixtureattwoMicsICA模型(经典)xj=aj1s1+aj2s2+..+ajnsn,对于每一个jx=As条件:s和A均是未知的,只有x已知目标:通过x估计出A和s每一个si成分统计独立限制:每一个成分都不是Gaussian分布(实际上未知)混合矩阵A为方阵且可逆(这个限制可以放松)结论:估计出A之后,我们就可以得到s(s=A-1x)AmbiguitiesofICAs和A均是未知的,s乘一个标量k,总可以用A乘以1/k所抵消,即不能唯一确定s和A。作如下约束:S中各个分量的次序不确定Illustra

3、tionofICA统计意义下说明S各分量相互独立x各分量不相互独立判断方法:能否从一个分量估计出另一分量的值。边的方向即A0列向量。IllustrationofICA通过x的统计性质,作一些假设的条件下,可以估计出A和s统计概念独立:两个随机变量y1和y2是相互独立的,如果y1的值不能为y2提供任何信息,反之亦成立。用概率密度函数描述:性质:给定两函数h1和h2有:不相关:两随机变量是不相关的,如果独立的肯定不相关,不相关的未必独立,即独立是比不相关更强的约束。不可以是Gaussian分布在假设条件中,各分量不允许是Gaussian分布X1和x2都是标准Gaussian分

4、布,联合概率密度函数:没有边缘信息,即不包含A的列向量的信息。ICA估计的原理:non-Gaussianity根据中心极限定理,独立随机变量的和在一定条件下趋近于高斯分布。即独立随机变量的和比原独立随机变量更接近高斯分布。可以认为越具有高斯性,其独立性越差反之,non-Gaussianity越强,独立性越强ICA估计的原理:non-GaussianityICA模型:x=Ass=A-1x令y=wTx.z=ATw,则y=wTx=wTAs=zTs这样的话y是s的线性组合,y应该比s更具有高斯性,除非wT接近A-1。此时,y=wTx=A-1x=s。也就是说y=s时,y具有最大非高

5、斯性。问题转化为求解w,它最大化wTx的non-Gaussianity性。ICA数值优化问题。non-Gaussianity的度量为了在ICA估计中使用non-Gaussianity,我们必须有一个对它的定性度量。常用的有三种:KurtosisNegentropyApproximationsofnegentropyKurtosis定义:y为随机变量,则对于高斯分布,Kurtosis为零,大部分非高斯分布Kurtosis不为零。性质:优点:计算和理论简单缺点:对outliers敏感,不具有鲁棒性Negentropy基于信息论中熵的概念定理:在所有随机变量,高斯分布的变量有最

6、大熵。定义NegentropyJ为:yGauss是和y有相同协方差矩阵的高斯随机变量。y为高斯分布时,Negentropy为零,其它分布时不为零。计算起来太复杂,需要引入其近似值。Negentropy的近似经典近似:和Kurtosis有同样的缺点:不鲁棒。另一种近似:V是均值为零,方差为1的高斯随机变量,G是非二次函数常取为:计算简单快速,而且具有鲁棒性。后面介绍的算法即采用此种近似。预处理-Centering为了使算法更简单,一般会在采用具体算法前进行预处理。Centering:使x变为均值为零的随机变量,减去m=E{x}即可。纯粹为了简化计算,估计完A后,可以将s的均

7、值补偿回去。s的均值向量为A-1s。预处理-whitening对x进行线性变化,使变换后的x’是white的,即各分量不相关且,I为单位矩阵。方法:特征值分解(EVD)变换后A为正交矩阵A‘:根据正交矩阵性质,正交矩阵自由度为n(n-1)/2,将需要估计的矩阵系数减少了一半。小结前面给出了测量函数,也已证明ICA问题实际上就是求解函数的最值问题。现在需要的是求解最值的优化算法。有很多,梯度下降法,EM算法等。应用最广泛的为FastICA算法,它基于固定点迭代的方法补充:固定点迭代法用于求解方程(线性、非线性、差分)函数的固定点

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。