独立成分分析IndependentComponentAnalysis(ICA)

《独立成分分析IndependentComponentAnalysis(ICA)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、独立成分分析IndependentComponentAnalysis（ICA）齐娟2007-5-29主要内容ICA定义ICA模型ICA原理ICA算法ICA应用PCA&ICAICA定义定义一：利用很少的先验知识将混合信息分离成独立分量的一种重要方法。定义二：找到事物的一种合理表示，使得各分量最大化地独立。20世纪八十年代才被提出。cocktail-partyproblem例子：cocktail-partyproblemSourcesObservationss1s2x1x2MixingmatrixAx=Asnsources,m=nobservationscocktail-pa

2、rtyproblemTwoIndependentSourcesMixtureattwoMicsICA模型(经典)xj=aj1s1+aj2s2+..+ajnsn,对于每一个jx=As条件：s和A均是未知的，只有x已知目标:通过x估计出A和s每一个si成分统计独立限制：每一个成分都不是Gaussian分布（实际上未知）混合矩阵A为方阵且可逆（这个限制可以放松）结论：估计出A之后，我们就可以得到s（s=A-1x）AmbiguitiesofICAs和A均是未知的，s乘一个标量k，总可以用A乘以1/k所抵消，即不能唯一确定s和A。作如下约束：S中各个分量的次序不确定Illustra

3、tionofICA统计意义下说明S各分量相互独立x各分量不相互独立判断方法：能否从一个分量估计出另一分量的值。边的方向即A0列向量。IllustrationofICA通过x的统计性质，作一些假设的条件下,可以估计出A和s统计概念独立：两个随机变量y1和y2是相互独立的，如果y1的值不能为y2提供任何信息，反之亦成立。用概率密度函数描述：性质：给定两函数h1和h2有：不相关：两随机变量是不相关的，如果独立的肯定不相关，不相关的未必独立，即独立是比不相关更强的约束。不可以是Gaussian分布在假设条件中，各分量不允许是Gaussian分布X1和x2都是标准Gaussian分

4、布，联合概率密度函数：没有边缘信息，即不包含A的列向量的信息。ICA估计的原理：non-Gaussianity根据中心极限定理，独立随机变量的和在一定条件下趋近于高斯分布。即独立随机变量的和比原独立随机变量更接近高斯分布。可以认为越具有高斯性，其独立性越差反之，non-Gaussianity越强，独立性越强ICA估计的原理：non-GaussianityICA模型：x=Ass=A-1x令y=wTx.z=ATw,则y=wTx=wTAs=zTs这样的话y是s的线性组合，y应该比s更具有高斯性，除非wT接近A-1。此时，y=wTx=A-1x=s。也就是说y=s时，y具有最大非高

5、斯性。问题转化为求解w，它最大化wTx的non-Gaussianity性。ICA数值优化问题。non-Gaussianity的度量为了在ICA估计中使用non-Gaussianity，我们必须有一个对它的定性度量。常用的有三种：KurtosisNegentropyApproximationsofnegentropyKurtosis定义：y为随机变量，则对于高斯分布，Kurtosis为零，大部分非高斯分布Kurtosis不为零。性质：优点：计算和理论简单缺点：对outliers敏感，不具有鲁棒性Negentropy基于信息论中熵的概念定理：在所有随机变量，高斯分布的变量有最

6、大熵。定义NegentropyJ为：yGauss是和y有相同协方差矩阵的高斯随机变量。y为高斯分布时，Negentropy为零，其它分布时不为零。计算起来太复杂，需要引入其近似值。Negentropy的近似经典近似：和Kurtosis有同样的缺点：不鲁棒。另一种近似：V是均值为零，方差为1的高斯随机变量，G是非二次函数常取为：计算简单快速，而且具有鲁棒性。后面介绍的算法即采用此种近似。预处理－Centering为了使算法更简单，一般会在采用具体算法前进行预处理。Centering：使x变为均值为零的随机变量，减去m=E{x}即可。纯粹为了简化计算，估计完A后，可以将s的均

7、值补偿回去。s的均值向量为A－1s。预处理－whitening对x进行线性变化，使变换后的x’是white的，即各分量不相关且，I为单位矩阵。方法：特征值分解（EVD）变换后A为正交矩阵A‘：根据正交矩阵性质，正交矩阵自由度为n(n-1)/2，将需要估计的矩阵系数减少了一半。小结前面给出了测量函数，也已证明ICA问题实际上就是求解函数的最值问题。现在需要的是求解最值的优化算法。有很多，梯度下降法，EM算法等。应用最广泛的为FastICA算法，它基于固定点迭代的方法补充：固定点迭代法用于求解方程（线性、非线性、差分）函数的固定点