混合模型lda

《混合模型lda》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、由高斯聚类到LDA分析高斯聚类是一种基于概率密度的模型方法，即使用概率密度函数描述数据的生成，并试图优化实际数据与模型的拟合度。高斯聚类认为每个类都可以表示为概率的参数分布形式，多个不同的类别数据就可以建模成所有类分布的混合分布。这样在观察到多个混合分布的数据后，数据的聚类问题就转化为模型参数的估计问题。1、GMM混合模型设观察到的数据由K个Gaussian分布混合生成，每个类的Gaussian分布生成该类别的数据，所有类别的高斯分布线性加成在一起就组成了GMM(GaussianMixtureModel)的概率密度函数：px=k=1Kpkpxk=k=1KπkP(x

2、μk,Σk)(

3、1)令pk=πk是每种类别的概率,且k=1Kpk=1。pxk是满足参数为(u,Σ)第k个类的高斯分布。根据上面的式子，数据的生成过程是这样完成的：首先根据概率随机地在这K个类之中选一个，每个类被选中的概率实际上就是它的系数πk，选择类别之后，再从这个类别分布pxμk,Σk中生成数据点，执行完整过程就生成了观察得到的数据。1.1、极大似然估计由数据计算相关的模型参数，最基本的方法是极大似然估计法。假定随机变量X服从某一个参数为θ的分布，概率密度为P(x;θ)，θ∈Θ，其中θ为带估计的参数，Θ是θ的可能取值范围。设x1，x2，…，xn是来自模型的样本，则观测数据x1，x2，…，xn的

4、相应似然函数可以表示为：Lθ=inP（xi，θ）(2)20它的值随θ取值变化而变化，最大似然估计法就是根据固定样本观察值x1，x2，…，xn，在θ可能的取值范围Θ内挑选使似然函数L(θ)达到最大的参数，作为参数θ的估计值。即：Lx1，x2，……，xn;θ=MaxLx1，x2，……，xn;θθ∈Θ(3)最大似然估计参数的求解一般转换为求它对数的导数极值问题。即：d(Log(L))d(θ)=0(4)对于高斯混合分布，要求解的参数是K个分类中的参数，主要有：(πi，μi,Σi)，i∈{1,K}。1.2混合高斯分布的EM计算由GMM数据生成模型(1)描述方法，其似然函数可以表示为：Lθ=

5、Πi=1Nk=1KπkPxiuk,Σk取对数则可以得到：i=1Nlog⁡{k=1KπkP(xi

6、uk,Σk)}由于在对数函数里面有加和，直接用求导解方程的办法获得显示解比较困难。为了解决这个问题，可以采用其它参数估计的办法。这里由于聚类的个数K是固定的，所以比较多的是使用EM算法估计其中的参数。EM算法主要用于当有部分数据缺失或者无法观察到时，通过E步和M步迭代，并使算法逐渐收敛，达到稳定，从而计算出相关的参数值。每一次迭代分为两个步骤：期望（Expectation）步骤和最大化（Maximization）步骤。根据前面高斯混合分布数据生成的假设，则观察到是不完整的数据，这主要是

7、没有获得中间选择数据由哪个类别生成。则全部数据Z是由可观测到的样本X={x1,x2……,xn}和不可观测到的类别样本Y={y1,y2，……,yn}组成的，其中Y表示的是选择数据产生的类别,yi∈{1,2,…k}，则完全数据Z=X∪Y。EM算法通过搜寻使全部数据的对数似然函数Log(L(Z;θ))的期望值最大来寻找参数的最优估计。算法流程描述如下：20E步：假设每个类别的参数(πk,uk,Σk)已经得到，先估计数据由每个类别生成的概率，则对于每个数据来说，它由第类生成的概率为：Υi,k=πkP(xi

8、μk,Σk)jKπjP(xi

9、μj,Σj)其中Pxiuk,Σk是后验概率。M步：现

10、在可以通过极大似然估计得到每个类的参数值计算方法，即求得每个类的参数：（πk,μk,Σk）μk=1Nki=1NΥ(i,k)xiΣk=1Nki=1NΥi,k(xi-uk)(xi-uk)Tπk=NKNNk=i=1NΥi,k重复迭代前面两步，直到似然函数的值收敛为止。2Gibbs估计高斯混合模型参数Gibbs采样是MarkovChainMonteCarlo(MCMC)方法应用于参数估计的一种实现。设数据由联合概率分布P(x;θ1,θ2,…θk)生成，如果能够使用现有的方法生成该联合概率的样本，则可以直接从样本中估计出所需要的参数，例如该联合概率满足高斯分布、多项式分布等情况，但是有些时

11、候，这种直接由概率密度函数生成样本的方式却无法执行，但是联合概率密度函数所有参数的条件概率密度P(θi

12、x;θ1,θ2,…θi-1,θi+1,…θk)却容易获得满足条件的样本，这种情况下可以使用Gibbs采样的方式得到样本数据，而估计模型有关参数。Gibbs采样其步骤如下：1、每一个变量开始给定随机初始值θi0。2、依据条件概率，对每个样本参数θi1采样，P(θi1

13、x;θ11,θ21,…θi-11,θi+10,…θk0)20即由这个变量相对于其他变量的条件概率分布进行取样，且后