聚类-EM算法.ppt

《聚类-EM算法.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、例1：为了调查学校学生身高，随机抽样n个男生和m个女生，设身高服从正态分布，试确定男女生对应的均值与方差。极大似然估计例2：设某组零件的不合格率p，抽样n个零件，其中t个不合格零件，试估计不合格率p。例3：若例1中男女生数据混合无法区分，即只知总人数，试确定男女生对应的均值与方差。分析：该问题含两个正态分布，每个样本有2种参数需要估计：第一、每个样本属于1还是2（隐藏的标签）？第二、每一类样本的均值与方差？1、若隐藏的标签已知，则由极大似然估计易得均值与方差；2、若均值与方差已知，则可以进一步调整样本标签；1’、样本标签已被隐藏，可假设隐藏标签已知，写出（对

2、数）似然函数表达式对隐藏的标签取期望后，再采用极大似然估计的均值与方差；EM(expectaion-maximization)期望--最大化方法混合Gauss模型给定N个观测样本，满足如下混合形式的概率：求混合分布的三组参数EM算法流程：1、任意给出高斯分布的参数，需要保证2、Expectation步：3、Maximum步：用最大似然估计重新估计均值、方差和权重。4、返回第2步，直到各参数的值变化小于指定精度e一般的EM算法EM算法改进关于初始点的选择初始值的获取可以通过k-means算法，层次聚类算法或者是对数据进行随机的分割.[1]重复利用EM，CEM和

3、SEM进行初始点的选择.[2][1]McLachlan,G.J.andNg,S.K.(2008).TheEMalgorithm.[2]ChristopheBiernachi,GillesCeleux,GerardGovaert.(2003).ChoosingstartingvaluesfortheEMalgorithmforgettingthehighestlikelihoodinmultivariateGaussianmixturemodels.11EM属于聚类算法，其主要缺点收敛速度慢;算法高度依赖初始值的选择.12例：