博士学位论文-em和hmm算法理论及其在图像分割和场景分析中的应用

《博士学位论文-em和hmm算法理论及其在图像分割和场景分析中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、同济大学电子与信息工程学院博士学位论文EM和HMM算法理论及其在图像分割和场景分析中的应用姓名：肖杨申请学位级别：博士专业：模式识别与智能系统指导教师：宣国荣20040808摘要本论文研究最大似然法估计的期望最大算法(EM．ExpectationMaximization)和隐马尔可夫模型(HMM．HiddenMarkovModels)的理论及其在图像分割和场景分析中的应用。对EM算法和高斯混合分布模型(GMM．GaussianMixtureModel)，HMM的理论及其在一些具体的领域的应用进行了深入的研究，其主要创新点如下：1、提出基于特征的EM算法。通常

2、的EM算法是基于样本的算法。本文提出利用基于特征的EM算法而不是用基于样本的EM算法来求解最大似然问题，可以加速计算。针对标准EM算法进行聚类运算时以单个样本点为对象的特点，本文根据样本特征频数，计算直方图，在此基础上提出了进行特征聚类估计的快速EM算法。在有限混合分布中，采用基于特征的EM算法和基于样本的EM算法从本质上说是等价的：但是就算法的速度而言，在一定条件下，前者相对于后者来说要快得多。再加上其他措施，算法的效率更有明显的提高。这在一定程度上弥补了EM算法和最大似然法直接迭代法收敛速度慢的缺点。实验结果证明了该方法在速度上的优越性。2、指出直接迭代

3、法本质上是广义EM算法。文中的直接迭代法是指通常在无监督学习中采用迭代法来求解有限混合分布参数的最大似然估计。在所有国内外经典的教材‘831110l[81【141l【551中，直接迭代法被广泛涉及，但它的收敛性一直未得到讨论和验证，形成了一个空白，因此限制了它的使用。而直接迭代法与EM算法关系更是几乎没有提及。本文比较了在无监督学习中用最大似然法估计有限混合分布的未知参数情况下，通常采用迭代法求解最大似然估计与EM算法公式的相同与差别之后，利用EM算法的性质来证明在这种情况下直接迭代法是一种广义EM算法。此时直接迭代法具有EM算法的收敛特性和自动满足约束的特

4、性，能够自动增大对数似然，在一定条件下保证收敛到一个局部最优值。这对关于它的描述进行了有效的补充。3、提出基于“渐近等同分割性”原理的熵先验为基础的最小熵方法。最小熵方法【13l】是近年来在研究“交叉熵”基础上提出来的新方法，但其中“熵先验”的说明比较复杂。本文提出基于“渐近等同分割性【1421”(AEP-AsymptoticEquipartitionProperty)的原理说明‘‘熵先验”，使熵先验问题更加明确。本文结合最小熵理论，引出一个在隐变量概率模型中同时学习模型的结构和参数的新型方法一基于熵的最大后验估计(MAP．MaximumAPostedori

5、)。熵MAP估计将熵的和最小化，从各方面减小不确定性，删减多余的参数，得到参数趋于精确并较好地支持数据结构的模型。本文还发展了新型的HMM，用于解决每时间步具有可变长度观察矢量的摘要问题；采用熵MAP估计进行训练，可以降低分布的冗余和除去噪声，留下的隐状态与图像序列中实际物理过程高度相关。应用于交通视频的模式发现时，采用连续两帧间光流表作为数据，通过新型的HMM结合基于熵的MAP估计学习景物活动的模式，得到简洁的、可解释的、可预测的模型。4、将EM收敛的过程进行图形解释，EM算法包含形成辅助函数的E步和使其最大化的M步的过程，通常是数学形式表示，缺乏直观视觉

6、形式。本文将EM收敛的过程进行图形解释。生动地显示了EM算法的辅助函数保证迭代过程是一个对数似然函数单调增大的过程。图形还表示了EM算法是获得最大似然法估计解的可行方法。5、提出EM算法用于灰度图像——车辆牌照和医疗图像分析的实例。本文将EM算法用于灰度图像的灰度和邻域均值两维特征空间的参数估计。文中成功地运用EM算法的相关理论来完成车辆牌照、医疗图像的分割，并对算法做出改进(直方图扩展、增加分类数)，用于解决实际中碰到的问题。我们的系统用基于特征的EM算法和GMM来求得图像总体分布的近似，之后用统计模式识别的Bayes分类器进行最优分类，根据估计得到的图像

7、总体的分布密度函数，使用准则函数把图像中的各个像素分到目标和背景两个分量(类别)中。6、提出EM算法用于彩色图像——医学图像分割的实例。本文提出三维彩色图像的EM算法聚类分割方法用于医学图像的分割。在彩色图像各颜色分量(R，G，B)形成的三维直方图上，用EM聚类方法估计三特征的分布参数。再根据估计的分布参数，计算各类的Bayes决策面，将像素点划分到相应的类别，从而提出了一个实用的最小错误率意义上的彩色图像最优分割方法。该方法充分利用了像素的所有颜色分量的分布和相互关系，不受颜色空间的限制，可以满足各类彩色图像的分割要求。图像的总体符合正态混合分布的模型也是

8、十分合理的。7、强调最大似然估计在无监督学习中的有效