hmm基本原理及其在聚类中的应用

《hmm基本原理及其在聚类中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、江南大学硕士学位论文HMM基本原理及其在聚类中的应用姓名：卢鸣申请学位级别：硕士专业：计算机应用技术指导教师：王士同20070601摘萎摘要隐马尔可夫模型(HiddenMarkovModel)是一种双随机过程，被广泛地应用于模式识别和聚类中并取得了不小的成功。HMM有峰实的统计学基础和有效的学习算法，从而在应用科学中成为一种基础及易于理解的工具。在实际应用中，对HMM的训练是一个十分重要的问题，特别是在面对非完整数据的情况下。iJlI练的优劣关系到最后聚类效果的好坏。对HMM的iJll练就是不断地调整H／vIM的参数，在已知的观测值序列下，得到最大的似然

2、度。而由于该问题的复杂性，现在还没有高效的，全面的，能得到全局最优化的程序。在iJll练过程中，用得最多的是Baum—Welch算法。这是一种处理不完全数据的算法。我们关注的就是如何改进该算法，以此来提高聚类的效果。主要研究工作如下：1．提出了一种基于频率敏感和HMM的聚类算法。它能有效得避免出现空类或类中数据过少的现象。实验结果证明了该算法的有效性。2．将自劈分合并竞争学习运用于HMM，提出了一种新的算法。该算法在自劈分过程中，利用熵使每一类中尽可能多的含有同类数据；然后在合并过程中，将含有同类数据的类进行合并，从而提高聚类的效果。关键词：聚类分析隐马

3、尔可夫模型频率敏感基因表达数据分析自劈分合并竞争学习熵江南人学硕f学位论义AbstractHiddenMarkovModel(HMM)，asoneparticularclassofstatisticalmodelsusedinpatternrecognitionandclustering,havebeenappliedwithgreatSUCCESSinbothcases．Theyprovideasoundstatisticalframework，andallowforefficientandnumericallystablealgorithms．The

4、yhavebecomeabasicandwell-understoodtoolintheappliedsciences．OnefundamentalproblemintheapplicationofHMMistotrainthemodel，particularlyinthepresenceofincompletedata．Trainingamodelisimportantwithregardtogood—qualityoftheclustering．Trainingamodelistheprocessofadjustingtheparametersofa

5、HMM．Theobjectivefunctionistomaximizethelikelihoodofobservingagivenobservationsequence．Duetothecomplexityofthelikelihoodlandscape，noefficient，general，g／obaloptimizationproceduresareknown．Themostwidelyusedtrainingprocedure，calledtheBaum—Welchalgorithm，belongstotheclassofalgorithmsd

6、ealingwithmissingdataproblems．Authorfocusesmainlyonhowtoimprovethisalgorithmtoimprovethequalityoftheclustering．Themajorityofworkissummarizedhere：Anovelclusteringmethodbasedonfrequency—sensitivityandHMMisproposedtoassurethattheemptyclustersorclustershavingveryfewpointsaren’tobtain

7、ed．Experimentalresultsshowthisalgorithmismoreeffectiveforgeneexpressiondatasets．Basedonbothself-splittingandmergingcompetitivelearning,authorpresentanewclusteringalgorithmwithHMM．Inself-splitstep，Shannonentropyisusedtomakeeachclustercontainmorcdatafromonenaturalcluster．Inmergeste

8、p．clusterswhichcontainthedatafromthesame