基于吉布斯抽样和监督学习技术的分布估计算法研究

《基于吉布斯抽样和监督学习技术的分布估计算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、密级：中国科学院大学UniversityofChineseAcademyofSciences博士学位论文2013年5月ByZhangFangADissertationSubmittedtoTheUniversityofChineseAcademyofSciencesInpartialfulfillmentoftherequirementForthedegreeofDoctorofMicroelectronicsandSolidStateElectroniCSInsfituteofSemiconductorMay,2013关于学位论文使用权声明任

2、何收存和保管本论文各种版本的单位和个人，未经著作权人授权，不得将本论文转借他人并复印、抄录、拍照、或以任何方式传播。否则，引起有碍著作权人著作权益之问题，将可能承担法律责任。关于学位论文使用授权的说明本人完全了解中国科学院半导体所有关保存、使用学位论文的规定，即：中国科学院半导体所有权保留学位论文的副本，允许该论文被查阅；中国科学院半导体所可以公布该论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存该论文。(涉密的学位论文在解密后应遵守此规定)签名：导师签名：日期：关于学位论文原创性声明本人郑重声明：所呈交的学位论文是本人在导师指导下，

3、独立进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。签名：导师签名：日期：摘要分布估计算法是进化计算领域新兴起的一种算法，是智能优化算法和统计学习的有机结合。分布估计算法根据父代种群中的优选个体的整体信息建立概率分布模型来描述问题解空间的分布，然后通过对概率模型随机采样产生子代种群，如此反复进行，实现种群的进化。分布估计算法通过建立概率模型描述变量之间的相关关系，能更有效地发现并重组建筑块，能够解决传统

4、遗传算法难以解决的问题。分布估计算法求解问题的核心是建立一个能恰当反映优选后父代种群分布的概率模型，然而，传统分布估计算法使用图论模型来描述各变量相互依赖的方式很难处理复杂的依赖关系以及高维问题。为了解决这个问题，本文提出了一种新型的概率模型，从结构、采样、学习三个方面详细阐述了该模型的工作原理，并对使用该模型的分布估计算法进行了计算机实验仿真。本文的主要内容包括以下几个部分：1．指出传统分布估计算法所面临的困难的核心在于问题维度的限制和分布学习的无监督性，从而放弃了传统分布估计算法使用图论模型来描述依赖关系的方式，提出一种新型的概率模型，即C

5、GS模型，该模型使用一个条件概率分布的集合来隐式的表示一组随机变量的联合概率分布，其中集合中的每一个元素分别描述了一个变量相对于其他变量的条件概率分布。2．介绍了吉布斯抽样技术的理论基础和实现流程，阐述了如何使用吉布斯抽样技术来为CGS模型实现抽样过程，从而通过模型来产生子代种群。随后提出了抽样算法的收敛条件并予以了证明。3．定义了损失最小化分类算法的概念，并提出一个学习算法框架，能够充分利用监督学习领域中存在的大量的损失最小化分类算法来来实现CGS模型的学习过程，从而析取优摘要选后的父代种群的特征来生成概率分布模型。关键词：分布估计算法，条件

6、概率，吉布斯抽样，监督学习，损失最小化AbstractInthefieldofevolutionarycomputation，flnewsortofalgorithmsnamedestimationofdistributionalgorithms(EDAs)arisesrecently,whichcanbeseemedasthecombinationofintelligentoptimizationalgorithmandstatisticallearning．EDAsevolvethegroupbyrepeatthefollowingtwos

7、teps：firstlybuildastochasticmodeltodescribethedistributionofsolutionstothetargetproblem，wimtheglobalinformationofthepromisedindividualsintheparentgroup，thensamplefromthestochasticmodeltogeneratechildrengroup．EDAscallfindbuildingblocksandrecombinethemmoreeffectively,andsolves

8、omeproblemtoohardfortraditionalgeneticalgorithmbydescribingthedependencyofv