结构图模型的学习及其应用研究

《结构图模型的学习及其应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号ＴＰ３９１论文编号１０２８７１６１７－Ｂ００７学科分类号０８１２０３博士学位论文结构图模型的学习及其应用研究研究生姓名黄飞虎学科、专业计算机科学与技术研究方向机器学习指导教师陈松灿教授南京航空航天大学研究生院计算机科学与技术学院二〇一七年八月ＮａｎｉｎＵｎｉｖｅｒｓｉｔｏｆＡｅｒｏｎａｕｔｉｃｓａｎｄＡｓｔｒｏｎａｕｔｉｃｓｊｇｙＴｈｅＧｒａｄｕａｔｅＳｃｈｏｏｌＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎ

2、ｄＴｅｃｈｎｏｌｏｇｙＲｅｓｅａｒｃｈｏｎＬｅａｒｎｉｎａｎｄＡｌｉｃａｔｉｏｎｏｆｇｐｐＳｔｒｕｃｔｕｒｅｄＧｒａｈｉｃａｌＭｏｄｅｌｓｐＡＴｈｅｓｉｓｉｎＣｏｍｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｐｇｙｂｙＨｕａｎＦｅｉｈｕｇＡｄｖｉｓｅｄｂｙＰｒｏｆｅｓｓｏｒＣｈｅｎＳｏｎｃａｎｇＳｕｂｍｉｔｔｅｄｉｎＰａｒｔｉａｌＦｕｌｆｉｌｌｍｅｎｔｏｆｔｈｅＲｅｕｉｒｅｍｅｎｔｓｑｆｏｒｔｈｅＤｅｒｅｅｏｆｇＤｏｃｔｏ

3、ｒｏｆＰｈｉｌｏｓｏｈｐｙＡｕｓｔ２０１７ｇｕ，承诺书本人郑重声明：所呈交的博士学位论文是本人在导师指导下，独立进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容夕卜，本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本人授权南京航空航天大学可以有权保留送交论文的复印件，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库、。进行检索，可以采用影印缩印或其他复制手段保存

4、论文（保密的学位论文在解密后适用本承诺书）的、ｈ作者签名：０＇＾１］日期：南京航空航天大学博士学位论文摘要一无向概率图模型的结构学习为机器学习的重要研究课题之。近些年来，面对高维小样本一些先验信息数据如基因组数据，、脑影像数据与金融数据等图模型的结构学习往往需要引入如稀疏或低秩等简单结构才达到较好的效果。目前随着数据采集技术的飞速提升，我们也遇到大量异构与动态的高维数据如来自不同组织的基因表达数据，、时序金融数据与脑影像数据等同时这些数据往往还具有特定结构如矩阵或张量形式、

5、或由响应变量与协变量两部分组成形式等。显然，当前已有的图模型并不能很好地刻画这些具有特定结构的复杂数据的条件相关性。因此，针对这些复杂高维数据的条件相关性学习，本文提出了若干与这些数据更匹配的结构图模型一类，并给出相应的学习方法及其统计性理论分析。考虑到结构图模型的应用，本文研究非凸的鲁棒图向导模型，即通过把已估计的图结构嵌入到分类与回归任务中以提高其性能，并提出了两类快速随机的交替方向乘子方法（ＡＤＭＭ）求解这些大规模的图向导模型。总之，本文主要研究成果概述如下：一１（）针对学习异构的矩阵

6、变量数据的条件相关性，我们提出了类联合矩阵图模型。当前大部分图模型均是基于向量变量建模的，但是矩阵变量数据也普遍存在于许多应用场景如图像数据与金融数据等。如果直接把这些矩阵数据拉直成向量再利用向量图模型建模的话，显然这将会丧失矩阵数据中固有的行列结构信息。因此，基于矩阵正态分布假设直接对矩阵变量数据一类联合矩阵高斯图模型建模，我们提出。同时，利用结构正则化最大似然方法建模，提出了联合矩阵图套索方法估计该矩阵图模型。在模型优化上，利用有效的交替迭代方法求解该矩阵图模型，并证明了该算法的收敛性。在理

7、论分析上，建立了联合矩阵图模型在高维场景下的渐进一一致性与稀疏渐进致性。特别地，由理论分析可知，该联合矩阵图模型比相应的向量图模型具有更好的渐进收敛性，即需要更少的样本复杂度。最后，利用大量的模拟数据与真实的老鼠基因表达数据同时验证了我们矩阵图模型的有效性。一（２）针对学习异构的响应变量数据的条件相关性，我们提出了类联合条件图模型。当前大部分图模型通常只刻画一组””的随机变量的条件相关性干净，而并不能很好地胜任响应变量，即受到协变量影响的随机变量一类联合条件高斯。因此，基于条件正态分布假设，

8、我们提出了一图模型。同时，利用凸性结构正则化最大似然方法建模，提出了类联合条件图套索方法估计一该图模型。在模型优化上，提出类有效的近似牛顿算法求解该图模型。在理论分析上，建立了一一联合条件图模型在高维场景下的渐进致性与稀疏渐进致性。特别地，该联合条件图模型能以凸形式刻画联合学习多个带噪声协方差的多元线性回归模型。最后，