贝叶斯网络参数迁移学习方法

《贝叶斯网络参数迁移学习方法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、贝贝贝叶叶叶斯斯斯网网网络络络参参参数数数迁迁迁移移移学学学习习习方方方法法法TransferLearningforBayesianNetworkParameter学科专业：计算机科学与技术作者姓名：李子达指导教师：廖士中教授天津大学计算机科学与技术学院二零一五年十二月摘要贝叶斯网络参数学习是贝叶斯网络研究中的重点问题。有标记的训练样本充分时，极大似然估计方法是贝叶斯网络参数学习典型且有效的方法。但当有标记的训练数据稀少时，极大似然估计往往无法给出一致无偏的参数估计；此时，可通过先验知识设计约束，进行有

2、约束的极大似然估计，但实际应用中，先验知识较难获得。迁移学习是一种将已有的、不同但相关域的知识迁移到目标域进行问题求解的机器学习方法。迁移学习的目标是从源域数据样本中获得域知识，并通过域知识迁移，解决目标域上有标记的训练数据过于稀少的学习问题。针对有标记的训练数据稀少、先验知识缺乏情况下的贝叶斯网络参数学习问题，将极大似然估计方法与迁移学习方法相结合，提出一种新的贝叶斯网络参数迁移学习方法TL-WMLE：应用SMOTE-N方法构建辅助分类器，辅助分类器的分类结果用于计算源域数据权值；利用目标域数据和赋权

3、的源域数据，依据协变量偏移理论和贝叶斯网络的模块化理论，设计出目标域上的带权似然函数，估计目标域贝叶斯网络参数。在人工数据集、标准数据集、文本情感分类数据集上的实验表明，有标记的训练数据稀少、先验知识缺乏情况下，所提出的方法优于极大似然估计方法，为这种情况下进行贝叶斯网络参数学习提供一种新的途径。关关关键键键词词词：：：贝叶斯网络，参数学习，迁移学习，协变量偏移，样本赋权IABSTRACTParameterlearningiscrucialfortheperformanceofBayesiannetwo

4、rk.ParameterlearningistolearntheCPTsofBayesiannetworkfromtrainsampleundertheconditionthatthestructureofBayesiannetworkisgiven.Maximumlikelihoodestimationisaclas-sicalandeffectivemethodforBayesianNetworkparameterlearning,butthemaximumlikelihoodestimatoris

5、notconsistentwhenlearningfromasmallsizeoftrainsample.Whentrainingonsmallsizeoftrainsample,parameterlearningcouldbeconductedviaconstrainedmaximumlikelihoodestimationbasedonpriorknowledge,whichishardtogetinpractice.Transferlearningisanewlearningmethodwhich

6、appliesknowledgefromdifferentbutrelateddomainstothetargetdomain.Thegoaloftransferlearningistoimprovethelearningprocessintargetdomainviaknowledgetransferwhentrainsamplefromtargetdomainisscarce.Inthisarticle,weproposedanewmethod,TL-WMLE,tosolvetheproblemof

7、learningparametersfromsmallsizeoftrainsampleandlittlepriorknowledgeviatransferlearningbyre-weightingthetrainingsamplefromthesourcedomain.ThenovelmethodcomputetheweightusinganauxiliaryclassifiercombiningtheSMOTE-Nmethodandcomputetheweightofsourcesampledepe

8、ndingonthepredictedprobabilityofbeingfromthesourcedomainbytheauxiliaryclassifier.There-weightedsourcetrainsampleisthenusedtogetherwiththetargettrainsampletobuildalikelihoodfunctiononthetargetdomainformaxi-mumlikelihoodestim