贝叶斯惩罚回归中正则化参数的选择.pdf

《贝叶斯惩罚回归中正则化参数的选择.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、識ｆ麵硕的位论文＾ＭＡＳＴＥＲＤ＾．ＩＳＳＥＲＴＡＵＯＮ＇賺擊文题目：贝叶斯惩罚回归中正则化参数的选择＾擊级一—＾姓名—＾？耗靴级别理学硕壬＿＿ｒ：＾Ｍ国内图书分类号：０２１２．８密级：公开国际图书分类号：５１９．２西南交通大学研究生学位论文贝计斯惩罚回旧中正则化参数的选擇年级２０１４级姓名焦瑞强申请学位级别理学硕±专业统计学指导老师赵联义教授一二零＾ｂ年五月Ｃｌａｓｓｉ巧ｅｄＩ打ｄｅｘ：０２１２．８Ｕ．Ｄ．Ｃ：５１９．２

2、ＳｏｕｔｈｗｅｓｔＪｉａｏｔｏｎＵｎｉｖｅｒｓｉｔｇｙＭａｓｔｅｒＤｅｒｅｅＴｈｅｓｉｓｇＲＥＧＵＬＡＲＩＴＩＯＮＰＡＲＡＭＥＴＥＲＳＳＥＬＥＣＴＩＯＮＯＦＢＥＹＥＳＩＡＮＰＥＮＡＬＩＺＥＤＲＥＧＲＥＳＳＩＯＮＧｒａｄｅ：２０１４Ｃａｎｄｉｄａｔｅ：ＪｉａｏＲｕｉｉａｎｑｇＡｃａｄｅｍｉｃＤｅｇｒｅｅＡｐｐｌｉｅｄｆｏｒ：ＭａｓｔｅｒｏｆＳｃｉｅｎｃｅＳｐｅｃｉａｌｉｔｙ：ＳｔａｔｉｓｔｉｃＳｕｅｒｖｉｓｏｒ：ＰｒｏｆＺｈａｏＬｉａｎｗｅｎｐ

3、Ｍａｙ２０１７，西南交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部口或机构送交论文的复印件巧电子版，允许论文被查阅和借阅。本人授权西南交通大学可Ｗ将本论文的全部或部分内容编入有关数据库进行检索，可Ｗ采用影印、缩印或扫描等复印手段保存和汇编本学位论文。本学位论文属于１．□保密，年解密后适用本授权书＾；２．不保密ｔ／使用本授权书。＂＂（请在Ｗ上方框內打Ｖ）学位论文作者签名；指导老师签名：曰期！〇曰期：／．：？］

4、．么＾西南交通大学硕±学位论文主要工作（贡献）声明本人在学位论文中所做的主要工作或贡献如下：１、中响应变量服从正态分布，回归参数服从从贝叶斯分析角度出发，当惩罚回归一分布时指数分布族中的某，给出了惩罚回归中的正则项、损失函数与贝叶斯，模型中先验函数和似然函数之间的对应关系，基于此关系相应地，给出了惩罚回归中正则化参数的贝叶斯估计表法式，并从理论上证明了正则化参数估计表达式的合理性。２、应用贝叶斯知识推断出惩罚回归中回归参数所服从分布中的刻度参数的贝叶，斯后验估计，将此估升值用于贝叶斯惩罚回归

5、中正则化参数的估计表达式中，并将此方法推广到岭回归和ｌａｓｓｏ回归的正则化参数的选取上。３、文中所研巧的方法直接给出了正则化参数的估计表达式，和广义交叉验证这种贪婪的搜索算法相比较，降低了计算的复杂度，并且和直观的岭迹法相比较给出了贝叶斯意义上的统计解释。本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰。。写过的研究成果对本文的研巧做出贡献的个人和集体，均己在文中作了明确说明本人完全了解违反上述声明

6、所引起的一切法律责任将由本人承担。学位论文作者签名：燒命难曰期；么扛．２＊＾西南交通大学硕±研究生学位论文第Ｉ页摘要惩罚回归在统计学中是一种至关重要的回归系数估计和变量选择方法，而正则化参数在惩罚回归中起着平衡损失函数和正则项的作用。因此，在惩罚回归的拟合过程一中，选择个合适的正则化参数显得极其重要。在深入学习贝叶斯理论知识、研究惩罚回归的基础上，从贝叶斯分析角度出发，通过寻找惩罚回归中各个组成部分与贝叶斯模型中先验函数、似然函数之间的对应关系，相应地，给出惩罚回归中所选择的正

7、则化参数的贝叶斯估计表达式。具体地，文章在惩罚回归中的响应变量服从正态分布，回归参数服从指数族分布族中的某一个成员假设条件下，将惩罚回归中的损失函数表示成贝叶斯模型中的似然函数，正则项可表示成贝叶斯模型中的先验函数，通过贝叶斯公式，将损失函数和正则项Ｗ贝叶斯模型的形式结合起来一，于是形成了个关于回归系数的后验分布的贝叶。斯模型送个过程在找出惩罚回归和贝叶斯模型之间各个部分之间的对应关系的同时，相应地一，得到惩罚回归中的正则化参数的贝叶斯估计表达式。将其推广到般的惩罚回归（岭回归和ｌａｓｓｏ回归），

8、得到它们具体的正则化参数估计表达式。．从贝叶斯角度得到的正则化参数的估计表达式包含有响应变量和回归系数分布中参数，因此文章又重点探讨了关于分布中未知参数（位置参数和刻度参数）的贝叶斯估计值。最后一，通过实例分析，在数据集满足定的条件下，和现有的岭参数选择方法（广义交叉