北航系研究生课程机器学习课件张兆翔

《北航系研究生课程机器学习课件张兆翔》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、机器学习第十讲张兆翔课程回顾基本采样法(BasicSampling)思想：从基本概率分布产生新变量的分布Uniformdistribution:Gaussiandistribution:拒绝采样(RejectSampling)假设：对一个很复杂的进行采样。不能给出具体的解析形式，但是每个可以估算其比例。已知未知用去逼近拒绝采样(RejectSampling)1.从产生被拒绝的概率2.从均匀分布中产生3.拒绝；否则接收作为采样自适应拒绝采样(AdaptiveRejectSampling)在实际场合中，很难获得。特别是为log凸

2、函数时，可采用ARS如果满足，接收如果拒绝，重新逼近重要性采样(ImportanceSampling)同样借助于一个易于采样的注：很多情况下不能够准确知道，而只能知道比例重要性采样(ImportanceSampling)注：很多情况下不能够准确知道，而只能知道比例重要性采样(ImportanceSampling)重要性重采样(Sampling‐Importance‐Resampling)回顾拒绝采样第一步、根据产生第二步、根据产生最后，从中按照的概率产生新的L个样本蒙特卡洛采样啥是蒙特卡洛？蒙特卡罗（MonteCarlo）是世界

3、著名的赌城，是摩纳哥的标志。富丽堂皇的蒙地卡罗赌场，建于一八六三年，是一幢古色古香以及巍峨的宫殿式建筑物，再加上山明水秀，使游客抵达门前，立即发生好感。门前有一大片广场，是一个花圃，一草一木都修剪整齐，鲜花盛放，七彩缤纷，园旁有一停车场，园尽处一间宫殿式的建筑便是闻名世界的蒙地卡罗赌场了。登台阶入门，站着警卫把守。照摩纳哥法律，本国人不准入内赌博，观光客自然欢迎，然后凭护照交十法朗便成为［一日］的［会员］，凭此证才能进入赌场。场内气派堂皇，墙上的装饰与帷幕，加上白天也亮的钻石般闪烁的水晶灯，满铺的红地毯烘托着，穿着整齐礼服的侍者，气氛上是不同凡

4、响。内有适合歌剧表演的大舞台，再过一道门进入一间大厅，便是著名的赌场了。蒙特卡洛采样法注：不能够准确知道，而只能知道比例首先产生一个采样点；根据建议概率产生新的采样点；依次类推，产生马尔可夫链；要求尽可能简单，便于产生采样点；有一个准则去决定是接受还是拒绝产生的采样点Metropolis采样方法(1953年)建议概率：接受概率：在(0,1)的均匀分布上获得采样点；如果接受，否则拒绝；特例：随机散步(RandomWalk)走的距离正比于的平方根，走得太慢马尔可夫链齐次MC第一要素：初始状态第二要素：转移矩阵保持不变性如果Me

5、tropolis‐Hastings算法建议概率：根据产生采样接受概率：是否满足不变性如果Gibbs采样(1984)一种特殊的Metropolis‐Hastings采样算法针对多元分布进行处理每次只改变一个维度上的值，保持其他维度不变在第步，假设已产生根据产生根据产生根据产生Gibbs采样边缘分布没有变化；条件分布满足要求；Gibbs采样与Metropolis‐Hastings采样的关系建议概率：根据产生采样接受概率：Gibbs采样：GaussianDistributionSlice采样Metropolis采样的缺点步长太短：

6、走得太慢（可能随机散步）；步长太长：拒绝率很高，效率较差；Slice采样可以自适应的调整步长Slice是个啥？切片u从而将z空间扩展成(z,u)空间Slice采样第一步给定，在范围内均匀分布产生第二步给定，在范围内均匀分布产生Slice采样在实际应用中，很难确定范围第一步给定，在范围内均匀分布产生第二步给定，在范围内均匀分布产生如何体现自适应采样方法采样是个很难的问题;采样很重要？比如说最热门的物体跟踪算法；比如说三体运动；大家回去好好复习，受益终身。