模式识别和机器学习课件.ppt

《模式识别和机器学习课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2.3.5Sequentialestimation1.序列估计的引入2.序列估计在参数估计中的应用（高斯分布）高斯分布对均值的最大似然估计如下现在作如下变形：3.用R-M算法产生普遍化的序列学习算法考虑变量z，θ两个变量，联合概率分布为P(z,θ)，在θ条件下的z的条件分布的期望是关于θ的函数，如下：（2.127）像这样定义的函数叫回归函数？？？我们的目标是找出，对于给出的数据有两种情况：a数据量足够大，直接构建回归函数求出b数据分次给出，序列估计的方法求出现在考虑序列估计的方法,前提条件是满足下面的公式（2.128）基于上面的

2、描述，提出了针对的序列估计，公式如下系数满足以下三个条件通过引入R-M算法，求解最大似然解首先引入下面的等式交换积分和求导顺序，并且使得N→从2.134发现，求解等价于求解回归函数的根值，利用R-M公式实例：对高斯分布的均值用序列估计的方法变量Z表示如下：将2.136代入2.135得到，并且假设，得到2.126的单变量形式2.3.6BayesianinferencefortheGaussian一般来说对最大似然函数的参数估计都是点估计，现在考虑用贝叶斯的方法，引入的原因？下面分三种情况考虑a：均值未知，方差已知b：均值已知，方差

3、未知c：均值、方差皆未知a:考虑单变量的情况，设，并且假设方差已知，基于基于N个样本观测值来估计所以有关的似然函数如下选取的先验分布为所以后验概率为经过证明得出其中：对上面两个式子进行分析其中，当N=0的时候，当N=，其中现在考虑一个D维的高斯变量X，且协方差已知，均值未知。现在有N个观测值，利用前一节讲到的序列估计的方法求在N个观测值的基础上估计均值。公式如下：b：均值已知，方差未知现在假设随机变量x的方差未知，均值已知，并且为了后面的计算及讨论方便令其中为精度。利用似然函数的定义可得的似然函数如下：与之相对应的先验分布为ga

4、mma分布为：gamma分布的均值和方差如下：现在考虑一个先验分布为，将此分布与似然函数2.145式相乘，得到后验分布如下：将上式表达成参数为的gamma分布如下：c.方差和均值皆未知为了找到这种情况下的先验分布，先对两个参数的共同的似然函数求出并变形：所以我们希望找出一个与似然函数类似的有关连个参数的先验分布，表示如下：2.153式子可以写成贝叶斯的形式，通过观察一个服从高斯分布，一个服从gamma分布。所以将先验分布表示如下：其中参数上式的分布为标准伽马分布或者高斯伽马分布。2.154和2.152结合可以得到后验概率现在考虑

5、D维随机变量x的多元高斯分布其分布为，那么均值的先验分布也为高斯分布。假定均值已知，协方差矩阵未知，那么协方差矩阵的先验分布为维希特分布，形式如下：其中为自由度，B为常量由下式定义：当精确度和均值都不知道的时候，那么关于两者的先验分布为上式表示为标准维希特分布或者高斯维希特分布2.3.7Student'st-distributiont-分布引入解决高斯分布的的敏感性问题?假设随机变量x服从高斯分布，精度的先验分布为t分布的引入式通过对下式求积分得出，也就是求x的边缘分布，如下：通过变量替换上式形式变化为t分布参数是t分布的精度，

6、是自由度t分布的特征：鲁棒性从式子2.158看出，t分布是无数多个均值相同方差不同的高斯分布的积分，也是混合高斯分布的一种，所以t分布比高斯分布有更长的间隔，对于存在异常点的数据来说，没有高斯分布敏感，这就是t分布的鲁棒性。如下图多元t分布分析将2.158作如下的参数替换得到：对于多元高斯分布有，用归纳法可得与之相对应的多元t分布为积分可得：其中：2.3.8Periodicvariables