参数模型与贝叶斯方法

《参数模型与贝叶斯方法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、参数模型与贝叶斯方法1.极大似然与广义线性模型2.非线性回归模型3.贝叶斯推断4.压缩估计方法和贝叶斯方法在投资中的应用1.极大似然与广义线性模型1.1计算MLE的数值方法似然函数对求最大时，需要限制为半正定，使用Cholesky分解1.2广义线性模型正态分布族Poisson分布族logistic模型probit模型广义线性模型的似然函数及迭代再加权最小二乘Newton-Raphson迭代式2.非线性回归模型部分线性模型可转化为线性的模型2.1高斯-牛顿算法计算最小点，选取作为初值，在第j个迭代步中，得到用上式来近似，最初的非线性模型可以由下面的线性回归模型来近似上式中θ的O

2、LS估计值的显示表示为矩阵求逆步长因子收敛性准则1参数增量相对与参数值足够小2足够小3几乎正交于在处的切平面这个准则的要求为下式足够小Levenberg-Marquardt修正2.2统计推断令表示非线性回归模型中的估计，用表示的真值，我们假设X非随机，那么由下式在假设下，其中我们得到2.3实现和实例应用非线性最小二乘估计来估计Hull-White利率模型中收益率的波动率其中期限为τ(年)的收益率的方差由下式给出其中κ和σ是模型的参数3贝叶斯推断3.1先验分布和后验分布在给出贝叶斯公式的密度函数形式之前，先介绍以下贝叶斯学派的一些具体思想或者叫着基本假设：假设Ⅰ随机变量X有一个

3、密度函数p(x;θ)，其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，p(x;θ)是在给定θ后的一个条件密度函数，因此记为p(x│θ)更恰当一些。这个条件密度能提供我们的有关的θ信息就是总体信息。假设Ⅱ当给定θ后，从总体p(x│θ)中随机抽取一个样本X1，…，Xn，该样本中含有θ的有关信息。这种信息就是样本信息。假设Ⅲ从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用π(θ)表示。（1）先验分布定义1将总体中的未知参数θ∈Θ看成一取值于Θ的随机变量，它有一概率分布，记为π(θ)，称为参

4、数θ的先验分布。（2）后验分布在贝叶斯统计学中，把以上的三种信息归纳起来的最好形式是在总体分布基础上获得的样本X1，…，Xn，和参数的联合密度函数：在这个联合密度函数中，当样本给定之后，未知的仅是参数θ了，我们关心的是样本给定后，θ的条件密度函数，依据密度的计算公式，容易获得这个条件密度函数：这就是贝叶斯公式的密度函数形式，其中称为θ的后验密度函数，或后验分布。3.2贝叶斯方法贝叶斯方法是在给定数据下最小化基于θ的后验分布的某个函数。统计决策问题，必须具备几个要素：1参数空间以及一个分布族2从分布抽取的样本数据，其中θ表示参数真值，称作“样本空间”3决策空间包含所有可供选择的

5、行为4损失函数表示当真值θ为参数值，选择行为ɑ导致的损失风险函数贝叶斯风险贝叶斯准则，即最小化贝叶斯风险：那么上式可以写成3.3多元正态均值和协方差阵的贝叶斯估计令为多维正态分布的n个独立同分布的观测。用表示样本均值向量。∑已知时μ的贝叶斯估计假设μ的先验分布为，后验分布是一个正态分布，均值为协方差阵为逆转Wishart分布进一步有的贝叶斯估计使用下面的分布作为的先验分布：上式也是一个共轭分布族，因为给定X分量下，的后验分布为μ和∑的贝叶斯估计，即其后验均值为和3.4高斯回归模型中的贝叶斯估计令，我们可以假设的先验分布为那么给定（X，Y）下，的后验分布也有相同形式：因此，β的

6、贝叶斯估计仍然是，的贝叶斯估计为3.5经验贝叶斯估计和压缩估计4压缩估计和贝叶斯估计在投资中的应用4.1代入估计有效前沿下μ和∑的压缩估计4.2另一种贝叶斯方法