极大似然估计算法研究

《极大似然估计算法研究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、高校应用数学学报2009，24(3)：275—280极大似然估计算法研究戴家佳，杨爱军，杨振海(1．贵州大学理学院，贵州贵阳550025；2．北京工业大学应用数理学院，北京100124)摘要：将解一元方程的二分法推广至求解多元非线性方程组．以第k个变元为参数，则元方程组就可以看作曲线s(前一1个方程)和k一1维曲面(第个方程)，于是元方程组的解就可以看作寻找曲线8和曲面的交点．对参数作二分法，重复迭代，直到找到满足误差要求的方程组的解．最后给出了用多元二分法的算法求解极大似然估计的数值解．关键词：极大似然估计；二分法；参数估计中

2、图分类号：O212．1文献标识码：A文章编号：1000—4424(2009)03．0275—06§1引言极大似然估计(MLE)是统计学中常用和重要的参数估计方法．尤其在处理不完全寿命的情况时，极大似然估计具有明显的优势．但能够如服从正态分布的样本一样，给出参数估计的解析表达式是少见的．经常遇见的情况是只能够列出参数估计所满足的方程或方程组，不仅没有解析解，就是计算出数值解也是不容易的．虽然解方程组有很多方法，如牛顿法，共轭梯度法等，但方法是否收敛与初值的选取有很大关系．在统计学中经常遇到难解的求MLE的方程组．例如，设总体服从W

3、eibul1分布，其概率密度函数为：，(；，)={羞詈一e一‘詈’’三三：：()其中，为未知参数．假设有定数截尾样本1，⋯，，r

4、48号276高校应用数学学报第24卷第3期考虑又如，Beta分布中的参数估计问题，设Beta分布概率密度函数为：线性fb(；，)={’r‘’护一一’．’(3)方程基于样本，⋯，的对数似然函数为：组)=n[1n(F(a+))一ln(F())一ln(r(]+(Ol一1)∑ln(xt)+(—1)∑ln(1一Xi)．(4)，●则未知参数和的MLEa，是下面方程组的解：厂(a+)一厂(a)+丢∑1ln(xi)=0，，；I厂(a+)一厂()+∑ln(1一)=0’其中厂(u)=／r()．对于对数似然方程组(5)，只能给出数值解．再比如，航空产

5、品的疲劳寿命和强度分布可用三参数Weibul1分布很好描述，但是三参数Weibul1分布的参数估计比较复杂．不少学者讨论了三参数Weibul1分布的极大似然估计的改进．Qiao等[]~'JmNewton—Raphson方法逐步求解参数估计值；Gove[】采用非线性最优化方法求解；曲延碌等【。]提出了一种降阶的似然方法；杨谋存等【]利用了降阶的思想，两次利用二分法给出了一种新的求解三参数Weibul1分布参数的极大似然估计的数值方法．因此讨论难解的极大似然估计的数值方法，在实际应用中是有意义的．事实上，极大似然估计的数值方法就是研

6、究多元非线性方程组的数值解．在本文中，将常见的解一元非线性方程的二分法，推广至解多元的非线性方程组．其基本思想：以第k个变元为参数，则元方程组就可以看作曲线sf前k—1个方程)和k一1维曲面(第k个方程)，于是k元方程组的解就可以看作寻找曲线s和曲面C的交点．对参数Xk作二分法，重复迭代，直到找到满足误差要求的方程组的解．首先，给出推广二分法的算法步骤．其次，利用推广的二分法解方程组(2)和(5)．§2方程组二分解法·，Xk一1，Xk)=0·，一1，％)=0【gk(xl，。一，Xk一1，％)0·解该方程组的方法很多，如牛顿法，最

7、速下降法等．牛顿法具有收敛快，形式简单的优点，但是它对初值的要求较高．同时，最速下降法虽然计算简单，收敛性好，但收敛速度较慢．我们知道，对解一元非线性方程来说，二分法思想直观，计算简单，容易估计误差，具有线性收敛速度，不失为一个可用的算法．但是关于数值分析的教科书(例如『81)上都指出一元二分法难于推广到多维空间．在这里考虑：二分法能否推广到解非线性方程组f6)?回答是肯定的．将方程组f61改写成：=0，=0．戴家佳等：极大似然估计算法研究277由方程组的隐函数存在定理，~gi(xl，⋯，z七～1，xk)，i=l，⋯，k～1，在

8、(P，⋯，xO—l，2)的且在点(?，⋯，xo一1，2)处的雅可比行列式暑值不等于0，则(7)在(2，⋯，xO一1，xo)善弓278高校应用数学学报第24卷第3期Y00图1算法示意图图1中，假设(，虮，Zu)和(f，Yf，)为曲线s上的两个点，06cd表示由93