矩估计和极大似然估计 (I)

《矩估计和极大似然估计 (I)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、统计推断的过程样本总体样本统计量例如：样本均值、比例、方差总体均值、比例、方差等参数估计的方法矩估计法最小二乘法最大似然法顺序统计量法估计方法点估计区间估计1.矩法估计参数的点估计2.极大似然估计参数估计问题的一般提法设总体X的分布函数为F(x,θ)，其中θ为未知参数或参数向量，现从该总体中抽样,得到样本X1,X2,…,Xn.依样本对参数θ做出估计，或估计参数θ的某个已知函数g(θ)。这类问题称为参数估计。参数估计包括：点估计和区间估计。称该计算值为µ的一个点估计。为估计参数µ，需要构造适当的统计量T(X1,X2,…,Xn)，一旦当有了样本，就将样本值代入到该统

2、计量中，算出一个值作为µ的估计，寻求估计量的方法1.矩估计法2.极大似然法3.最小二乘法4.贝叶斯方法…我们仅介绍前面的两种参数估计法。其思想是:用同阶、同类的样本矩来估计总体矩。矩估计是基于“替换”思想建立起来的一种参数估计方法。最早由英国统计学家K.皮尔逊提出。一、矩估计矩估计就是用相应的样本矩去估计总体矩。解：先求总体的期望例1：设总体X的概率密度为由矩法，令样本矩总体矩解得为α的矩估计。注意：要在参数上边加上“^”，表示参数的估计。它是统计量。解:先求总体的均值和2阶原点矩。例2：设X1,X2,…Xn是取自总体X的简单样本,X有概率密度函数令y=(x-μ

3、)/θ令y=(x-μ)/θ用样本矩估计总体矩得例3：设总体X的均值为，方差为2，求和2的矩估计。解：由故，均值,方差2的矩估计为即如：正态总体N(,2)中和2的矩估计为设总体X的分布函数中含k个未知参数步骤一：记总体X的m阶原点矩E(Xm)为am,m=1,2,…,k.am(1,2,…,k),m=1,2,…,k.一般地,am(m=1,2,…,K)是总体分布中参数或参数向量(1,2,…,k)的函数。故,am(m=1,2,…,k)应记成:步骤二：算出样本的m阶原点矩步骤三：令得到关于1,2,…,k的方程组(L≥k)。一般要求方程组

4、(1)中有k个独立方程。步骤四：解方程组(1),并记其解为这种参数估计法称为参数的矩估计法，简称矩法。又如：若总体X∼U(a,b)，求a,b的矩估计。解：列出方程组因解上述方程组，得到a,b的矩估计:矩估计的优点是：简单易行,不需要事先知道总体是什么分布。缺点是：当总体的分布类型已知时，未充分利用分布所提供的信息；此外，一般情形下，矩估计不具有唯一性。二、极大似然估计极大似然估计法是在总体的分布类型已知前提下，使用的一种参数估计法。该方法首先由德国数学家高斯于1821年提出，其后英国统计学家费歇于1922年发现了这一方法，研究了方法的一些性质，并给出了求参数极大

5、似然估计一般方法——极大似然估计原理。似然函数的定义1.设总体X为离散型随机变量，它的分布律为现有样本观察值x1,x2,…xn,,其中xk取值于{ak,k=1,2…}问：根据极大似然思想，如何用x1,x2,…xn估计q?根据极大似然思想,值应是在中使P(A)达到最大的那一个,也就是使样本联合分布律最大.2.最大似然估计法最大似然估计法假定现在我们观测到一组样本X1,X2,…,Xn，要去估计未知参数θ。称为θ的极大似然估计(MLE)。一种直观的想法是：哪个参数(多个参数时是哪组参数)使得现在的出现的可能性(概率)最大，哪个参数(或哪组参数)就作为参数的估计。这

6、就是极大似然估计原理。如果θ可能变化空间,称为参数空间。III.下面举例说明如何求参数的MLE例1:在正确使用情况下，某手机电池的保修期为400小时，假设P是一批这种手机电池在保修期内失效的比例。（1）求p的极大似然估计量；（2）随机抽取了2000块电池作为样本，发现有3块电池在保修期内失效，根据这些信息求参数p的极大似然估计值。似然函数为解从这批手机电池中任意取一块，定义X，当电池在保修期内失效时X=1，否则X=0，则X~B(1,p)，X1,X2,…,Xn是取自总体的一个样本。对数似然函数为：对p求导，并令其等于零，得上式等价于解上述方程，得换成换成(4).在

7、最大值点的表达式中，代入样本值，就得参数θ的极大似然估计。II.求极大似然估计(MLE)的一般步骤.由总体分布导出样本的联合概率函数(连续型时为联合概率密度,离散型时为联合概率分布)；(2).把样本的联合概率函数中的自变量看成已知常数,参数θ看成自变量,得到似然函数L(θ)；(3).求似然函数L(θ)的最大值点(常常转化为求lnL(θ)的最大值点)，即θ的MLE;两点说明：●求似然函数L(θ)的最大值点，可应用微积分中的技巧。由于ln(x)是x的增函数，所以lnL(θ)与L(θ)在θ的同一点处达到各自的最大值。假定θ是一实数,lnL(θ)是θ的一个可微函数。通过

8、求解似然方程可以得到θ的