第三章 点估计(1)

1.点估计的基本属性

点估计：$\mathbf{X}=(X_1,\cdots ,X_n)$作为某个总体的样本，$\hat{g}(X_1,\cdots ,X_n)$是样本的函数，用$\hat{g}(\mathbf{X})$的值作为$g(\theta )$的估计，称为点估计。简单来说，就是用某种函数来处理一个样本，得到的数据作为某个参数的函数的估计值。

采取不同的函数对某参数进行点估计，估计的效果不同，一般用来评价点估计的好坏有一些标准。以下用$\hat{g}(X)$与${\hat{g}}_n(X)$表示同一点估计，$n$为样本容量。

• 无偏性：无偏的点估计期望等于参数值，即是否有
  $$E_{\theta }(\hat{g}(X))=g(\theta ).$$
  如果上式成立，则称$\hat{g}(X)$是$g(\theta )$的一个无偏估计。无偏性意味着用这种方法估计参数没有系统偏差，但具有随机误差（且大小不定），在只有少次数使用时效果微乎其微，需要多次重复使用才能接近真值。

• 渐进无偏性：如果$E_{\theta }(\hat{g}(X))\ne g(\theta )$，但
  $$\underset{n\to \infty }{\lim }\hat{E}(g_n(X))=g(\theta )$$
  则称${\hat{g}}_n(X)$是渐进无偏估计（具有渐进无偏性）。

• 有效性：有效性是针对无偏估计而言的，要比较两个无偏估计的好坏，显然方差越小越好，所以设${\hat{g}}_1(X),{\hat{g}}_2(X)$为$g(\theta )$的两个无偏估计量，如果
  $$\begin{gathered} D_{\theta }({\hat{g}}_1(X))\le D_{\theta }({\hat{g}}_2(X)),\forall \theta \in \Theta \\ \exists {\theta }_0,s.t.D_{{\theta }_0}({\hat{g}}_1(X))<D_{{\theta }_0}({\hat{g}}_2(X)) \end{gathered}$$
  则称${\hat{g}}_1(X)$是更有效的无偏估计。

• 相合性：我们希望点估计量能够随着样本容量的增加，与被估计参数的偏差越来越小，因此提出相合这一判断依据。这里有几种相合性：

  • 弱相合估计：${\hat{g}}_n(X)$依概率收敛到$g(\theta )$，即$\forall \theta \in \Theta ,\epsilon >0$有
    $$\underset{n\to \infty }{\lim }{\mathbf{P}}_{\theta }(|{\hat{g}}_n(X)-g(\theta )|\ge \epsilon )=0$$
    这常用到切比雪夫不等式，即
    $$\mathbf{P}(|\xi -E\xi |\ge \epsilon )\le \frac{D\xi }{{\epsilon }^2}$$

  • 强相合估计：对$\forall \theta \in \Theta$有
    $${\mathbf{P}}_{\theta }(\underset{n\to \infty }{\lim }{\hat{g}}_n(X)=g(\theta ))=1$$
    这常用到柯尔莫哥洛夫强大数定律，即对于一列独立同分布随机变量序列{ξn},E∣ξi∣<∞,Eξi=μ\{\xi_n\},E|\xi_i|<\infty,E\xi_i=\mu{ξn​},E∣ξi​∣<∞,Eξi​=μ，则有
    $$\frac{1}{n}\sum _{i=1}^n{\xi }_i\to \mu \text{ a.s.}$$
    对于连续函数$f$，若${\xi }_n\to a\text{ a.s.}$，则有$f({\xi }_n)\to f(a)\text{ a.s.}$。

  • $r$阶矩相合估计：对$r>0,\forall \theta \in \Theta$有
    $$\underset{n\to \infty }{\lim }{E}_{\theta }|{\hat{g}}_n(X)-g(\theta ){|}^r=0$$
    则称为$r$阶矩相合估计，当$r=2$时称为均方相合估计。

2.矩估计法

样本矩：分为原点矩与中心矩。样本的$k$阶原点矩为$a_{n,k}=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$，样本的$k$阶中心矩为$m_{n,k}=\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{X}{)}^k$。它们是总体原点矩${\alpha }_k$与中心矩${\mu }_k$的“自然”估计量，并且$a_{n,k}$是总体原点矩${\alpha }_k$的无偏估计。

矩估计量：对于分布族{f(x,θ),θ∈Θ}\{f(x,\theta),\theta\in\Theta\}{f(x,θ),θ∈Θ}，关于$\theta$的函数$g(\theta )$可以表示为总体分布的某些矩的函数$g(\theta )=G({\alpha }_1,\cdots ,{\alpha }_k,{\mu }_2\cdots ,{\mu }_s)$。将总体矩自然地换成样本矩，就得到了矩估计量
$$\hat{g}(\mathbf{X})=G(a_{n,1},\cdots ,a_{n,k},m_{n,2},\cdots ,m_{n,s})$$
这种求矩估计量的方法叫做矩法求点估计。

矩估计量的性质：

• 无偏性方面，一般$a_{n,k}$是${\alpha }_k$的无偏估计，$m_{n,k}$不是${\mu }_k$的无偏估计。由此，待估参数$g(\theta )$为矩的一般函数时，矩估计量一般不具有无偏性；但是，如果$g(\theta )$是若干总体原点矩的线性组合，则显然矩估计量具有无偏性。
• 渐进无偏性方面，矩估计量一般具有渐进无偏性。
• 相合性方面，$a_{n,k}$是${\alpha }_k$的强相合估计，由柯尔莫哥洛夫强大数定律保证；$m_{n,k}$是${\mu }_k$的强相合估计。对于$g(\theta )=G({\alpha }_1,\cdots ,{\alpha }_k,{\mu }_2,\cdots ,{\mu }_s)$，且$G$是其变元的连续函数，则${\hat{g}}_n(X)$是$g(\theta )$的强相合估计。
• 渐近正态性：矩估计是相合渐进正态估计。

相合渐进正态估计（CAN估计）：${\hat{g}}_n(X)$是$g(\theta )$的矩估计量，如果存在与样本大小有关的，定义在参数空间上的函数$A_n(\theta ),B_n(\theta )$，使得
$$\frac{{\hat{g}}_n(X)-A_n(\theta )}{B_n(\theta )}\stackrel{\mathcal{L}}{⟶}N(0,1)$$
即${\hat{g}}_n(X)$拥有正态的形式，则称${\hat{g}}_n(X)$是$g(\theta )$的相合渐进正态估计。