当前位置:主页 > S生活客 >无偏性、有效性及一致性 >

无偏性、有效性及一致性

2020-07-13

一、前言

在统计中,推论统计是很重要的一个部分。当我们进行抽样之后,期望以抽取出来的样本,对母体的一些参数进行估计。点估计与区间估计是进行估计的两种方法。当我们进行点估计时,我们会对样本取得的数据进行统计量的计算,并且以计算出的统计量来估计母体的参数。但是这就面临一个问题,我们应该如何知道我们所利用的统计量是否真的能够推算出我们需要的母体参数呢?对于点估计来说,我们可以利用无偏性、有效性、一致性,三个性质作为判断的依据。

二、无偏性

当我们在进行估计时,最重要的一点就是,我们所利用的统计值能够準确推估出我们需要的参数,虽然每次抽样所抽取出的样本不同,可能会算出不同的统计量,但是这个统计量的期望值应当等于我们所要估计的母体参数。而这样子的性质,即是无偏性 (unbiasedness) 也相当于準确度 (accuracy)。

无偏性、有效性及一致性

图一、无偏性示意图。同心圆中心为欲估计的母体参数,红色点为不同样本计算所得之估计值。(本文作者锺秉元绘製)

若我们想要估计的母体参数为 \(\theta\),则 \(\theta\) 的无偏估计值应记为 \(\hat{\theta}\),因此可得:

\(E(\hat{\theta})=\theta\)

即估计值之期望值会等于欲估计之母体参数。

举例来说,如果母体的分布是常态分布 \(N(\mu,\sigma^2)\) 。其中,母体平均为 \(\mu\),母体变异数为 \(\sigma^2\)。在进行抽样之后,我们可以得到在抽出 \(n\) 个样本后,样本的平均为 \(\overline{x}\),以及样本变异数为 \(S^2\)。若要进行母体平均值的估计的话,样本平均数即为母体平均数的无偏估计值,证明如下。

\(\begin{array}{ll}E(\overline{x})&=\displaystyle E\left[\frac{1}{n}\left(\sum^n_{i=1}x_i\right)\right]&=\displaystyle\frac{1}{n} E\left(\sum^n_{i=1}x_i\right)\\&=\displaystyle \frac{1}{n}\left[\sum^n_{i=1}E(x_i)\right]&=\displaystyle\frac{1}{n}\left[\sum^n_{i=1}\mu\right]\\&=\displaystyle\frac{1}{n}(n\times \mu)&=\mu\end{array}\)

此外,用相同方法也能得知样本变异数为母体变异数的无偏估计,证明如下。

\(\begin{array}{ll}E(S^2)&=\displaystyle E\left[\frac{1}{n-1}\sum^n_{i=1}(x_i-\overline{x})^2\right]\\&=\displaystyle\frac{1}{n-1} E\left[\sum^n_{i=1}x_i^2-2x_i\overline{x}+\overline{x}^2\right]\\&=\displaystyle \frac{1}{n-1}E\left(\sum^n_{i=1}x_i^2-n\overline{x}^2\right)\\&=\displaystyle\frac{1}{n-1}\left[\sum^n_{i=1}E(x_i^2)-nE(\overline{x}^2)\right]\\&=\displaystyle\frac{1}{n-1}\{n[Var(x_i)+E^2(x_i)]-n[Var(\overline{x})+E^2(\overline{x})]\}\\&=\displaystyle\frac{1}{n-1}\left[n\left(\sigma^2+\mu^2\right)-n\left(\frac{\sigma^2}{n}+\mu^2\right)\right]\\&=\displaystyle\frac{1}{n-1}(n\sigma^2-\sigma^2)=\sigma^2\end{array}\)

因此,藉由无偏性的证明,可以确保我们所利用的统计值能够期望作为一个準确的估计值。

三、有效性

了解无偏性之后,在抽样时,就算能够确保估计值的期望值能够符合所要估计之母体参数,但是每次估计时,根据抽取的样本不同,估计出来的结果会不相同,因此我们希望每次估计时所得到的估计量都不要相差太远,才能确保不会有相差太远的极端值产生。也就是说估计值的变异数越小越好。变异数较小的估计值,即是较具有效性 (efficiency) 的估计值。有效性也相当于精密度 (precision)。

无偏性、有效性及一致性

图二、有效性示意图。同心圆中心为欲估计的母体参数,红色点为不同样本计算所得之估计值。(本文作者锺秉元绘製)

因此我们可以得知当 \(\theta\) 为我们欲估计之母体参数,而 \(\hat{\theta}\) 为其估计值时,\(Var(\hat{\theta})\) 越小,则该估计值越能準确表达出我们欲估计之母体参数。

四、一致性

根据大数法则,如果我们在抽样时,抽出的样本数越多,则估计值等于欲估计之母体参数的真值得机率会提高。而在抽出的样本趋近无限多的情况下,估计值等于母体参数真值的机率应该要等于一,因为当样本数趋近无限大时,可预期能够抽出所有母体,因此估计值应当与母体参数真值相等。此性质即为一致性。

因此根据一致性的定义,当 \(\theta\) 为我们欲估计之母体参数,而 \(\hat{\theta_n}\) 为其在抽出 \(n\) 个样本之下的估计值时,可得:

\(\displaystyle P(\lim_{n\to\infty}\hat{\theta_n}=\theta)=1\)

另一方面,在已知某个估计值为无偏估计值的情况下,当样本数趋近无穷大时,该估计值的变异数等于 \(0\) 的话,也能说明该计值符合一致性。因为无偏性的性质说明此估计值的期望值会是母体参数,而变异数为 \(0\) 说明了没有偏差,因此此估计值能够等于母体参数真值。

举例来说,样本平均数是母体平均数的无偏估计值,而样本平均数的变异数 \(V(\overline{x}_n)=\frac{\sigma^2}{n}\)在样本数趋近无限大的情况下,可得:

\(\displaystyle \lim_{n\to\infty}V(\overline{x}_n)=\lim_{n\to\infty}\frac{\sigma^2}{n}=0\)

因此样本平均数作为母体平均数的估计值,具有一致性。

五、例题

在符合常态分布 \(N(\mu,\sigma^2)\) 的母体中抽出 \(10\) 个样本,现在有两个统计量用来估计母体平均数,如下

\(\displaystyle T_1=\frac{x_1+2x_{10}}{3}\)

\(\displaystyle T_2=\frac{1}{10}\sum^{10}_{i=1}x_i\)

试计算两个统计量是否有无偏性?哪一个较具有有效性?

解:

\(\displaystyle E(T_1)=E\left(\frac{x_1+2x_{10}}{3}\right)=\frac{1}{3}[E(x_1)+2E(x_{10})]=\frac{1}{3}(\mu+2\mu)=\mu\)

\(T_1\) 具无偏性

\(\displaystyle E(T_2)=E\left(\frac{1}{10}\sum^{10}_{i=1}x_i\right)=\frac{1}{10}\sum^{10}_{i=1}E(x_i)=\frac{1}{10}(10\mu)=\mu\)

\(T_1\) 具无偏性

\(\displaystyle V(T_1)=V\left(\frac{x_1+2x_{10}}{3}\right)=\frac{1}{9}V(x_1)+\frac{4}{9}V(x_{10})=\frac{5}{9}\sigma^2\)

\(\displaystyle V(T_2)=V\left(\frac{1}{10}\sum^{10}_{i=1}x_i\right)=\frac{1}{100}\sum^{10}_{i=1}v(x_i)=\frac{1}{100}(10\sigma^2)=\frac{1}{10}\sigma^2\)

\(V(T_1)>V(T_2)\) 故 \(T_2\) 较具有效性


参考文献

相关推荐