十分統計量とは母集団の特性を十分に表現する統計量【例も紹介します】

目次（まとめ）

十分統計量とは母集団の特性を十分に表現する統計量

ベルヌーイ試行を用いて、十分統計量の考え方を解説

参考文献

こんにちは、みっちゃんです。

今回の記事では、「統計量」が「十分統計量」とされる条件などに注目します。

十分統計量とは母集団の特性を十分に表現する統計量

パラメータ $\theta$ をもつ確率分布にしたがう母集団から、ランダムに $n$ 個の標本を取り出す状況を考えます。

ここで、標本は ${\bf X} = (X_1, X_2, ..., X_n)$ と表現します。

この標本を用いると、標本平均 ${\overline X}$ や標本分散 $S^2$ を計算することができます。

一般に、標本平均や標本分散は「統計量」と呼ばれますが、ここでは、$T({\bf X})$ と表現します。

いま、パラメータ $\theta$ をもつ確率分布にしたがう母集団 ${\bf x} = (x_1, x_2, ..., x_n)$ について、統計量 $T({\bf x}) = t$ を満たすとき、以下のような条件付き確率を考えます。

$$P({\bf X} = {\bf x} | T({\bf X}) = t)$$
つまり、標本から得られる統計量が $t$ であるときに、標本が母集団に一致する確率を考えています。

この条件付き確率が、パラメータ $\theta$ に依存しないとき、統計量 $T({\bf X})$ が「十分統計量」と呼ばれます。

ベルヌーイ試行を用いて、十分統計量の考え方を解説

標本 ${\bf X} = (X_1, X_2, ..., X_n)$ が互いに独立にパラメータ $\theta$ のベルヌーイ分布にしたがうとします。

ベルヌーイ分布は、"0" か "1" をとるようなベルヌーイ試行の分布であるので、その確率関数は以下のように得られます（ベルヌーイ分布については、こちらの記事をご参照ください）。

$$P (X = x | \theta) = \theta^x (1 - \theta)^{1 - x}\qquad (x = 0, 1)$$
ここで、標本 $X_1$ と標本 $X_2$ が互いに独立にベルヌーイ分布にしたがうとき、その確率関数は、2つの確率関数の積になるので、以下のように表現できます。
$$P({\bf X} = {\bf x}) = P(X_1 = x_1) \times P(X_2 = x_2)$$
これを $n$ 回のベルヌーイ試行で得られた標本 ${\bf X} = (X_1, X_2, ..., X_n)$ に拡張すると、以下のようになります。
$$\begin{eqnarray}P({\bf X} = {\bf x}) &=& \prod_{i = 1}^n P(X_i = x_i)\\&=&\prod_{i = 1}^n \theta^{x_i} (1 - \theta)^{1 - x_i}\\&=&\theta^{\sum_{i=1}^n x_i} (1 - \theta)^{n - \sum_{i = 1}^n x_i}\end{eqnarray}$$
また、確率変数 $Y$ を以下のように定義します。
$$Y = T({\bf X}) = \sum_{i = 1}^n X_i$$
$X_i (i = 1, 2, ..., n)$ がベルヌーイ試行にしたがうので、$X_i = 1$ となる$X_i$ を足し合わせていることになり、"1" の数を数えていることになります。

これは、確率変数 $Y$ が2項分布にしたがうことを意味します（2項分布についてはこちらの記事をご参照ください）。

したがって、確率変数 $Y$ の確率関数は、以下のように表現することができます。
$$P(Y = t) = {}_n \mathrm{C}_t \theta^t (1-\theta)^{n-t}$$
ここで、$Y = T({\bf X}) = t$ を与えたときの、${\bf X} = {\bf x}$ の条件付き確率を考えます。
$$\begin{eqnarray}P({\bf X} = {\bf x} | T({\bf X}) = t) &=& \frac{P({\bf X} = {\bf x} , T({\bf X}) = t)}{P(T({\bf X}) = t)}\\&=&\frac{1}{{}_n \mathrm{C}_t}\end{eqnarray}$$
得られた結果にはパラメータ $\theta$ を含んでいないことから、統計量 $T({\bf X})$ が「十分統計量」となります。

参考文献

久保川達也「現代数理統計学の基礎」共立出版