目次（まとめ）
◾️ 十分統計量とは母集団の特性を十分に表現する統計量
◾️ ベルヌーイ試行を用いて、十分統計量の考え方を解説
◾️ 参考文献
こんにちは、みっちゃんです。
今回の記事では、「統計量」が「十分統計量」とされる条件などに注目します。
十分統計量とは母集団の特性を十分に表現する統計量
パラメータ \(\theta\) をもつ確率分布にしたがう母集団から、ランダムに \(n\) 個の標本を取り出す状況を考えます。
ここで、標本は \({\bf X} = (X_1, X_2, ..., X_n)\) と表現します。
この標本を用いると、標本平均 \({\overline X}\) や標本分散 \(S^2\) を計算することができます。
一般に、標本平均や標本分散は「統計量」と呼ばれますが、ここでは、\(T({\bf X})\) と表現します。
いま、パラメータ \(\theta\) をもつ確率分布にしたがう母集団 \({\bf x} = (x_1, x_2, ..., x_n)\) について、統計量 \(T({\bf x}) = t\) を満たすとき、以下のような条件付き確率を考えます。
$$P({\bf X} = {\bf x} | T({\bf X}) = t)$$
つまり、標本から得られる統計量が \(t\) であるときに、標本が母集団に一致する確率を考えています。
この条件付き確率が、パラメータ \(\theta\) に依存しないとき、統計量 \(T({\bf X})\) が「十分統計量」と呼ばれます。
ベルヌーイ試行を用いて、十分統計量の考え方を解説
標本 \({\bf X} = (X_1, X_2, ..., X_n)\) が互いに独立にパラメータ \(\theta\) のベルヌーイ分布にしたがうとします。
ベルヌーイ分布は、"0" か "1" をとるようなベルヌーイ試行の分布であるので、その確率関数は以下のように得られます（ベルヌーイ分布については、こちらの記事をご参照ください）。
$$P (X = x | \theta) = \theta^x (1 - \theta)^{1 - x}\qquad (x = 0, 1)$$
ここで、標本 \(X_1\) と標本 \(X_2\) が互いに独立にベルヌーイ分布にしたがうとき、その確率関数は、2つの確率関数の積になるので、以下のように表現できます。
$$P({\bf X} = {\bf x}) = P(X_1 = x_1) \times P(X_2 = x_2)$$
これを \(n\) 回のベルヌーイ試行で得られた標本 \({\bf X} = (X_1, X_2, ..., X_n)\) に拡張すると、以下のようになります。
$$\begin{eqnarray}P({\bf X} = {\bf x}) &=& \prod_{i = 1}^n P(X_i = x_i)\\&=&\prod_{i = 1}^n \theta^{x_i} (1 - \theta)^{1 - x_i}\\&=&\theta^{\sum_{i=1}^n x_i} (1 - \theta)^{n - \sum_{i = 1}^n x_i}\end{eqnarray}$$
また、確率変数 \(Y\) を以下のように定義します。
$$Y = T({\bf X}) = \sum_{i = 1}^n X_i$$
\(X_i (i = 1, 2, ..., n)\) がベルヌーイ試行にしたがうので、\(X_i = 1\) となる\(X_i\) を足し合わせていることになり、"1" の数を数えていることになります。
これは、確率変数 \(Y\) が2項分布にしたがうことを意味します（2項分布についてはこちらの記事をご参照ください）。
したがって、確率変数 \(Y\) の確率関数は、以下のように表現することができます。
$$P(Y = t) = {}_n \mathrm{C}_t \theta^t (1-\theta)^{n-t}$$
ここで、\(Y = T({\bf X}) = t\) を与えたときの、\({\bf X} = {\bf x}\) の条件付き確率を考えます。
$$\begin{eqnarray}P({\bf X} = {\bf x} | T({\bf X}) = t) &=& \frac{P({\bf X} = {\bf x} , T({\bf X}) = t)}{P(T({\bf X}) = t)}\\&=&\frac{1}{{}_n \mathrm{C}_t}\end{eqnarray}$$
得られた結果にはパラメータ \(\theta\) を含んでいないことから、統計量 \(T({\bf X})\) が「十分統計量」となります。
参考文献
久保川達也「現代数理統計学の基礎」共立出版
