目次（まとめ）
◾️ 2項分布の確率関数から、平均や分散を算出する
◾️ 尤度法に基づく推定量（パラメータ）が不偏推定量か判断する
◾️ 尤度法に基づく推定量（分散）が不偏推定量か判断する
◾️ 参考文献
◾️ 関連記事
こんにちは、みっちゃんです。
今回の記事では、2013年に行われた統計検定1級の統計数理の問題（問3）を取り上げて、解答を得るための方針について解説します（問題の詳細については、参考文献などをご覧ください）。
この問題では、成功確率 \(p\) の試行を \(n\) 回行ったときの成功回数の分布である「2項分布」について考えます（2項分布についての詳細は、こちらの記事をご覧ください）。
2項分布の確率関数から、平均や分散を算出する
2項分布にしたがう確率変数 \(X\) について、その確率関数 \(p(x)\) は以下のように与えられます。
$$p(x) = {}_n \mathrm{C}_x p^x (1-p)^{n-x}$$
一般に、確率関数 \(p(x)\) にしたがう離散型確率変数 \(X\) の平均（期待値）\(E[X]\) は、以下のように得ることができます（\(x = 0, 1, ..., n\) のとき）。
$$E[X] = \sum_{x = 0}^n x p(x)$$
また、分散 \(V[X]\) は、以下のように得ることができます。
$$V[X] = E[X^2] - {E[X]}^2 = \sum_{x = 0}^n x^2 p(x) - \{\sum_{x = 0}^n x p(x)\}^2$$
これらのことから、2項分布の平均は、以下のように得ることができます。
$$\begin{eqnarray} E[X] &=& \sum_{x = 0}^n x \times {}_n \mathrm{C}_x p^x (1-p)^{n-x}\\&=& \sum_{x = 1}^n x \times {}_n \mathrm{C}_x p^x (1-p)^{n-x}\\&=& \sum_{x = 1}^n x \times \frac{n(n-1)(n-2)...1}{x(x-1)(x-2)...1} p^x (1-p)^{n-x}\\&=& \sum_{x = 1}^n \frac{n(n-1)(n-2)…1}{(x-1)(x-2)…1} p p^{x-1} (1-p)^{(n-1)-(x-1)}\\&=& np \sum_{x = 1}^n \frac{(n-1)(n-2)…1}{(x-1)(x-2)…1} p^{x-1} (1-p)^{(n-1)-(x-1)}\end{eqnarray}$$
ここで、便宜上 \(x = k + 1\) とおいて、以下のように式を変形します。
$$E[X] = np \sum_{k =0}^{n-1} \frac{(n-1)(n-2)…1}{k(k-1)…1} p^k (1-p)^{(n-1)-k}$$
シグマの中身は、確率分布の定義より "1" になるので、\(E[X] = np\) になります。
また、2項分布の分散を得るために、\(E[X^2]\) を考えたいですが、ここでは \(E[X(X-1)]\) を考えます。
$$\begin{eqnarray} E[X(X-1)] &=& \sum_{x = 0}^n x(x-1) \times {}_n \mathrm{C}_x p^x (1-p)^{n-x}\\&=& \sum_{x = 1}^n x(x-1) \times {}_n \mathrm{C}_x p^x (1-p)^{n-x}\\&=& \sum_{x = 1}^n x(x-1) \times \frac{n(n-1)(n-2)…1}{x(x-1)(x-2)…1} p^x (1-p)^{n-x}\\&=& \sum_{x = 1}^n \frac{n(n-1)(n-2)…1}{(x-2)…1} p^2 p^{x-2} (1-p)^{(n-2)-(x-2)}\\&=& n(n-1)p^2 \sum_{x = 1}^n \frac{(n-2)…1}{(x-2)…1} p^{x-2} (1-p)^{(n-2)-(x-2)}\end{eqnarray}$$
ここで、便宜上 \(x = l + 2\) とおいて、以下のように式を変形します。
$$E[X(X-1)] = n(n-1)p^2 \sum_{l = 0}^{n-2} \frac{(n-2)…1}{l…1} p^l (1-p)^{(n-2)-l}$$
シグマの中身は、確率分布の定義より "1" になるので、\(E[X(X-1)] = n(n-1)p^2\) になります。
したがって、\(V[X]\) は、以下のように求めることができます。
$$\begin{eqnarray}V[X] &=& E[X(X-1)] + E[X] - {E[X]}^2\\&=& n(n-1)p^2 + np - (np)^2\\&=& np(1-p)\end{eqnarray}$$
尤度法に基づく推定量（パラメータ）が不偏推定量か判断する
2項分布にしたがう確率変数 \(X\) の尤度関数 \(L(p | X)\) は、確率関数から以下のように与えられます。
$$L(p | X) = {}_n \mathrm{C}_x p^x (1-p)^{n-x}$$
両辺対数をとって、対数尤度関数 \(l(p | X)\) は、以下のように得られます。
$$l(p | X) = {\rm log}({}_n \mathrm{C}_x) + x {\rm log} p + (n-x) {\rm log} (1-p)$$
この対数尤度関数を、\(p\) で偏微分すると、以下のような尤度方程式が得られます。
$$\frac{\partial l(p | X)}{\partial p} = \frac{x}{p} - \frac{n-x}{1-p} = 0$$
これを \(p\) について解くことで、推定量 \({\hat p}\) が得られます。
$${\hat p} = \frac{x}{n}$$
\(E[X] = np\) なので、\(E[\frac{X}{n}] = p\) となり、\({\hat p}\) が不偏推定量になっていることがわかります（不偏推定量についての詳細はこちらの記事をご覧ください）。
尤度法に基づく推定量（分散）が不偏推定量か判断する
この問題では、\(p\) の推定量の分散 \(V[{\hat p}]\) を考えています。
$$V[{\hat p}] = V[\frac{X}{n}] = \frac{1}{n^2} V[X] = \frac{1}{n^2} n{\hat p}(1-{\hat p}) = \frac{{\hat p}(1-{\hat p})}{n}$$
\(V[{\hat p}]\) の期待値は、以下のように得られます。
$$\begin{eqnarray}E[V[{\hat p}]] &=& E[\frac{{\hat p}(1-{\hat p})}{n}] \\&=& \frac{1}{n} E[\frac{X}{n}(1-\frac{X}{n})]\\&=& \frac{1}{n^3} E[X (n-X)]\\&=& \frac{1}{n^3} \{nE[X] - E[X^2]\}\\&=&\frac{1}{n^3} \{n^2p - n(n-1)p^2 - np\}\\&=&\frac{n-1}{n} \frac{p(1-p)}{n}\end{eqnarray}$$
ここで、
$$V[p] = \frac{p(1-p)}{n}$$
なので、推定量の分散の期待値と一致しないことがわかります。
したがって、推定量の分散 \(V[{\hat p}]\) は、不偏推定量ではないということになります。
この結果から、
$$E[\frac{n}{n-1} V[{\hat p}]] = \frac{p(1-p)}{n}$$
となるので、
$$\frac{n}{n-1} E[V[{\hat p}]] = \frac{{\hat p}(1-{\hat p})}{n-1}$$
が不偏推定量になります。
