目次（まとめ）
2項分布の確率関数から、平均や分散を算出する 尤度法に基づく推定量（パラメータ）が不偏推定量か判断する 尤度法に基づく推定量（分散）が不偏推定量か判断する 参考文献 関連記事
こんにちは、みっちゃんです。
今回の記事では、2013年に行われた統計検定1級の統計数理の問題（問3）を取り上げて、解答を得るための方針について解説します（問題の詳細については、参考文献などをご覧ください）。
この問題では、成功確率 p の試行を n 回行ったときの成功回数の分布である「2項分布」について考えます（2項分布についての詳細は、こちらの記事をご覧ください）。
2項分布の確率関数から、平均や分散を算出する
2項分布にしたがう確率変数 X について、その確率関数 p(x) は以下のように与えられます。
p(x) = {}_n \mathrm{C}_x p^x (1-p)^{n-x}
一般に、確率関数 p(x) にしたがう離散型確率変数 X の平均（期待値）E[X] は、以下のように得ることができます（x = 0, 1, ..., n のとき）。
E[X] = \sum_{x = 0}^n x p(x)
また、分散 V[X] は、以下のように得ることができます。
V[X] = E[X^2] - {E[X]}^2 = \sum_{x = 0}^n x^2 p(x) - \{\sum_{x = 0}^n x p(x)\}^2
これらのことから、2項分布の平均は、以下のように得ることができます。
\begin{eqnarray} E[X] &=& \sum_{x = 0}^n x \times {}_n \mathrm{C}_x p^x (1-p)^{n-x}\\&=& \sum_{x = 1}^n x \times {}_n \mathrm{C}_x p^x (1-p)^{n-x}\\&=& \sum_{x = 1}^n x \times \frac{n(n-1)(n-2)...1}{x(x-1)(x-2)...1} p^x (1-p)^{n-x}\\&=& \sum_{x = 1}^n \frac{n(n-1)(n-2)…1}{(x-1)(x-2)…1} p p^{x-1} (1-p)^{(n-1)-(x-1)}\\&=& np \sum_{x = 1}^n \frac{(n-1)(n-2)…1}{(x-1)(x-2)…1} p^{x-1} (1-p)^{(n-1)-(x-1)}\end{eqnarray}
ここで、便宜上 x = k + 1 とおいて、以下のように式を変形します。
E[X] = np \sum_{k =0}^{n-1} \frac{(n-1)(n-2)…1}{k(k-1)…1} p^k (1-p)^{(n-1)-k}
シグマの中身は、確率分布の定義より "1" になるので、E[X] = np になります。
また、2項分布の分散を得るために、E[X^2] を考えたいですが、ここでは E[X(X-1)] を考えます。
\begin{eqnarray} E[X(X-1)] &=& \sum_{x = 0}^n x(x-1) \times {}_n \mathrm{C}_x p^x (1-p)^{n-x}\\&=& \sum_{x = 1}^n x(x-1) \times {}_n \mathrm{C}_x p^x (1-p)^{n-x}\\&=& \sum_{x = 1}^n x(x-1) \times \frac{n(n-1)(n-2)…1}{x(x-1)(x-2)…1} p^x (1-p)^{n-x}\\&=& \sum_{x = 1}^n \frac{n(n-1)(n-2)…1}{(x-2)…1} p^2 p^{x-2} (1-p)^{(n-2)-(x-2)}\\&=& n(n-1)p^2 \sum_{x = 1}^n \frac{(n-2)…1}{(x-2)…1} p^{x-2} (1-p)^{(n-2)-(x-2)}\end{eqnarray}
ここで、便宜上 x = l + 2 とおいて、以下のように式を変形します。
E[X(X-1)] = n(n-1)p^2 \sum_{l = 0}^{n-2} \frac{(n-2)…1}{l…1} p^l (1-p)^{(n-2)-l}
シグマの中身は、確率分布の定義より "1" になるので、E[X(X-1)] = n(n-1)p^2 になります。
したがって、V[X] は、以下のように求めることができます。
\begin{eqnarray}V[X] &=& E[X(X-1)] + E[X] - {E[X]}^2\\&=& n(n-1)p^2 + np - (np)^2\\&=& np(1-p)\end{eqnarray}
尤度法に基づく推定量（パラメータ）が不偏推定量か判断する
2項分布にしたがう確率変数 X の尤度関数 L(p | X) は、確率関数から以下のように与えられます。
L(p | X) = {}_n \mathrm{C}_x p^x (1-p)^{n-x}
両辺対数をとって、対数尤度関数 l(p | X) は、以下のように得られます。
l(p | X) = {\rm log}({}_n \mathrm{C}_x) + x {\rm log} p + (n-x) {\rm log} (1-p)
この対数尤度関数を、p で偏微分すると、以下のような尤度方程式が得られます。
\frac{\partial l(p | X)}{\partial p} = \frac{x}{p} - \frac{n-x}{1-p} = 0
これを p について解くことで、推定量 {\hat p} が得られます。
{\hat p} = \frac{x}{n}
E[X] = np なので、E[\frac{X}{n}] = p となり、{\hat p} が不偏推定量になっていることがわかります（不偏推定量についての詳細はこちらの記事をご覧ください）。
尤度法に基づく推定量（分散）が不偏推定量か判断する
この問題では、p の推定量の分散 V[{\hat p}] を考えています。
V[{\hat p}] = V[\frac{X}{n}] = \frac{1}{n^2} V[X] = \frac{1}{n^2} n{\hat p}(1-{\hat p}) = \frac{{\hat p}(1-{\hat p})}{n}
V[{\hat p}] の期待値は、以下のように得られます。
\begin{eqnarray}E[V[{\hat p}]] &=& E[\frac{{\hat p}(1-{\hat p})}{n}] \\&=& \frac{1}{n} E[\frac{X}{n}(1-\frac{X}{n})]\\&=& \frac{1}{n^3} E[X (n-X)]\\&=& \frac{1}{n^3} \{nE[X] - E[X^2]\}\\&=&\frac{1}{n^3} \{n^2p - n(n-1)p^2 - np\}\\&=&\frac{n-1}{n} \frac{p(1-p)}{n}\end{eqnarray}
ここで、
V[p] = \frac{p(1-p)}{n}
なので、推定量の分散の期待値と一致しないことがわかります。
したがって、推定量の分散 V[{\hat p}] は、不偏推定量ではないということになります。
この結果から、
E[\frac{n}{n-1} V[{\hat p}]] = \frac{p(1-p)}{n}
となるので、
\frac{n}{n-1} E[V[{\hat p}]] = \frac{{\hat p}(1-{\hat p})}{n-1}
が不偏推定量になります。
