目次（まとめ）

◾️ ベイズ法では、母集団のパラメータに対して確率分布を仮定し、パラメータを推定する

◾️ ベイズ法による点推定を「2項分布」を例に解説

◾️ 参考文献


こんにちは、みっちゃんです。

以前の記事で、母集団のパラメータを標本から推定する「点推定」の手法の1つである「モーメント法」、また、別の記事で「最尤法」について紹介しました。

今回の記事では、同じく「点推定」の手法の1つである「ベイズ法」について紹介します。

ベイズ法では、母集団のパラメータに対して確率分布を仮定し、パラメータを推定する

確率変数 \(X\) がパラメトリック・モデル \(f(x | \theta_1, \theta_2, ...., \theta_k)\) にしたがうとき、その確率関数（離散型確率変数の場合）や確率密度関数（連続型確率変数の場合）に相当する \(f({\bf X} | {\bf \theta})\) を考えます。

ここで、\({\bf X} = (X_1, X_2, ..., X_n)\)、\({\bf \theta} = (\theta_1, \theta_2, ...., \theta_k)\) です。

モーメント法や最尤法、ベイズ法などの点推定の目的は、パラメータ \({\bf \theta}\) に対して推定値を与えることです。

ベイズ法では、モーメント法や最尤法とは異なり、推定対象のパラメータ \({\bf \theta}\) そのものが何らかの確率分布にしたがうという状況を考えます。
$$ {\bf \theta} \sim \pi({\bf \theta} | {\bf \xi})$$
ここで、\({\bf \xi}\) （カイと呼びます）は、パラメータ（母数）の確率分布を表現するためのパラメータ（母数）なので「超母数」と呼ばれます。

また、\(\pi({\bf \theta} | {\bf \xi})\) は、超母数 \({\bf \xi}\) を与えたときの \({\bf \theta}\) の「事前分布」と呼ばれます。

さらに、\({\bf X} = {\bf x}\) を与えたときの \({\bf \theta}\) の条件付き分布を \({\bf \theta}\) の「事後分布」と呼び、\({\bf \theta}\) が超母数 \({\bf \xi}\) を与えたときの条件付き分布であることから、\(\pi({\bf \theta} | {\bf \xi}, {\bf x})\) と表現されます。
$$\pi({\bf \theta} | {\bf \xi}, {\bf x}) = \frac{f({\bf x}| {\bf \theta}) \pi({\bf \theta}| {\bf \xi})}{f_{\pi} ({\bf x}| {\bf \xi})}$$
ここで、\(f_{\pi} ({\bf x}| {\bf \xi})\) は \(X\) の周辺分布であり、\(f({\bf x}| {\bf \theta}) \pi({\bf \theta}| {\bf \xi})\) を \({\bf \theta}\) について積分することで得られます（\({\bf \theta}\) が連続型確率変数である場合）。

ベイズ法による推定値である「ベイズ推定量」は、事後分布の平均（期待値）を計算して得ることができます。

ベイズ法による点推定を「2項分布」を例に解説

パラメータを推定しようとしているときに、そのパラメータ自体が確率分布にしたがうということで、少し話がややこしくなっているのですが、ここでは、2項分布を例にして説明します。

以前の記事で解説したように、離散型確率分布である2項分布の確率関数は、以下のように表現されます。
$$P(Y = k | n, p) = {}_n \mathrm{C}_k p^k (1-p)^{n-k} \qquad (k = 0, 1, 2, …, n)$$
ここで、パラメータ \(p\) が連続型確率分布であるベータ分布にしたがうとします（ベータ分布については、こちらの記事をご覧ください）。

確率密度関数
$$f_X(x | a, b) = \frac{1}{B(a, b)} x^{a-1} (1-x)^{b-1}$$
ここで、\(B(a, b)\)はベータ関数と呼ばれる関数で、以下のように定義されます。
$$B(a, b) = \int_{0}^{1} x^{a-1} (1-x)^{b-1}dx$$
つまり、以下のような事後分布が考えられます。
$$\pi(p | a, b, x) = \frac{f(x| p) \pi(p | a, b)}{f_{\pi} (x | a,b)}$$
この事後分布の平均（期待値）は、形状母数 \(x + a\)、尺度母数 \(n-x+b\) をパラメータにもつベータ分布にしたがうことがわかります。

つまり、ベータ分布の平均の定義から、パラメータ \(p\) に対するベイズ推定量は、以下のようになります。
$${\hat p}^B = \frac{X + a}{n + a + b}$$

参考文献

久保川達也「現代数理統計学の基礎」共立出版