目次（まとめ）
◾️ スコア関数とは対数尤度関数をパラメータで1階微分した関数
◾️ フィッシャー情報量はスコア関数の2乗の期待値
◾️ スコア関数の期待値と分散
◾️ 参考文献
こんにちは、みっちゃんです。
今回の記事では、「スコア関数」とそれを用いて定義される「フィッシャー情報量」について紹介します。
スコア関数とは対数尤度関数をパラメータで1階微分した関数
ここでは、パラメータ \(\theta\) の確率分布にしたがう母集団から \(n\) 個の標本 \(X_1, X_2, ..., X_n\) をランダムにサンプリングしたとします。
それぞれの標本の確率（密度）関数を \(f(X_i | \theta)\) とおくと、同時確率（密度）関数は、以下のように表現できます。
$$f_n({\bf X} | \theta) = \prod_{i = 1}^n f(X_i | \theta)$$
この関数は、尤度関数と見なすことができますが、対数尤度関数をパラメータで1階微分した関数が「スコア関数」と呼ばれます（尤度関数、対数尤度関数については、こちらの記事をご参照ください）。
$$S_n(\theta, {\bf X}) = \frac{d}{d \theta} {\rm log}f_n({\bf X}|\theta)$$
フィッシャー情報量はスコア関数の2乗の期待値
スコア関数 \(S_n(\theta, {\bf X})\) を2乗して期待値をとると、フィッシャー情報量 \(I_n(\theta)\) が得られます。
Wikipediaによると、フィッシャー情報量とは「確率変数が母数に関してもつ情報の量」のこととされています。
$$I_n (\theta) = E[\{S_n(\theta, {\bf X})\}^2] = E[\{\frac{d}{d \theta} {\rm log}f_n({\bf X}|\theta)\}^2]$$
ちなみに、以前の記事で紹介したように、1個のデータのフィッシャー情報量は、対数尤度関数をパラメータで2階微分した関数の期待値の負値として定義することもできます。
$$I_1 (\theta) = -E[\frac{d^2}{d \theta^2} {\rm log}f_n(X_i|\theta)]$$
ここで、
$$I_1 (\theta) = \frac{1}{n} I_n(\theta)$$
という関係が成り立ちます。
スコア関数の期待値と分散
スコア関数 \(S_n(\theta, {\bf X})\) の期待値と分散は、以下のように定義されます。
$$\begin{eqnarray}E[S_n(\theta, {\bf X})] &=& 0 \\\\ {\rm Var}(S_n(\theta, {\bf X})) &=& I_n(\theta)\\ &=& nI_1(\theta)\end{eqnarray}$$
つまり、スコア関数は、平均 "0"、分散 "\(nI_1\)"、標準偏差 "\(\sqrt{nI_1}\)" の正規分布にしたがいます。
参考文献
久保川達也「現代数理統計学の基礎」共立出版
