目次（まとめ）
◾️ 多変量正規分布の確率密度関数
◾️ 2変量正規分布の確率密度関数を導出
◾️ 参考文献
こんにちは、みっちゃんです。
今回の記事では、複数の正規分布の同時確率密度関数を考える「多変量正規分布」について解説します。
多変量正規分布の確率密度関数
多変量正規分布の確率密度関数は、以下のように得られます。
$$f_{\bf X}({\bf x} | {\bf \mu}, {\bf \Sigma}) = \frac{1}{\sqrt{2 \pi}^{~k}} \frac{1}{\sqrt{{\rm det}({\bf \Sigma})}} {\rm exp} \{-\frac{1}{2} ({\bf x} - {\bf \mu})^{\rm T} {\bf \Sigma}^{-1} ({\bf x} - {\bf \mu})\}$$
ここでは、\(k\) 個の確率変数 \({\bf X}\) がそれぞれ正規分布にしたがう状況を考えています。
\({\bf \mu}\) は、\(k\) 次元の平均値ベクトルであり、以下のように表現することができます。
$${\bf \mu} = \left( \begin{array}{c} \mu_1 \\ \mu_2 \\ : \\ \mu_k \end{array} \right)$$
また、\({\bf \Sigma}\) は、分散共分散行列であり、以下のように表現することができます。
$${\bf \Sigma} = \left( \begin{array}{ccc} \sigma_{11} & .. & \sigma_{1k} \\ : & \ddots & : \\ \sigma_{k1} & .. & \sigma_{kk} \end{array} \right)$$
ここで、\(\sigma_{ij}\) は、確率変数 \(X_i\) と \(X_j\) の分散/共分散を示しているので、以下のようにも表現することができます。
$${\bf \Sigma} = \left( \begin{array}{ccc} {\rm Var}(X_1) & .. & {\rm Cov}(X_1, X_k) \\ : & \ddots & : \\ {\rm Cov}(X_k, X_1) & .. & {\rm Var}(X_k) \end{array} \right)$$
2変量正規分布の確率密度関数を導出
例として、2つの確率変数がそれぞれ正規分布にしたがう2変量正規分布について考えます。
このとき、確率密度関数は、以下のように表現されます。
$$f_{\bf X}({\bf x} | {\bf \mu}, {\bf \Sigma}) = \frac{1}{2 \pi} \frac{1}{\sqrt{{\rm det}({\bf \Sigma})}} {\rm exp} \{-\frac{1}{2} ({\bf x} - {\bf \mu})^{\rm T} {\bf \Sigma}^{-1} ({\bf x} - {\bf \mu})\}$$
ここで、\({\bf \Sigma}\) は、以下のようになります。
$${\bf \Sigma} = \left( \begin{array}{cc} \sigma_{11} & \sigma_{12} \\ \sigma_{21} & \sigma_{22} \end{array} \right) = \left( \begin{array}{cc} {\rm Var}(X_1) & {\rm Cov}(X_1, X_2) \\ {\rm Cov}(X_2, X_1) & {\rm Var}(X_2) \end{array} \right)$$
さらに、共分散を相関係数を使って表現することを考えます。
以前の記事で紹介したように、相関係数は、以下のように表現されます。
$${\rm Corr}(X_1, X_2) = \frac{{\rm Cov}(X_1, X_2)}{\sqrt{{\rm Var}(X_1) {\rm Var}(X_2)}}$$
よって、
$${\rm Cov}(X_1, X_2) ={\rm Corr}(X_1, X_2) \sqrt{{\rm Var}(X_1) {\rm Var}(X_2)}$$
となり、\({\rm Corr}(X_1, X_2) = \rho\)、\({\rm Var}(X_i) = \sigma_i^2\)、\(\sqrt{{\rm Var}(X_i)} = \sigma_i\) と表現して、\({\bf \Sigma}\) は、以下のように表現できます。
$${\bf \Sigma} = \left( \begin{array}{cc} \sigma_1^2 & \rho \sigma_1 \sigma_2 \\ \rho \sigma_1 \sigma_2 & \sigma_2^2 \end{array} \right)$$
この行列を用いて、\({\rm det}({\bf \Sigma})\) と \({\bf \Sigma}^{-1}\) を以下のように算出します。
$${\rm det}({\bf \Sigma}) = \sigma_1^2 \sigma_2^2 - (\rho \sigma_1 \sigma_2)^2 = \sigma_1^2 \sigma_2^2 (1 - \rho^2)$$
$${\bf \Sigma}^{-1} = \frac{1}{{\rm det}({\bf \Sigma})}\left( \begin{array}{cc} \sigma_2^2 & -\rho \sigma_1 \sigma_2 \\ -\rho \sigma_1 \sigma_2 & \sigma_1^2 \end{array} \right)$$
これを代入して式を整理すると、以下のような確率密度関数が得られます。
$$\begin{eqnarray}f_{\bf X}({\bf x} | {\bf \mu}, {\bf \Sigma}) &=& \frac{1}{2 \pi} \frac{1}{\sqrt{1- \rho^2} \sigma_1 \sigma_2} \\&&{\rm exp} \{-\frac{1}{2(1 - \rho^2)} \{(\frac{x_1 - \mu_1}{\sigma_1})^2 - 2 \rho \frac{x_1 - \mu_1}{\sigma_1}\frac{x_2 - \mu_2}{\sigma_2} + (\frac{x_2 - \mu_2}{\sigma_2})^2\}\}\end{eqnarray}$$
参考文献
久保川達也「現代数理統計学の基礎」共立出版
