「統計学実践ワークブック」 演習問題etc Ch.14 「マルコフ連鎖」

当記事は「統計学実践ワークブック(学術図書出版社)」の読解サポートにあたってChapter.$14$の「マルコフ連鎖」に関して演習問題を中心に解説を行います。マルコフ連鎖は応用などの際によく出てくるので、演習を通して抑えておくと良いと思われました。

本章のまとめ

有限マルコフ連鎖のパラメータ推定

演習問題解説

例14.1

状態$i \in \{1,2\}$が状態$j \in \{1,2\}$に推移する確率を$p(i,j)$、推移確率行列を$Q$とおくと、それぞれ下記のように表すことができる。
$$
\large
\begin{align}
p(i,j) &= q, \qquad j=1 \\
&= 1-q, \qquad j=2 \\
Q &= \left(\begin{array}{cc} p(1,1) & p(1,2) \\ p(2,1) & p(2,2) \end{array} \right) = \left(\begin{array}{cc} q & q \\ 1-q & 1-q \end{array} \right)
\end{align}
$$

このとき、定常分布を$\pi$と定めると、$\pi$は下記のように導出できる。
$$
\large
\begin{align}
\pi &= \lim_{n \to \infty} \pi_{0} Q^{n} \\
&= \lim_{n \to \infty} \left(\begin{array}{cc} p & 1-p \end{array} \right) \left(\begin{array}{cc} q & q \\ 1-q & 1-q \end{array} \right)^n \\
&= \lim_{n \to \infty} \left(\begin{array}{cc} p & 1-p \end{array} \right) \left(\begin{array}{cc} q & q \\ 1-q & 1-q \end{array} \right) \\
&= \left(\begin{array}{cc} pq+(1-p)q & p(1-q)+(1-p)(1-q) \end{array} \right) \\
&= \left(\begin{array}{cc} q & 1-q \end{array} \right)
\end{align}
$$

よって定常分布は$\displaystyle \pi = \left(\begin{array}{cc} q & 1-q \end{array} \right)$のように表せる。

例14.2

$$
\large
\begin{align}
Q_1 = \left(\begin{array}{ccc} 0 & 1/2 & 1/2 \\ 1/2 & 0 & 1/2 \\ 1/2 & 1/2 & 0 \end{array} \right), \quad
Q_2 = \left(\begin{array}{ccc} 1/3 & 2/3 & 0 \\ 1/3 & 1/3 & 1/3 \\ 0 & 0 & 1 \end{array} \right)
\end{align}
$$
上記の$Q_1, Q_2$に定常分布があるかを以下調べる。

・$Q_1$
$\pi_i = \left(\begin{array}{ccc} a_i & b_i & c_i \end{array} \right)$とおいたとき、定常分布では$\pi_i = \pi_{i+1} = \pi_i Q_1$より$\pi_i = \pi_i Q_1$が成立する。よって下記のような計算ができる。
$$
\large
\begin{align}
\pi_i &= \pi_i Q_1 \\
\left(\begin{array}{ccc} a_i & b_i & c_i \end{array} \right) &= \left(\begin{array}{ccc} a_i & b_i & c_i \end{array} \right) \left(\begin{array}{ccc} 0 & 1/2 & 1/2 \\ 1/2 & 0 & 1/2 \\ 1/2 & 1/2 & 0 \end{array} \right) \\
\left(\begin{array}{c} a_i \\ b_i \\ c_i \end{array} \right)^{T} &= \left(\begin{array}{c} (b_i+c_i)/2 \\ (a_i+c_i)/2 \\ (a_i+b_i)/2 \end{array} \right)^{T}
\end{align}
$$

上記に$a_i+b_i+c_i=1$の制約を考えて解くと、$a_i=b_i=c_i=1/3$が得られる。よって、定常分布$\pi$は$\pi=\left(\begin{array}{ccc} a_i & b_i & c_i \end{array} \right)$のように表せる。

・$Q_2$
状態$3$が吸収状態(absorbing state)であることから、$\pi=\left(\begin{array}{ccc} 0 & 0 & 1 \end{array} \right)$が定常分布となる。

例14.3

ここでの尤度を$L(\theta)$のようにおくと、事象が起こった結果と与えられた推移行列により、$L(\theta)$は下記のように表すことができる。
$$
\large
\begin{align}
L(\theta) &= (1-\theta)^{30-5} \cdot \theta^{5} \cdot (0.9-\theta)^{50-1} \cdot \theta^{1} \cdot 0.9^{10} \\
&= 0.9^{10} \theta^{5} (1-\theta)^{25} (0.9-\theta)^{49}
\end{align}
$$

上記に対して対数尤度$\log{L(\theta)}$は下記のように表せる。
$$
\large
\begin{align}
\log{L(\theta)} &= 5 \log{\theta} + 25 \log{(1-\theta)} + 49 \log{(0.9-\theta)} + \mathrm{Const.}
\end{align}
$$
$\theta$に関係ない項に関しては$\mathrm{Const}$とおいた。

以下、$\log{L(\theta)}$を$\theta$に関して微分し、$\log{L(\theta)}$を最大にする$\theta$の推定値を求める。
$$
\large
\begin{align}
\frac{\partial \log{L(\theta)}}{\partial \theta} &= 0 \\
\frac{5}{\theta} – \frac{25}{1-\theta} – \frac{49}{0.9-\theta} &= 0 \\
5(1-\hat{\theta}) – 25\theta(0.9-\hat{\theta}) – 49\hat{\theta}(1-\hat{\theta}) &= 0 \\
… \\
\hat{\theta} & \simeq 0.07
\end{align}
$$

問14.1

$[1]$
$i$から$j$に推移するときの確率を$p(i,j)$とおくと、推移確率$Q$は下記のように表すことができる。
$$
\large
\begin{align}
Q = \left(\begin{array}{cc} p(1,1) & p(1,2) \\ p(2,1) & p(2,2) \end{array} \right)
\end{align}
$$

ここで$p(1,1)=1/6, p(1,2)=5/6, p(2,1)=1/2, p(2,2)=1/2$より、推移確率は下記のような値で表される。
$$
\large
\begin{align}
Q = \left(\begin{array}{cc} 1/6 & 5/6 \\ 1/2 & 1/2 \end{array} \right)
\end{align}
$$

$[2]$
定常分布$\displaystyle \pi = \lim_{n \to \infty} \pi_n$が存在するとき、$\pi_n = \pi_{n+1} = \pi_n Q$より$\pi_n = \pi_n Q$が成立する。

$\pi_n = \left(\begin{array}{cc} a_n & b_n \end{array} \right)$とおいて、$a_n+b_n = 1$を前提にこれを解くと、$\pi_i = \left(\begin{array}{cc} 3/8 & 5/8 \end{array} \right)$が得られる。

よって定常分布$\displaystyle \lim_{n \to \infty} \pi_n = \left(\begin{array}{cc} 3/8 & 5/8 \end{array} \right)$が存在する。

問14.2

$[1]$
推移確率行列$Q$は下記のように表される。
$$
\large
\begin{align}
Q = \left(\begin{array}{ccc} 1/3 & 1/3 & 1/3 \\ 1/6 & 1/2 & 1/3 \\ 1/9 & 2/9 & 2/3 \end{array} \right)
\end{align}
$$

$[2]$
下記のように$\pi_2 = \pi_0 Q^2$を計算できる。
$$
\large
\begin{align}
\pi_2 &= \pi_0 Q^2 \\
&= \left(\begin{array}{ccc} 0 & 0 & 1 \end{array} \right) \left(\begin{array}{ccc} 1/3 & 1/3 & 1/3 \\ 1/6 & 1/2 & 1/3 \\ 1/9 & 2/9 & 2/3 \end{array} \right)^2 \\
&= \left(\begin{array}{ccc} 1/9 & 2/9 & 2/3 \end{array} \right) \left(\begin{array}{ccc} 1/3 & 1/3 & 1/3 \\ 1/6 & 1/2 & 1/3 \\ 1/9 & 2/9 & 2/3 \end{array} \right) \\
&= \left(\begin{array}{c} \frac{1 \cdot 1}{9 \cdot 3} + \frac{2 \cdot 1}{9 \cdot 6} + \frac{2 \cdot 1}{3 \cdot 9} \\ \frac{1 \cdot 1}{9 \cdot 3} + \frac{2 \cdot 1}{9 \cdot 2} + \frac{2 \cdot 2}{3 \cdot 9} \\ \frac{1 \cdot 1}{9 \cdot 3} + \frac{2 \cdot 1}{9 \cdot 3} + \frac{2 \cdot 2}{3 \cdot 3} \end{array} \right)^{\mathrm{T}} \\
&= \left(\begin{array}{ccc} 5/27 \\ 8/27 \\ 5/9 \end{array} \right)^{\mathrm{T}}
\end{align}
$$

$[3]$
定常分布が存在するとき、$\pi_i = \pi_{i+1} = \pi_i Q$より$\pi_i = \pi_i Q$が成立する。

$\pi_i = \left(\begin{array}{ccc} a_i & b_i & c_i \end{array} \right)$とおいて、これを解くと、$\pi_i = \left(\begin{array}{ccc} 1/6 & 1/3 & 1/2 \end{array} \right)$が得られる。

よって定常分布$\pi = \left(\begin{array}{ccc} 1/6 & 1/3 & 1/2 \end{array} \right)$が存在する。

問14.3

$1)$
状態空間は$S=\{0,1,2\}$、初期確率は$\pi_0=(0,1,0)$である。また、遷移確率$Q$は下記のように表せる。
$$
\large
\begin{align}
Q &= \left(\begin{array}{ccc} 0 & 0 & 1 \\ 0 & 1-\theta & \theta \\ 1-\theta & \theta & 0 \end{array} \right)
\end{align}
$$

$2)$
尤度$L(\theta)$は下記のように計算できる。
$$
\large
\begin{align}
L(\theta) &= (1-\theta) \times \theta \times (1-\theta) \times 1 \times \theta \times (1-\theta) \times (1-\theta) \\
&= \theta^2(1-\theta)^4
\end{align}
$$

$\log{L(\theta)}=2\log{\theta}+4\log{(1-\theta)}$より、$\displaystyle \hat{\theta} = \frac{1}{3}$のように推定を行うことができる。

$3)$
$\pi_{n}=\pi_{n+1}=\pi_{n}Q$が成立すると考え、$\pi=(a,b,c)$とおき、$a+b+c=1$であることを用いて$\pi=\pi Q$を解くと、$a=1/4$が得られる。

参考

・準$1$級関連まとめ
https://www.hello-statisticians.com/toukeikentei-semi1