\begin{align} P_X (i) &= \sum_{j=1}^N P_{XY}(i,j) \\ P_{X \mid Y} (i \mid j) &= \frac{ P_{XY} (i, j) }{ P_Y(j) } \\ &= \frac{ P_{XY} (i, j) }{ \sum_{k=1}^N P_{XY}(k,j) } \end{align}
\begin{align} H (X) &= \sum_{i=1}^N P_X(i) \log_2 \frac{1}{P_X(i)} \\ &= \sum_{i=1}^N \sum_{j=1}^N P_{XY}(i,j) \log_2 \frac{1}{\sum_{k=1}^N P_{XY}(i,k)} \\ H (X \mid Y) &= \sum_{j=1}^N P_Y(j) \sum_{i=1}^N P_{X \mid Y}(i \mid j) \log_2 \frac{1}{P_{X \mid Y}(i \mid j)} \\ &= \sum_{i=1}^N \sum_{j=1}^N P_{XY}(i,j) \log_2 \frac{\sum_{k=1}^N P_{XY}(k,j)}{ P_{XY}(i,j) } \end{align}
\begin{align} I (X;Y) &= \sum_{i=1}^N \sum_{j=1}^N P_{XY}(i,j) \log_2 \frac{P_{XY}(i,j)}{P_X(i) P_Y(j)} \\ &= \sum_{i=1}^N \sum_{j=1}^N P_{XY}(i,j) \log_2 \frac{1}{P_X(i)} + \sum_{i=1}^N \sum_{j=1}^N P_{XY}(i,j) \log_2 \frac{P_{XY}(i,j)}{P_Y(j)} \\ &= \sum_{i=1}^N P_X(i) \log_2 \frac{1}{P_X(i)} - \sum_{i=1}^N \sum_{j=1}^N P_{XY}(i,j) \log_2 \frac{1}{P_{X \mid Y}(i \mid j)} \\ &= H(X) - H(X \mid Y) \end{align}
\begin{align} I (X;Y) &= \sum_{i=1}^N \sum_{j=1}^N P_{XY}(i,j) \log_2 \frac{P_{XY}(i,j)}{P_X(i) P_Y(j)} \\ &= - \sum_{i=1}^N \sum_{j=1}^N P_{XY}(i,j) \log_2 \frac{P_X(i) P_Y(j)}{P_{XY}(i,j)} \\ &\geq - \log_2 \left( \sum_{i=1}^N \sum_{j=1}^N P_{XY}(i,j) \frac{P_X(i) P_Y(j)}{P_{XY}(i,j)} \right) \\ &= - \log_2 \left( \sum_{i=1}^N \sum_{j=1}^N P_X(i) P_Y(j) \right) \\ &= - \log_2 1 \\ &= 0 \end{align}
$I(X;Y)$ が最小値 $0$ となるのは、 $X$ と $Y$ が独立のときなので、 例えば、 \begin{align} P = \begin{pmatrix} 1/4 & 1/4 \\ 1/4 & 1/4 \end{pmatrix} \end{align} のときである。
(3) で示したように、 \begin{align} I (X;Y) &= H(X) - H(X \mid Y) \end{align} である。 ここで、 $H(X)$ が最大となるのは、 $X$ が一様分布のとき、 すなわち、 \begin{align} P_X(1) = P_X(2) = \frac{1}{2} \end{align} ときである。 また、 $H(X \mid Y)$ が最小となるのは、 $Y$ によって $X$ が完全に決まるとき、 すなわち、 \begin{align} P_{X \mid Y} (1 \mid 1) = P_{X \mid Y} (2 \mid 2) = 1 , \ \ P_{X \mid Y} (1 \mid 2) = P_{X \mid Y} (2 \mid 1) = 0 \end{align} または、 \begin{align} P_{X \mid Y} (1 \mid 1) = P_{X \mid Y} (2 \mid 2) = 0 , \ \ P_{X \mid Y} (1 \mid 2) = P_{X \mid Y} (2 \mid 1) = 1 \end{align} のときである。 よって、 $I(X;Y)$ が最大となるのは、 \begin{align} P = \begin{pmatrix} 1/2 & 0 \\ 0 & 1/2 \end{pmatrix} , \begin{pmatrix} 0 & 1/2 \\ 1/2 & 0 \end{pmatrix} \end{align} のときである。
\begin{align} P(X=k) &= \left( \frac{5}{6} \right)^{k-1} \cdot \frac{1}{6} \\ &= \frac{1}{5} \left( \frac{5}{6} \right)^k \end{align}
\begin{align} M(t) &= \sum_{k=1}^\infty e^{tk} P(X=k) \\ &= \frac{1}{5} \sum_{k=1}^\infty e^{tk} \left( \frac{5}{6} \right)^k \\ &= \frac{1}{5} \sum_{k=1}^\infty \left( \frac{5}{6} e^t \right)^k \\ &= \frac{1}{5} \frac{5}{6} e^t \frac{1}{1 - \frac{5}{6} e^t } \\ &= \frac{e^t}{6 - 5 e^t } \end{align}
\begin{align} M'(t) &= \frac{6 e^t}{\left( 6 - 5 e^t \right)^2 } \end{align}
\begin{align} E[X] = M'(0) = 6 \end{align}
\begin{align} M''(t) &= \frac{6 e^t \left( 6 + 5 e^t \right) }{\left( 6 - 5 e^t \right)^3 } \end{align} であるから、 \begin{align} E[X^2] = M''(0) = 66 \end{align} より、 \begin{align} V[X] = E[X^2] - E[X]^2 = 30 \end{align}