$P(x,y)=P(x)P(y \mid x)$ であるから、次のように計算できる： \begin{align} H(X,Y) &= - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x,y) \\ &= - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x) P(y \mid x) \\ &= - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x) - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(y \mid x) \\ &= - \sum_{x \in A} P(x) \log_2 P(x) - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(y \mid x) \\ &= H(X) + H(Y \mid X) . \end{align}
$P(x,y)=P(y)P(x \mid y)$ でもあるから、上と同様の計算により、 次のような表現も得られる： \begin{align} H(X,Y) &= H(Y) + H(X \mid Y) . \end{align}
求める情報量は次のように計算できる： \begin{align} - \log_2 P(x) - \left\{ - \log_2 P(x \mid y) \right\} = \log_2 \frac{P(x \mid y)}{P(x)} = \log_2 \frac{P(x, y)}{P(x)P(y)} \end{align}
(2) で求めた情報量を同時確率 $P(x,y)$ によって平均したものが、 相互情報量 $I(X;Y)$ である： \begin{align} I(X;Y) &= \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 \frac{P(x, y)}{P(x)P(y)} \tag{A} \\ &= - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x) - \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(y) + \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x,y) \\ &= - \sum_{x \in A} P(x) \log_2 P(x) - \sum_{y \in B} P(y) \log_2 P(y) + \sum_{x \in A} \sum_{y \in B} P(x,y) \log_2 P(x,y) \\ &= H(X) + H(Y) - H(X,Y) . \end{align} ここで、(1) で得た表式を使うと、次の2通りに表せる： \begin{align} I(X;Y) &= H(X) - H(X \mid Y) \\ &= H(Y) - H(Y \mid X) . \end{align}
(3) の (A)式から、 $I(X;Y)=I(Y;X)$ がわかる。