新潟大学 大学院 自然科学研究科
電気情報工学専攻 情報工学コース
2022年度 [3] 情報理論

• 問題はこちらから入手してください。
• 以下の解答はドラフト版です。
• 環境によっては、数式の表示に時間がかかる場合があります。

(1)

\begin{align} H \left( X \right) &= \frac{3}{4} \log_2 \frac{4}{3} + \frac{1}{4} \log_2 4 \\ &= 2 - \frac{3}{4} \log_2 3 \\ &= 0.8075 \end{align}

(2)

\begin{align} L &= \frac{1+1}{2} \\ &= 1 \\ \eta &= \frac{0.8075}{1} \\ &= 0.8075 \end{align}

(3)

中川聖一「情報理論の基礎と応用」 3.4.2 ハフマン符号 にある方法を使うと、 \begin{align} a_1 : 0 , \ a_2 : 11 , \ a_3 : 100 , \ a_4 : 101 \end{align} となる。

(4)

\begin{align} H \left( X^2 \right) &= \frac{9}{16} \log_2 \frac{16}{9} + 2 \cdot \frac{3}{16} \log_2 \frac{16}{3} + \frac{1}{16} \log_2 16 \\ &= 4 - \frac{3}{2} \log_2 3 \\ &= 1.615 \end{align}

※ $X$ は記憶のない情報源であるから、 $H(X^2) = 2H(X)$ が成り立つので、 (1) を2倍して求めても良い。

(5)

\begin{align} L &= \frac{9}{16} \cdot 1 + \frac{3}{16} \cdot 2 + \frac{3}{16} \cdot 3 + \frac{1}{16} \cdot 3 \\ &= \frac{27}{16} \\ \eta &= \frac{1.615}{\frac{27}{16}} \\ &\approx 0.957 \end{align}