新潟大学 大学院 自然科学研究科
電気情報工学専攻 情報工学コース
2022年度

• 問題はこちらから入手してください。
• 以下の解答はドラフト版です。
• 環境によっては、数式の表示に時間がかかる場合があります。

[3] 情報理論

(1)

\begin{align} H \left( X \right) &= \frac{3}{4} \log_2 \frac{4}{3} + \frac{1}{4} \log_2 4 \\ &= 2 - \frac{3}{4} \log_2 3 \\ &= 0.8675 \end{align}

(2)

\begin{align} L &= 1 \\ \eta &= \frac{0.8675}{1} \\ &= 0.8675 \end{align}

(3)

例えば、 \begin{align} a_1 : 0 , \ a_2 : 10 , \ a_3 : 110 , \ a_4 : 111 \end{align}

(4)

\begin{align} H \left( X^2 \right) &= \frac{9}{16} \log_2 \frac{16}{9} + 2 \cdot \frac{3}{16} \log_2 \frac{16}{3} + \frac{1}{16} \log_2 16 \\ &= 4 - \frac{3}{2} \log_2 3 \\ &= 1.615 \end{align}

(5)

\begin{align} L &= \frac{9}{16} \cdot 1 + \frac{3}{16} \cdot 2 + \frac{3}{16} \cdot 3 + \frac{1}{16} \cdot 3 \\ &= \frac{27}{16} \\ \eta &= \frac{1.615}{\frac{27}{16}} \\ &= 0.957 \end{align}