情報理論

Webclass

情報通信システムを設計するための指導原理であるシャノン理論について講義する。授業の前半ではデータ圧縮を目的とした情報源符号化に関する理論, 後半では通信中に起こる誤りの影響に対処する通信路符号化に関する理論について学ぶ。
講義の中の演習や課題を解くことにより、デジタル通信システムにおける符号化に関する理解を深める。

確率統計

離散数学、基礎情報通信もしくは情報通信と符号化

とくに指定しない。以下では参考書をいくつか紹介する。
今井秀樹「情報理論」昭晃堂
有本卓「確率・情報・エントロピー」森北出版
堀部安一「情報エントロピー論」森北出版
橋本猛「情報理論」培風館
小林欣吾・森田啓義「情報理論講義」培風館

授業の概要
情報通信のモデル、確率論の復習、エントロピーとダイバージェンス、木と符号、定常情報源とエントロピー、通信路符号化と通信路容量について述べる。

授業計画
第1回:情報通信のモデル
第2回:情報理論の基礎事項1 (実験・結果・事象、確率空間、確率分布)
第3回:情報理論の基礎事項2 (確率変数の期待値)
第4回:情報量1(エントロピー、、結合エントロピー、条件付きエントロピー)
第5回:情報量2(ダイバージェンス、相互情報量)
第6回:木と符号1(可変長符号化と一意復号可能性、クラフトの不等式、語頭符号)
第7回:木と符号2(ハフマン符号)
第8回:情報源符号化定理
第9回:通信路と通信路符号化
第10回:標準系列(チェビシェフの不等式、大数の弱法則、漸近等分割性、同時標準系列)
第11回:通信路符号化1(符号化定理の概要)
第12回:通信路符号化2(符号化逆定理の証明)
第13回:通信路符号化3(通信路符号化逆定理の証明)
第14回:通信路容量1(離散無記憶通信路:BSC, BEC)
第15回:通信路容量2(二元非対称通信路、微分エントロピー、加法的ガウス雑音通信路)
定期試験

・授業や演習内容について理解を深めるために, 毎回の授業内容をよく復習すること.
・各授業項目について事前に予習し, 不明瞭な部分を事前に把握しておくこと.

最低達成目標は以下の項目を理解することとする.
(1)情報量(エントロピー, 相互情報量, ダイバージェンス)
(2)語頭符号とハフマン符号
(3)情報源符号化定理
(4)通信路符号化定理
(5)対称通信路の通信路容量
成績評価は課題50%, 期末試験50%の計100点中60点以上で合格とする. 出席回数が全体の授業の2/3に満たない場合は, 期末試験の受験資格が与えられないことに注意してください.

授業相談は随時可能、ただし事前にEメールでアポイントをとること。

「情報」というものが物理量と同様に量として取り扱えるものであり、情報通信機器の設計に欠かすことのできない中心的概念であることを伝えます. 確率論の知識は必須であり、この授業の内容はかなりハードですが、情報理論の真髄を単に意味としてではなく、論理的にも理解できると新しい世界が開けると思います。
是非頑張ってついてきて下さい。

特になし