情報通信システム

http://www.utm.inf.uec.ac.jp/~utsumi/lecture/infocomm/

(a) 主題
情報通信システム・ネットワークの理論的基盤として、情報伝達に関する美しい理論的体系(情報理論、符号理論)がある。また、これらの理論に含まれる様々な概念は、機械学習や計算機科学にも援用されている。本科目では、情報理論や符号理論に関する基礎知識を、講義や演習を通じて学ぶ。

(b) 達成目標
情報理論や符号理論における符号化の方法やその背後にある理論的な考え方を身につける。

なし

離散数学、確率論

教科書は用いず、適宜、講義資料を電子的に配布する。資料については、授業関連Webページを参照すること。

参考書として以下を挙げておく。(どれか一冊で十分です。)
今井 秀樹:『情報理論(改訂2版)』, オーム社 (2019).
相河 聡:『情報理論 ー情報量～誤り訂正がよくわかるー』, 森北出版 (2018).
平澤 茂一:『情報理論入門』, 培風館 (2000).

(a) 授業内容
第1回 序論:情報通信システムのモデル、情報理論や符号理論の基本的な考え方
第2回 情報源符号化とその限界(1):情報源のモデル、符号の種類、クラフトの不等式
第3回 情報源符号化とその限界(2):ハフマン符号化法、ブロック符号化法
第4回 情報源符号化とその限界(3):非等長系列の符号化、情報源符号化定理
第5回 情報源符号化とその限界(4):マルコフ情報源の符号化、ユニバーサル符号化
第6回 情報量とエントロピー(1):自己情報量と平均情報量、エントロピー
第7回 小テスト、情報量とエントロピー(2):相互情報量、Kullback-Leibler情報量
第8回 通信路符号化の限界(1):通信路のモデル、通信路容量
第9回 通信路符号化の限界(2):通信路容量、通信路符号化の考え方
第10回 通信路符号化の限界(3):最尤復号と復号誤り確率
第11回 通信路符号化の限界(4):通信路符号化定理
第12回 小テスト、通信路符号化法(1):誤り検出符号と誤り訂正符号
第13回 通信路符号化法(2):ハミング符号、生成行列と検査行列
第14回 通信路符号化法(3):さまざまな線形符号、巡回符号の考え方
第15回 通信路符号化法(4):多項式表現による巡回符号の扱い

(b) 授業の進め方:
基本的にOHPやプリントを用いて講義を行うが、授業時間中に適宜、簡単な演習を課す。

授業中に説明した箇所の問題(配布するプリントに掲載されている問題)を自分で解いてみるとともに、Web上で公開している次週以降の資料を読み、わからないところを確認しておく。

(a) 評価方法:
2回の小テスト(中間試験)および学期末試験の結果から、以下のように総合評価する。
成績評価=(小テストの評価点×25%)×2回+(学期末試験の評価点×50%)

(b) 評価基準:以下の項目の達成をもって合格の最低基準とする。
(1) ハフマン符号による情報源符号化を理解し、符号化や平均符号長を計算できること。
(2) 情報源符号化定理と通信路符号化定理の内容を、証明の概要も含めて正しく理解すること。
(3) 通信路のモデルを理解し、通信路容量を計算できること。
(4) ハミング符号や巡回符号による通信路符号化やその復号が計算できること。

適宜相談に応じるが、できる限り電子メールで事前に連絡すること。

本授業で扱う内容は、現在の情報通信技術を支える重要な基礎理論の一つである。ぜひ受講してその内容を知ってもらいたい。

なし