情報理論

http://www.uec.ac.jp/research/information/opal-ring/0006000.html

1948年にシャノンは情報通信システムを設計するための指導原理を与える研究分野を構築しました。この分野は今日情報理論とよばれています。本講義では、シャノンが築いた情報理論の枠組
と本質について講義します。

離散数学、確率統計

情報通信基礎あるいは情報通信と符号化

とくに指定しません。参考書として、それぞれ特徴があるのですが、そのようなもろもろのものを以下にしめします。
アブラムソン「情報理論入門」宮川洋訳 好学社
今井秀樹「情報理論」昭晃堂
甘利俊一「情報理論」ダイヤモンド社(絶版、図書館で参考)
有本卓「確率・情報・エントロピー」森北出版
堀部安一「情報エントロピー論」森北出版
橋本猛「情報理論」培風館
小林欣吾・森田啓義「情報理論講義」培風館

[注意]対面ですが、Classroom の使用が必須なので必ず登録をお願いします。
(クラスコード: cip2p3cl)

授業の概要
情報通信のモデル、確率論の復習、エントロピーとダイバージェンス、木と符号、定常情報源とエントロピー、通信路符号化と通信路容量について述べる.

授業計画
第1回:情報通信のモデル、情報源符号化定理入門、通信路符号化定理入門
第2回:情報理論の基礎事項1 (実験・結果・事象、確率空間)
第3回:情報理論の基礎事項2 (確率変数と確率分布、確率変数の期待値)
第4回:情報量1(エントロピー、ダイバージェンス、同時確率分布と同時エントロピー)
第5回:情報量2(条件付確率分布と条件付エントロピー、相互情報量、条件付相互情報量、
情報量とVenn図、マルコフ連鎖と情報量)
第6回:木と符号1(可変長符号化と一意復号可能性、クラフトの不等式、語頭符号)
第7回:木と符号2(メッセージ情報源に対する情報源符号化定理、ハフマン符号)
第8回:情報源とエントロピー(情報源、定常情報源、定常情報源のエントロピーレート)
第9回:情報源とエントロピー(時不変マルコフ連鎖とエントロピーレート)
第10回:標準系列(チェビシェフの不等式、大数の弱法則、漸近等分割性、同時標準系列)
第11回:通信路符号化1(通信路符号化定理、最尤復号)
第12回:通信路符号化2(通信路符号化順定理の証明)
第13回:通信路符号化3(通信路符号化逆定理の証明)
第14回:通信路容量1(離散無記憶通信路:BSC, BEC, 二元非対称通信路)
第15回:通信路容量2(微分エントロピー、離散時間加法的ガウス雑音通信路、帯域制限白色ガウス通信路)

講義内容について事前に資料が配布されている場合は予習で内容をみておくと、講義の理解が進むと思います。復習は講義内容の理解のために重要です。

評価方法:
出席、課題、試験に基づく評価. 試験は中間試験、期末試験を行ないます。これらについては対面実施を検討しています。 状況により課題提出となる場合があります。

授業相談はメイルで随時可能。

[注意]対面ですが、Classroom の使用が必須なので必ず登録をお願いします。
(クラスコード: cip2p3cl)

[講義の内容について]まず、"情報"というものが物理量と同様に量として取り扱えるものであることを学びます。次に、情報理論で考察の対象となる符号化の問題が、情報通信機器の設計に欠かすことのできない中心的概念であることを理解します。確率論は必須です。情報理論は、通信の理論限界が、数学の言葉を使って明確に表現できるという独特の美しさを有しています。情報理論の真髄が理解できたとき、皆さんの目前には新しい世界が開けるでしょう！このような魅力あふれる学問について一緒に勉強していきましょう！

対面で部分的に遠隔講義(リアルタイム/オンデマンド)で開始します。