シラバス参照

授業情報／Course information

科目名／Course: 情報理論／Information Theory
科目一覧へ戻る 2025/09/12 現在

授業基本情報
科目名（和文）
／Course		 情報理論
科目名（英文）
／Course		 Information Theory
時間割コード
／Registration Code		 21C14101
学部（研究科）
／Faculty		 情報工学部
学科（専攻）
／Department		 情報通信工学科
担当教員（○：代表教員）
／Principle Instructor （○） and Instructors		 ○稲井　寛
オフィスアワー
／Office Hour		 稲井　寛(水曜日5時限)
開講年度
／Year of the Course		 2025年度
開講期間
／Term		 前期
対象学生
／Eligible Students		 2年
単位数
／Credits		 2.0
授業概要情報
更新日
／Date of renewal		 2025/03/03
使用言語
／Language of Instruction		 日本語
オムニバス
／Omnibus		 該当なし
授業概略と目的
／Cource Description and Objectives		 概略：情報理論は，情報の表現や伝送に関する基礎理論であり，確率論を基盤としている．本講義では，ある確率でシンボルが発生するモデルを導入し，そこで発生する情報の量を定義する．そして，0と1の系列である符号を用いて情報を表現する．講義の前半では，ある情報をその意味を変えることなく可能な限り短い系列で表現する手法（圧縮の原理）について考察する．これに対して，後半では，冗長な系列を付加することにより，伝送中に発生するビット誤りの検出?訂正が可能となることを示す．
目的：情報発生の数学モデルとそこから発生する情報量，2元符号による情報の表現，データ圧縮の原理，通信路上の誤り検出?訂正の原理を理解する．
履修に必要な知識?能力?キーワード
／Prerequisites and Keywords		 履修に必要な知識：「確率統計」を修得していると理想的
キーワード：情報量，エントロピー，符号，情報源，通信路，誤り検出，誤り訂正
履修上の注意
／Notes
教科書
／Textbook(s)		 稲井 寛，はじめての情報理論，第2版，森北出版，2020
参考文献等
／References
自主学習ガイド
／Expected Study Guide outside Coursework/Self-Directed Learning Other Than Coursework		 他科目との関連を常に意識することを心掛けると理解の助けとなると共に視野が拡がる．例えば，アナログ情報のディジタル化やデジタル情報伝送の具体的な方法については「通信方式」や「信号処理」で学ぶ．また，ビット誤りの検出?訂正の具体的な方法については「符号理論」で学ぶ．
資格等に関する事項
／Attention Relating to Professional License
アクティブラーニングに関する事項
／Attention Relating to Active Learning		 振り返りとして，授業の終わりに解答時間10分程度の演習問題を課している．その日のうちに「乐游棋牌_天天棋牌￥游戏下载官网」に解答例をアップロードするので，よく確認すると共に答案の書き方にも注意すること．
実務経験に関する事項
／Attention Relating to Operational Experiences		 該当なし
備考
／Notes
授業計画詳細情報
No. 単元（授業回数）
／Unit (Lesson Number)		 単元タイトルと概要
／Unit Title and Unit Description		 時間外学習
／Preparation and Review		 配付資料
／Handouts
1 1 [概要説明]
情報理論の概要，講義目標，注意事項について説明する．
2 2 [情報量(1)]
情報量，エントロピーについて説明する．		 予習：教科書を精読した後に例題を解いてみる．復習：演習問題の解答例も参考にしながら復習する．以降の回も同様．
 演習問題（授業の終わりに10分程度の解答時間を設ける）とその解答例（その日のうちに「乐游棋牌_天天棋牌￥游戏下载官网」にアップロードする）．以降の回も同様．
3 3 [情報量(2)]
エントロピーの性質，結合エントロピー，条件付エントロピーについて説明する．
4 4 [情報源(1)]
情報源のモデル，無記憶情報源について説明する．
5 5 [情報源(2)]
マルコフ情報源について説明する．
6 6 [情報源符号化(1)]
符号の分類，瞬時に復号可能な符号であるための条件について説明する．
7 7 [情報源符号化(2)]
クラフトの不等式，平均符号長，符号の効率と冗長度について説明する．
8 8 [情報源符号化(3)]
コンパクト符号，情報源符号化定理について説明する．
9 9 [情報源符号化(4)]
モールス符号，シャノン符号，ファノ符号，ハフマン符号について説明する．
10 10 [通信路(1)]
事前エントロピー，事後エントロピー，相互情報量について説明する．
11 11 [通信路(2)]
雑音のない通信路，確定的通信路，一様通信路について説明する．
12 12 [通信路(3)]
通信路容量について説明する．
13 13 [通信路符号化(1)]
受信シンボルの判定，通信路符号化について説明する．
14 14 [通信路符号化(2)]
ハミング距離，誤り検出?訂正の原理について説明する．
15 15 [通信路符号化(3)]
通信路符号化定理について説明する．
16 16 [試験]
定期試験を行う．
授業評価詳細情報
到達目標及び観点／Learning Goal and Specific Behavioral Viewpoints
No. 到達目標
／Learning Goal		 知識?理解
／Knowledge & Undestanding		 技能?表現
／Skills & Expressions		 思考?判断
／Thoughts & Decisions		 伝達?コミュニケーション
／Communication		 協働
／Cooperative Attitude
1 無記憶情報源のエントロピーを計算することができる ．(C) ○ ○ ○
2 情報源シンボルに対して，瞬時に復号可能な二元符号を構成し，平均符号長を計算することができる． (C) ○ ○ ○
3 通信路の相互情報量，通信路容量を計算することができる． (C) ○ ○ ○
4 通信路の平均誤り率を計算することができる ．(C) ○ ○ ○
成績評価方法と基準／Evaluation of Achievement
※出席は2/3以上で評価対象となります。
No. 到達目標
／Learning Goal		 定期試験
／Exam.		 演習問題
1 無記憶情報源のエントロピーを計算することができる ．(C) ○ ○
2 情報源シンボルに対して，瞬時に復号可能な二元符号を構成し，平均符号長を計算することができる． (C) ○ ○
3 通信路の相互情報量，通信路容量を計算することができる． (C) ○ ○
4 通信路の平均誤り率を計算することができる ．(C) ○ ○
評価割合（％）
／Allocation of Marks		 80 20

科目一覧へ戻る