信息論與編碼是運用概率論與數理統(tǒng)計的方法研究信息、信息熵、通信系統(tǒng)、數據傳輸、數據壓縮等問題的應用學科理論，是電子通信類專業(yè)重要的學科基礎課。本書介紹香農信息論的基本內容：信息的度量方法、信源編碼（無失真信源編碼和限失真信源編碼）及信道編碼（糾錯編碼、安全編碼和網絡編碼）的基本理論與方法。為方便學生理解，本書對重點、難點進行了數字化處理與演示；為培養(yǎng)學生解決實際問題的能力，在每章中引入了理論聯(lián)系實際的內容。 本書可配合中國大學MOOC上的“信息理論與編碼”線上課程使用，也可作為相關專業(yè)學生的配套教材。
張可，博士，武漢理工大學信息工程學院副教授，長期從事通信工程領域的教學與研究工作，發(fā)表論文多篇，獲得武漢理工大學校第九屆青年教師教學比賽三等獎。
目 錄
第1章 緒論 1
1.1 信息的定義 1
1.2 本課程的主要研究內容 2
1.3 信息論與編碼的發(fā)展歷程及相關應用 6
1.3.1 信息論與編碼的發(fā)展 6
1.3.2 信息論與編碼技術的交叉應用 8
習題 10
第2章 信源與熵 11
2.1 信息與信源的關系 11
2.1.1 信源與隨機變量 11
2.1.2 通信模型中的信源 12
2.2 香農熵及其特性 13
2.2.1 熵的來源 13
2.2.2 香農熵 14
2.2.3 香農熵的含義 15
2.2.4 香農熵的特性 17
2.3 聯(lián)合熵與條件熵 20
2.3.1 聯(lián)合分布與聯(lián)合熵 20
2.3.2 條件熵 21
2.3.3 各類信源熵的關系 21
2.4 平均互信息量 22
2.4.1 平均互信息量及其計算 22
2.4.2 平均互信息量的性質 24
2.4.3 熵及平均互信息量之間的關系 25
2.5 各類信源熵的擴展 25
2.5.1 離散無記憶擴展信源的信息熵 25
2.5.2 離散平穩(wěn)信源的信息熵 26
2.5.3 連續(xù)信源的信息熵 28
2.5.4 馬爾可夫信源的信息熵 35
2.6 應用實例 38
2.6.1 信源信息傳播因素分析 38
2.6.2 智能變電站通信網絡的廣義信源 38
本章基本概念 39
習題 41
第3章 信道及其容量 44
3.1 信道的分類及模型 44
3.1.1 信道的分類 44
3.1.2 信道的模型描述 46
3.1.3 離散信道的數學模型 47
3.2 信道的平均互信息量 48
3.2.1 信道的疑義度 48
3.2.2 信道的散布度 50
3.2.3 信道的平均互信息量 51
3.2.4 信道的平均條件互信息量 52
3.3 平均互信息量的特性 52
3.4 信道容量及其一般計算方法 54
3.4.1 信道容量的定義 54
3.4.2 離散無噪信道的信道容量 56
3.4.3 對稱離散信道的信道容量 59
3.4.4 準對稱信道的信道容量 62
3.4.5 Kuhn-Tucker定理及一般離散信道的信道容量 64
3.4.6 信道容量的迭代算法 68
3.5 連續(xù)信道及其信道容量 69
3.5.1 連續(xù)信道的數學模型 69
3.5.2 連續(xù)信道的平均互信息量及其特性 70
3.5.3 高斯加性噪聲信道的信道容量 71
3.5.4 一般加性噪聲信道的信道容量及其邊界 74
3.6 波形信道及其信道容量 75
3.6.1 波形信道的平均互信息量 75
3.6.2 加性噪聲波形信道的信道容量 76
3.7 擴展信道及其信道容量 79
3.7.1 擴展信道的數學模型 79
3.7.2 擴展信道的平均互信息量和信道容量 80
3.8 組合信道及其信道容量 82
3.8.1 串聯(lián)信道 82
3.8.2 獨立并聯(lián)信道 84
3.9 信源與信道的匹配 84
3.10 應用實例 85
本章基本概念 86
習題 89
第4章 無失真信源編碼 92
4.1 信源編碼的基本概念 93
4.2 編碼的唯一可譯性 96
4.2.1 常見碼及其唯一可譯性 96
4.2.2 碼樹與克拉夫特不等式 98
4.2.3 唯一可譯碼的判斷方法 100
4.3 離散無記憶信源的漸近等分性 102
4.3.1 典型序列 102
4.3.2 漸近等分性 102
4.3.3 離散無記憶信源序列集的劃分 103
4.4 定長編碼 104
4.4.1 定長編碼的基本約束 104
4.4.2 定長編碼定理 104
4.5 變長編碼定理 108
4.6 無失真信源編碼方法 110
4.6.1 霍夫曼編碼 111
4.6.2 費諾編碼 116
4.6.3 香農編碼 117
4.6.4 游程編碼 119
4.6.5 算術編碼 120
4.6.6 字典編碼 123
4.7 應用實例 131
4.7.1 MH編碼 131
4.7.2 Zip和Gzip軟件 134
4.7.3 RAR和WinRAR軟件 135
4.7.4 GIF圖像 136
4.7.5 PNG圖像 136
本章基本概念 139
習題 140
第5章 信道糾錯編碼 143
5.1 糾錯編譯碼的基本原理 143
5.1.1 糾錯編譯碼方法 143
5.1.2 平均差錯率及譯碼規(guī)則 145
5.1.3 分組碼舉例 149
5.2 有噪信道編碼定理 151
5.2.1 有噪打字機舉例 151
5.2.2 定理討論 153
5.2.3 有噪信道編碼逆定理 153
5.3 線性分組碼 154
5.3.1 線性分組碼編碼 154
5.3.2 伴隨式與標準陣列譯碼 158
5.3.3 碼的最小漢明距離與檢糾錯能力 159
5.3.4 標準陣列及譯碼方法 160
5.3.5 完備碼 164
5.4 應用實例 165
5.4.1 模擬移動系統(tǒng)中數字信令的BCH編碼 166
5.4.2 深空通信中的信道編碼 166
5.4.3 GSM的信道編碼 166
5.4.4 窄帶CDMA系統(tǒng)（IS-95）中的前向糾錯編碼 166
5.4.5 3G通信中Turbo碼 166
5.4.6 5G通信中的信道編碼 167
本章基本概念 167
習題 169
第6章 限失真信源編碼 171
6.1 失真測度 172
6.2 信息率失真函數及其性質 173
6.2.1 信息率失真函數的定義 173
6.2.2 信息率失真函數R(D)的性質 174
6.3 限失真信源編碼定理 178
6.4 離散信源信息率失真函數的計算 178
6.4.1 離散信源信息率失真函數的參量表示計算方法 178
6.4.2 離散信源信息率失真函數的迭代計算方法 187
6.5 連續(xù)信源的信息率失真函數 190
6.5.1 連續(xù)信源信息率失真函數的參量表達式 190
6.5.2 高斯信源的信息率失真函數 191
6.6 圖像信源限失真編碼舉例 193
6.6.1 JPEG基本系統(tǒng)簡介 193
6.6.2 JPEG編碼過程示例 196
6.6.3 JPEG編碼率失真性能曲線的繪制 198
6.7 信息率失真函數的應用及應用中的困難 200
本章基本概念 201
習題 202
第7章 信道安全編碼 203
7.1 網絡模型與安全服務功能 204
7.1.1 開放系統(tǒng)互連參考模型 204
7.1.2 安全分層原則 205
7.1.3 安全服務功能 205
7.2 香農的安全編碼思想 207
7.2.1 加密系統(tǒng)的信息論分析 208
7.2.2 信息論安全技術 210
7.2.3 有噪信道的安全通信 211
7.2.4 完全保密、強保密和弱保密 212
7.2.5 信道的安全編碼與傳統(tǒng)加密體制的對比 214
7.3 搭線竊聽信道 215
7.3.1 普通搭線竊聽信道模型 215
7.3.2 退化搭線竊聽信道模型 216
7.3.3 高斯搭線竊聽信道 218
7.3.4 關于搭線竊聽信道的幾點說明 219
7.4 安全編碼方法 219
7.4.1 Wyner的安全編碼思想 220
7.4.2 伴隨編碼機制 222
本章基本概念 225
習題 226
第8章 網絡編碼 227
8.1 網絡編碼基礎 227
8.1.1 蝴蝶網絡 227
8.1.2 網絡編碼的核心思想 229
8.1.3 線性網絡編碼 229
8.2 網絡編碼應用 229
8.2.1 網絡編碼與無線通信 229
8.2.2 網絡編碼與分布式存儲 230
本章基本概念 233
習題 234
附錄A 部分定理的證明 235
參考文獻 241
書單推薦
