本書是"十二五”普通高等教育本科國家級規(guī)劃教材，且為教育部評選的"2008年度普通高等教育精品教材”。 本書系統(tǒng)地論述了香農(nóng)信息論基本理論及某些應用問題，基本覆蓋了信息論的各個方面的內(nèi)容。內(nèi)容包括：信息的定義和度量；各類離散信源和連續(xù)信源的信息熵；有記憶、無記憶、離散和連續(xù)信道的信道容量；香農(nóng)信息論的三個基本定理：無失真信源編碼定理、限失真信源編碼定理和信道編碼定理；網(wǎng)絡信息理論及保密系統(tǒng)的信息理論。本書還介紹了無失真數(shù)據(jù)壓縮(即無失真信源編碼)的實用的編碼算法與方法，以及信道糾錯編碼的基本內(nèi)容和分析方法；最后簡要地介紹了信息論與熱力學、光學、統(tǒng)計學、生物學和醫(yī)學等其他學科交叉結(jié)合的應用內(nèi)容。尤其是新增第13章,介紹量子力學與信息理論交叉結(jié)合而飛速發(fā)展起來，又極具誘人前景的量子信息科學。
傅祖蕓 女 1956年入北京大學物理系，1960年抽調(diào)北大無線電系任教，1963年畢業(yè)于北京大學無線電電子學系無線電物理專業(yè)。曾任教于中國科學技術大學，中國科學院研究生院，現(xiàn)任中國科學院大學教授。中國通信學會中國通信理論委員會第二、三、四屆委員。享受國務院政府特殊津貼。并2008年榮獲中國科學院研究生院杰出貢獻教師表彰。曾為本科生和研究生講授脈沖與數(shù)字電路、信息論、編碼理論、信息論與編碼、信源編碼與數(shù)據(jù)壓縮等多門課程。主要從事信源壓縮編碼及圖像與信息處理應用于生物醫(yī)學領域的研究。發(fā)表論文近20篇。主要著作：《信息論基礎》 、《信息論——基礎理論與應用》 、《信息論與編碼》 、《信息論與編碼學習輔導及習題詳解》 、《信息理論與編碼學習輔導及精選題解》 。翻譯十余本計算機應用軟件的書籍。
目錄
第1章緒論
11信息的概念
12信息論研究的對象、目的和內(nèi)容
13信息論發(fā)展簡史與信息科學
第2章離散信源及其信息測度
21信源的數(shù)學模型及分類
22離散信源的信息熵
221自信息
222信息熵
23信息熵的基本性質(zhì)
24信息熵的唯一性定理
25離散無記憶的擴展信源
26離散平穩(wěn)信源
261離散平穩(wěn)信源的數(shù)學定義
262二維離散平穩(wěn)信源及其信息熵
263離散平穩(wěn)信源的極限熵
27馬爾可夫信源
271馬爾可夫信源和m階馬爾可夫
信源的定義
272馬爾可夫信源和m階馬爾可夫
信源的信息熵
28信源剩余度與自然語言的熵
29意義信息和加權熵
小結(jié)
習題
第3章離散信道及其信道容量
31信道的數(shù)學模型及分類
311信道的分類
312離散信道的數(shù)學模型
313單符號離散信道的數(shù)學模型
32平均互信息及平均條件互信息
321信道疑義度
322平均互信息
323平均條件互信息
33平均互信息的特性
34信道容量及其一般計算方法
341離散無噪信道的信道容量
342對稱離散信道的信道容量
343準對稱信道的信道容量
344一般離散信道的信道容量
35信道容量的迭代算法
351信道容量的迭代算法
352信道容量迭代算法的收斂性
36離散無記憶擴展信道及其信道容量
37獨立并聯(lián)信道及其信道容量
38串聯(lián)信道的互信息和數(shù)據(jù)處理定理
39信源與信道的匹配
小結(jié)
習題
第4章波形信源和波形信道
41波形信源的統(tǒng)計特性和離散化
42連續(xù)信源和波形信源的信息測度
421連續(xù)信源的差熵
422連續(xù)平穩(wěn)信源和波形信源的差熵
423兩種特殊連續(xù)信源的差熵
43連續(xù)信源熵的性質(zhì)及最大差熵定理
431差熵的性質(zhì)
432具有最大差熵的連續(xù)信源
44連續(xù)信源熵的變換
441坐標變換后概率密度函數(shù)的變化
442坐標變換后差熵的變化
45熵功率
46連續(xù)信道和波形信道的分類
461按信道輸入和輸出的
統(tǒng)計特性分類
462按噪聲的統(tǒng)計特性分類
463按噪聲對信號的作用功能分類
47連續(xù)信道和波形信道的信息傳輸率
471基本連續(xù)信道的平均互信息
472多維連續(xù)信道的平均互信息
473波形信道的信息傳輸率
474連續(xù)信道平均互信息的特性
48連續(xù)信道和波形信道的信道容量
481單符號高斯加性信道
482單符號非高斯加性信道
483多維無記憶高斯加性連續(xù)信道
484多維有記憶高斯加性連續(xù)信道
485限帶高斯白噪聲加性波形信道
486有色高斯加性波形信道
487香農(nóng)公式的重要實際指導意義
小結(jié)
習題
第5章無失真信源編碼定理
51編碼器
52等長碼
53漸近等分割性和ε典型序列
54等長信源編碼定理
55變長碼
551唯一可譯變長碼與即時碼
552即時碼的樹圖構(gòu)造法
553克拉夫特(Kraft)不等式
554唯一可譯變長碼的判斷法
56變長信源編碼定理
小結(jié)
習題
第6章有噪信道編碼定理
61錯誤概率和譯碼規(guī)則
62錯誤概率與編碼方法
63聯(lián)合ε典型序列
64有噪信道編碼定理
65聯(lián)合信源信道編碼定理
小結(jié)
習題
第7章保真度準則下的信源編碼
71失真度和平均失真度
711失真度
712平均失真度
72信息率失真函數(shù)及其性質(zhì)
721信息率失真函數(shù)
722信息率失真函數(shù)的性質(zhì)
73二元信源和離散對稱信源
的R(D)函數(shù)
731二元對稱信源的R(D)函數(shù)
732離散對稱信源的R(D)函數(shù)
74信息率失真函數(shù)的參量表述及其計算
75信息率失真函數(shù)的迭代算法
76連續(xù)信源的信息率失真函數(shù)
761連續(xù)信源的信息率失真函數(shù)
762高斯信源的信息率失真函數(shù)
763連續(xù)信源R(D)函數(shù)的參量
表述及其計算
77保真度準則下的信源編碼定理
771失真ε典型序列
772保真度準則下信源編碼定理
的證明
78聯(lián)合有失真信源信道編碼定理
79限失真信源編碼定理的實用意義
小結(jié)
習題
第8章無失真的信源編碼
81霍夫曼（Huffman）碼
811二元霍夫曼碼
812r元霍夫曼碼
813霍夫曼碼的最佳性
82費諾（Fano）碼
83香農(nóng)-費諾-埃利斯碼
84游程編碼和MH編碼
841游程編碼
842MH編碼
85算術編碼
86字典碼
861LZ77編碼算法
862LZ78編碼算法
863LZW編碼算法
864LZ碼復雜度和性能分析
小結(jié)
習題
第9章信道的糾錯編碼
91差錯控制的基本形式
92糾錯碼分類及基本概念
921糾錯碼分類
922糾錯碼的基本概念及其
糾錯能力
93線性分組碼
931一致校驗矩陣和生成矩陣
932伴隨式及標準陣列譯碼
933漢明碼
94循環(huán)碼
941循環(huán)碼結(jié)構(gòu)及其多項式描述
942循環(huán)碼的生成多項式和
生成矩陣
943循環(huán)碼的校驗多項式和伴隨式
944循環(huán)碼的編、譯碼器
95卷積碼
951卷積碼的解析表示
952卷積碼的圖解表示
953卷積碼的維特比譯碼
小結(jié)
習題
第10章網(wǎng)絡信息論
101通信網(wǎng)信道的分類
102多個隨機變量的聯(lián)合典型序列
103相關信源編碼
104多址接入信道
1041離散多址接入信道
1042多址接入高斯噪聲信道
105相關信源和多址接入信道
1051相關信源和多址接入
信道的對偶性
1052相關信源的多址接入信道
106廣播信道
107中繼信道
108具有邊信息的信源編碼
109具有邊信息的數(shù)據(jù)壓縮
小結(jié)
習題
第11章保密系統(tǒng)的基本信息理論
111保密學的基本概念
112保密系統(tǒng)的數(shù)學模型
113古典密碼體制
1131單表密碼
1132移位代換密碼
1133乘數(shù)密碼
1134固定周期d的位移置換
1135多表代換密碼
114完全保密性
115理論保密性
116實際保密性
小結(jié)
習題
第12章信息論與其他學科的關系和
應用
121信息熵與熱力學熵
122信息論與光學
1221光學信息量
1222光量子信道的信道容量
1223最大熵光學圖像恢復
123最大熵原理與譜估計
1231高斯隨機過程的熵率
1232伯格的最大熵定理
124信息論與生命科學
1241DNA到蛋白質(zhì)的通信系統(tǒng)
1242信息系數(shù)與信息分類
1243醫(yī)學中的信息分析
小結(jié)
第13章量子信息科學簡介
131量子力學的基本概念
1311波粒二重性和光量子
1312波函數(shù)和量子態(tài)
1313量子態(tài)疊加原理
1314量子測量與量子態(tài)塌縮
1315測不準原理
1316量子糾纏和糾纏態(tài)
1317量子隱形傳態(tài)
132量子通信與量子保密通信
1321量子通信的基本概念
1322量子通信的優(yōu)越性
1323量子通信密鑰分發(fā)和量子
隱形傳態(tài)
1324量子通信的發(fā)展現(xiàn)狀與前景
133量子信息論
1331量子比特
1332量子信息中的馮·諾依曼熵
1333量子信源編碼定理
1334量子信道的信道編碼
附錄
附錄A凸函數(shù)和詹森不等式
附錄B馬爾可夫鏈
B1馬爾可夫鏈的定義
B2轉(zhuǎn)移概率和轉(zhuǎn)移矩陣
B3各態(tài)歷經(jīng)定理
附錄C熵函數(shù)的函數(shù)表
附錄D所用符號及編寫說明
參考書目和文獻
書單推薦
