本書重點介紹信息論的基本知識,以及常用信源編碼和信道編碼技術(shù)的原理與實現(xiàn)方法。全書共7章,主要內(nèi)容包括緒論、信源與信源熵、信道與信道容量、信源編碼、線性分組碼、BCH碼和RS碼,以及卷積碼。本書面向工程應(yīng)用的需要,在介紹信息論基本概念和必要數(shù)學知識的基礎(chǔ)上,重點講解常見的信源編碼和信道編碼技術(shù)的基本原理、物理意義和實現(xiàn)方法,內(nèi)容全面,配有視頻、MATLAB仿真實例和豐富的習題,便于教學與自學。
本書可作為高等院校通信工程、電子信息工程、計算機科學與技術(shù)等專業(yè)的本科生或研究生的教材和參考書,也可供相關(guān)專業(yè)的科研和工程技術(shù)人員參考。
本書是河南省“十四五”普通高等教育規(guī)劃教材,配套課程“信息論與編碼”為河南省一流本科課程,同時得到了河南省新工科研究與實踐項目“新工科視閾下通信工程專業(yè)課程與教學資源建設(shè)”的支持。本書配有豐富的教學資源,各章均有大量MATLAB仿真實例和豐富的習題,且提供習題答案、電子課件和授課視頻等教學資源。
本書內(nèi)容兼顧知識性和實用性,聯(lián)系工程實踐,強調(diào)物理意義,結(jié)構(gòu)合理,概念清晰,示例豐富準確,可作為通信工程、電子信息工程、計算機科學與技術(shù)等專業(yè)的本科生或研究生的教材和參考書,也可供相關(guān)專業(yè)的科研和工程技術(shù)人員參考。
前言
1948年,C.E.Shannon發(fā)表了開創(chuàng)性論文《通信的數(shù)學理論》,宣告了信息論學科的誕生。信息論是研究信息傳輸和信息處理的科學,是現(xiàn)代信息與通信技術(shù)的理論基礎(chǔ)。信息論及其衍生的編碼理論和技術(shù)既是科學理論又是工程應(yīng)用知識,對實際通信系統(tǒng)的設(shè)計與實現(xiàn)產(chǎn)生了深遠的影響,并已經(jīng)滲透到其他領(lǐng)域中。
編碼理論和技術(shù)在本質(zhì)上是高度數(shù)學化的,對其深入理解需要掌握豐富的通信理論、概率論和近世代數(shù)的背景知識。為了幫助讀者盡快理解和掌握常用的重要編碼和譯碼技術(shù),本書在講解信息論的基本概念之后,使用了最少的數(shù)學基礎(chǔ)知識,重點對常用的信源和信道編譯碼理論和技術(shù)進行了深入的講解。本書內(nèi)容兼顧知識性和實用性,聯(lián)系工程實踐,強調(diào)物理意義,結(jié)構(gòu)合理,概念清晰,示例豐富準確,可作為通信工程、電子信息工程、計算機科學與技術(shù)等專業(yè)的本科生或研究生的教材和參考書,也可供相關(guān)專業(yè)的科研和工程技術(shù)人員參考。
隨著黨的二十大的召開,科教興國戰(zhàn)略得到進一步深化,教育領(lǐng)域的綜合改革與教育數(shù)字化方興未艾。本書正是在該背景下進行了修訂完善。全書共7章。第1章介紹了信息、信息論和編碼問題的基本情況;第2章介紹了信源與信源熵的基本概念;第3章介紹了信道與信道容量的基本概念;第4章講解了常見的無失真和限失真信源編碼方法;第5章全面講解了線性分組碼和循環(huán)碼的相關(guān)知識;第6章講解了有限域的基本知識以及BCH碼和RS碼的編譯碼原理;第7章講解了卷積碼的編碼原理、維特比譯碼算法和Turbo碼的基本概念。書中各章均設(shè)有MATLAB仿真實例(第1章緒論除外)和豐富的習題,且提供習題答案、電子課件和授課視頻等教學資源。掃描正文中的二維碼可觀看視頻。
本書是河南省“十四五”普通高等教育規(guī)劃教材(教高〔2020〕469號),配套課程“信息論與編碼”為河南省一流本科課程(豫教〔2020〕13008號),同時得到了河南省新工科研究與實踐項目“新工科視閾下通信工程專業(yè)課程與教學資源建設(shè)”(2020JGLX033)的支持。河南理工大學張長森、郭輝任主編,鄧超、張延良、李寶平、王小旗參與了本書的編寫。張長森編寫了第1章,張延良編寫了第2章,鄧超編寫了第3章,王小旗編寫了第4章,郭輝編寫了第6章,李寶平編寫了第5章和第7章。在本書的修訂過程中,得到了機械工業(yè)出版社的大力支持,在此表示衷心的感謝。
由于編者水平有限,書中疏漏和不當之處在所難免,敬請讀者批評指正。
編者
張長森,河南理工大學教授、博士生導師,河南省重點學科(信息與通信工程)帶頭人,國家級一流專業(yè)(通信工程)負責人,河南省高層次人才,長期從事礦山通信、工業(yè)物聯(lián)網(wǎng)方面的教學科研工作。
前言
第1章緒論1
1.1信息的基本概念1
1.1.1信息、消息與信號1
1.1.2香農(nóng)信息的定義2
1.1.3消息所含信息量的度量2
1.2信息論的研究對象、目標和內(nèi)容3
1.2.1信息論的研究對象3
1.2.2信息論的研究目標4
1.2.3信息論的研究內(nèi)容5
1.3信息論的形成和發(fā)展6
1.4信源編碼問題6
1.5信道編碼問題8
1.6習題9
第2章信源與信源熵10
2.1信源的分類和描述10
2.2離散單符號無記憶信源11
2.3離散多符號無記憶信源12
2.4離散信源的信源熵12
2.4.1自信息量13
2.4.2聯(lián)合自信息量和條件自信息量14
2.5平均自信息量15
2.5.1平均自信息量的概念15
2.5.2聯(lián)合熵與條件熵16
2.5.3熵函數(shù)的性質(zhì)18
2.6離散多符號信源的信源熵21
2.6.1離散多符號無記憶信源的信源熵21
2.6.2離散多符號有記憶信源的信源熵22
2.6.3離散平穩(wěn)有記憶信源的極限熵22
2.7信源的相關(guān)性和剩余度24
2.8信源的MATLAB建模與仿真27
2.9習題28
第3章信道與信道容量30
3.1信道的分類30
3.2離散信道的數(shù)學模型31
3.3互信息量與平均互信息量32
3.3.1互信息量及性質(zhì)32
3.3.2平均互信息量及性質(zhì)33
3.4信道容量38
3.4.1信道容量的定義38
3.4.2幾種特殊信道的信道容量39
3.5離散對稱信道的信道容量40
3.6一般離散信道的信道容量42
3.7信道容量定理45
3.8離散多符號信道及信道容量46
3.9組合信道及信道容量48
3.9.1獨立并聯(lián)信道49
3.9.2級聯(lián)信道49
3.10信道及信道容量的MATLAB分析50
3.11習題52
第4章信源編碼56
4.1無失真信源編碼定理56
4.2無失真信源編碼61
4.2.1香農(nóng)編碼61
4.2.2霍夫曼碼64
4.2.3費諾編碼68
4.2.4香農(nóng)-費諾-埃利斯碼70
4.2.5游程編碼73
4.2.6算術(shù)編碼76
4.2.7Lempel-Ziv算法80
4.3限失真信源編碼定理81
4.3.1信息率失真函數(shù)81
4.3.2限失真信源編碼定理86
4.4限失真信源編碼87
4.4.1模擬信源的數(shù)字化88
4.4.2預測編碼93
4.4.3變換編碼94
4.5信源編碼的仿真實例97
4.6習題104
第5章線性分組碼106
5.1數(shù)字通信中的編碼信道106
5.1.1編碼信道的概念106
5.1.2有噪信道編碼定理107
5.2差錯控制系統(tǒng)的基本概念108
5.2.1差錯控制的方式108
5.2.2信道編碼的分類109
5.2.3分組碼的基本概念110
5.2.4分組碼的譯碼準則111
5.2.5簡單的分組碼111
5.2.6編碼增益的概念113
5.3線性分組碼114
5.3.1向量空間114
5.3.2線性分組碼的結(jié)構(gòu)114
5.3.3生成矩陣116
5.3.4系統(tǒng)線性分組碼117
5.3.5監(jiān)督矩陣118
5.3.6伴隨式校驗119
5.3.7錯誤糾正120
5.3.8譯碼器電路123
5.4線性分組碼的檢錯和糾錯能力124
5.5循環(huán)碼128
5.5.1循環(huán)碼的定義與基本性質(zhì)128
5.5.2循環(huán)碼的生成多項式129
5.5.3循環(huán)碼的監(jiān)督多項式131
5.5.4循環(huán)碼的生成矩陣132
5.5.5截短循環(huán)碼133
5.5.6系統(tǒng)循環(huán)碼133
5.5.7循環(huán)碼的編碼器135
5.5.8循環(huán)碼的譯碼器137
5.5.9循環(huán)碼實例142
5.6循環(huán)碼的仿真實例144
5.7習題147
第6章BCH碼和RS碼150
6.1有限域150
6.1.1有限域的定義150
6.1.2域的特征和基域151
6.1.3有限域上的多項式151
6.1.4擴展域的結(jié)構(gòu)152
6.1.5本原元素和本原多項式153
6.1.6最小多項式和共軛元素155
6.2BCH碼157
6.2.1BCH碼的結(jié)構(gòu)157
6.2.2BCH碼的生成多項式157
6.2.3BCH碼的譯碼158
6.2.4BCH碼的Berlekamp-Massey譯碼算法160
6.3RS碼162
6.3.1RS碼的生成多項式162
6.3.2RS碼的系統(tǒng)編碼163
6.3.3RS碼的譯碼163
6.4BCH碼和RS碼的仿真實例167
6.5習題174
第7章卷積碼176
7.1卷積碼概述176
7.2卷積碼編碼器177
7.2.1連接圖表示177
7.2.2多項式表示179
7.2.3矩陣表示180
7.2.4狀態(tài)圖表示185
7.2.5樹狀圖表示187
7.2.6網(wǎng)格圖表示190
7.3卷積碼譯碼器191
7.3.1最大似然譯碼191
7.3.2維特比譯碼算法192
7.3.3譯碼器的實現(xiàn)194
7.4卷積碼的特性197
7.4.1卷積碼的距離特性197
7.4.2系統(tǒng)卷積碼200
7.4.3卷積碼中的災(zāi)難性錯誤傳播200
7.4.4卷積碼的性能界限202
7.5卷積碼的編譯碼仿真實例202
7.5.1卷積碼的編碼實現(xiàn)202
7.5.2卷積碼的譯碼實現(xiàn)204
7.6Turbo碼204
7.6.1Turbo碼基本概念205
7.6.2Turbo碼編碼器205
7.6.3Turbo碼譯碼器207
7.7習題209
參考文獻212