定 價:25 元
叢書名:21世紀全國本科院校電氣信息類創(chuàng)新型應用人才培養(yǎng)規(guī)劃教材
- 作者:范九倫 ,等 編
- 出版時間:2010/8/1
- ISBN:9787301173824
- 出 版 社:北京大學出版社
- 中圖法分類:O236
- 頁碼:195
- 紙張:膠版紙
- 版次:1
- 開本:16開
《離散信息論基礎》從離散概率人手,對離散信息論的基本知識進行了介紹,主要內容包括:緒論,離散信息的度量,數(shù)據(jù)壓縮,離散信源,數(shù)據(jù)糾錯,離散信道,數(shù)據(jù)保密,算法信息論與通用信源編碼,微分熵與最大熵原理。為拓寬讀者視野,培養(yǎng)學習興趣,提高人文素養(yǎng),《離散信息論基礎》融人了一些歷史知識,還補充了信息論實驗內容。
《離散信息論基礎》可供信息安全、信息與計算科學、計算機科學與技術等本科專業(yè)的高年級學生使用,也可供從事相關專業(yè)的教學、科研和工程技術人員參考。
人們通常將Shannon在1948年10月發(fā)表于.Bell System Technical Journal上的論文A Mathematical Theory of Communication作為信息論研究的開端。信息論發(fā)展至今,可分為狹義信息論和廣義信息論,本書則主要介紹狹義信息論的一些基本知識。狹義信息論運用概率論與數(shù)理統(tǒng)計方法研究信息的表示、度量、存儲、傳遞等問題,是高等院校很多本科專業(yè)的一門專業(yè)基礎課,我國眾多高校也在相關專業(yè)開設了信息論課程。
在為信息安全、信息與計算科學等本科專業(yè)講授信息論課程時,我們深刻體會到,要使大學生較好地理解和領會信息論的基本概念,諸如熵、互信息、熵率、信道容量,有很多困難。在多年的教學中,我們一直被兩個問題所困惑:一是鑒于信息論不僅具有理論性,也具有實踐性,如何保持信息論基本概念、方法在理論敘述上的嚴謹性,使得學生對信息論有一個清晰的認識,同時又能使學生通過解決實際問題,達到運用信息論的目的;二是鑒于信息論不僅在本科生階段開設,也在研究生階段開設,如何將本科講授內容和研究生講授內容進行合理切割,盡量避免教學內容重復,使得知識深度與思想廣度在不同階段有所區(qū)別。為了較好地解決上述問題,我們萌發(fā)了寫作本書的念頭。在本書的寫作中,我們力求達到以下幾點。
(1)圖文并茂、循序漸進。本書按照教學目標、教學要求、教學內容的格式進行編寫,以敘事、問題的方式展開,改變工科教材艱深古板的固有面貌,具有較強親和力,使學生初次翻閱就對其產生濃厚興趣,不會因其理論的抽象而產生敬畏之感。既加強了學生的融會貫通能力,又提高了學生的人文素養(yǎng)。
(2)凸顯信息論的“離散”內容。信息論的研究和應用豐富多樣,為了擴大教材的受益面,避免涉足過多的專業(yè)領域知識,本書重點圍繞離散隨機變量(過程)介紹信息論的基本知識,主線明晰,增強了教材的可讀性?紤]到信息論的介紹離不開概率論和數(shù)理統(tǒng)計知識,本書弱化了數(shù)學證明,強化了來龍去脈的講授,使之顯得通俗易懂,同時又給學有余力者留下充足的探求空問。
(3)強化學生的實際操作訓練。對于內容實用性和技巧性較強的章節(jié),如編碼理論部分,本書精心設計了相關實驗,以實際操作訓練加深對理論知識的理解,激發(fā)學生對工程實踐的興趣,全方位鍛煉學生對知識的掌握程度。
在教材寫作中,我們努力將最新的知識、內容和理念傳授給學生。本書以離散隨機變量(過程)為出發(fā)點進行展開,力求以親切易讀的面貌,幫助初學者熟悉必要的理論知識,掌握其思想方法,了解其應用前景,為后續(xù)課程和進一步深入學習打下堅實基礎。本書共分為9章:第1章和第9章由范九倫和謝勰共同編著;第7章由張雪鋒編著;其余部分由謝勰編著。全書由范九倫進行統(tǒng)稿和潤色。
第1章 緒論
1.1 基本概念
1.1.1 信息的含義
1.1.2 信息的表達
1.1.3 信息的處理
1.2 信息論概覽
1.2.1 Shannon與信息論
1.2.2 通信系統(tǒng)的數(shù)學模型
本章小結
習題
第2章 離散信息的度量
2.1 基本概念
2.1.1 離散熵的定義
2.1.2 聯(lián)合熵與條件熵
2.1.3 相對熵與互信息
2.2 離散熵的性質
2.2.1 離散熵的基本性質
2.2.2 鏈式法則
2.2.3 有關離散熵的不等式
2.3 離散熵的形式唯一性
本章小結
習題
第3章 數(shù)據(jù)壓縮
3.1 基本概念
3.1.1 語言與編碼
3.1.2 匡一可譯碼
3.1.3 即時碼與前綴碼
3.2 數(shù)據(jù)壓縮的性質
3.2.1 前綴碼的碼長約束
3.2.2 唯一可譯碼的碼長約束
3.2.3 最佳碼
3.3 典型編碼
3.3.1 Huffman編碼
3.3.2 Fano編碼
3.3.3 Shanno一Fano-Elias
編碼
本章小結
習題
第4章 離散信源
4.1 基本概念
4.1.1 離散信源模型
4.1.2 Markov信源
4.1.3 Markov鏈
4.2 信源編碼
4.2.1 隨機變量擴展
4.2.2 變長信源編碼定理
4.2.3 熵率
4.3 漸近均分性
4.3.1 典型集
4.3.2 信源編碼定理
本章小結
習題
第5章 數(shù)據(jù)糾錯
5.1 基本概念
5.1.1 離散信道模型
5.1.2 典型信道
5.1.3 信道擴展
5.2 信道糾錯
5.2.1 譯碼準則
5.2.2 錯誤概率估計
5.2.3 分組碼
5.3 線性分組碼
5.3.1 碼字距離
5.3.2 糾錯能力
5.3.3 Hamrning碼
本章小結
習題
第6章 離散信道
6.1 基本概念
6.1.1 互信息
6.1.2 特殊信道的容量
6.1.3 一般信道的容量
6.2 數(shù)據(jù)處理
6.2.1 碼率
6.2.2 數(shù)據(jù)處理不等式
6.2.3 信源信道定理
6.3 信道編碼
6.3.1 聯(lián)合典型集
6.3.2 信道編碼定理
6.3.3 信道編碼逆定理
本章小結
習題
第7章 數(shù)據(jù)保密
7.1 信息的保密傳輸
7.1.1 密碼學簡介
7.1.2 保密系統(tǒng)模型
7.1.3 幾種典型的密碼體制
7.2 密碼體制的信息論分析
7.2.1 完全保密性
7.2.2 唯一解距離
本章小結
習題
第8章 算法信息論與通用信源編碼
8.1 基本概念
8.1.1 統(tǒng)計編碼
8.1.2 自適應編碼
8.2 描述復雜性
8.2.1 Kolmogorov復雜度
8.2.2 通用概率
8.3 通用信源編碼
8.3.1 算術編碼
8.3.2 字典方法
本章小結
習題
第9章 微分熵與最大熵原理
9.1 基本概念
9.1.1 微分熵
9.1.2 信息不等式
9.2 信息量最大化
9.2.1 最大熵問題
9.2.2 最大熵分布
本章小結
習題
信息論實驗
參考文獻
由于投擲硬幣問題比較簡單,可采用此例對信息展開討論,而其關鍵在于如何描述該系統(tǒng)。事實上,單次過程無法顯露問題的本質,可假設上述過程多次重復。
直觀上看,若有一臺攝影裝置記錄投擲硬幣的全過程,即可認為該攝影裝置的錄像完全描述了投擲硬幣系統(tǒng)。為簡單起見,可假定投擲人每次投擲動作完全一致,所有落地后硬幣正面朝上情況下的硬幣運行軌跡完全相同,所有落地后硬幣反面朝上情況下的硬幣運行軌跡也完全相同。
問題1對于投擲硬幣系統(tǒng),攝影裝置應如何設置才能高效地錄制該系統(tǒng)的運行過程?
由于攝影裝置有容量限制,較好的方法是僅錄制落地為正面朝上和落地為反面朝上的投擲過程,其后的投擲只需要錄制硬幣的朝向,便可完全復原硬幣投擲過程。當然這僅僅是一個最簡單的方案,它仍可改進。注意到此方案每次需要錄制硬幣朝向形成的圖像,即硬幣的正面和反面,其實質是利用圖像的直觀性獲取結果。而人類不僅能用圖形表示信息,還可用文字表達信息,例如可用“正”、“反”來簡單表示硬幣的朝向。對于攝影裝置而言,還可用數(shù)字來簡單表示硬幣的朝向,即硬幣的朝向僅用0和1(分別代表“正”和“反”)來表示。這意味著信息與其載體的形式無關,或者說與編碼形式無關,因此可采用數(shù)值方式來表示和研究信息。
由于采用數(shù)值化的表達形式,攝影裝置中除了每次投擲動作的錄像之外,余下的就是一連串的0和1組成的序列。如果錄制時間足夠長,攝影裝置中的大部分內容均為O和1的序列,而投擲動作的錄像已不再是主要內容。從復原投擲行為的角度看,攝影裝置中存儲的內容完全反映了投擲信息,即0-1序列反映了投擲過程的主要信息。那么,如何揭示獲得的O一1序列含有的信息?或者說,面對這些0-1序列,能得到投擲過程所含信息的何種結論?為此,可借助物理學的思考方式對信息進行更深入的討論,注意到大部分物理術語都有度量單位,這提示人們信息也應有度量單位。