第1章緒論

1.1　信息的基本概念

1.1.1　信息論的產生

1.1.2　信息的基本概念

1.2　香農信息論研究的內容

1.2.1　通信系統(tǒng)模型

1.2.2　香農信息論的主要內容

1.3　香農信息論研究的進展與應用

　1.3.1 香農信息論創(chuàng)立的背景

1.3.2　香農的主要貢獻

1.3.3　香農信息論研究進展

1.3.4　香農信息論的應用

思考題

第2章　離散信息的度量

2.1　自信息和互信息

　2.1.1 自信息

　2.1.2 互信息

2.2　信息熵的基本概念

　2.2.1 信息熵

　2.2.2聯(lián)合熵與條件熵

　2.2.3 相對熵

　2.2.4 各類熵之間的關系

2.3　信息熵的基本性質

　2.3.1 凸函數(shù)及其性質

　2.3.2熵的基本性質

2.3.3熵函數(shù)的唯一性

2.3.4　有根概率樹與熵的計算

2.4　平均互信息

　2.4.1 平均互信息的定義

　2.4.2 平均互信息的性質

　2.4.3 平均條件互信息

本章小結

思考題

習題

第3章　離散信源

3.1　離散信源的分類與數(shù)學模型

3.1.1　離散信源的分類

3.1.2離散無記憶信源數(shù)學模型

3.1.3離散有記憶信源數(shù)學模型

3.1.4離散平穩(wěn)信源數(shù)學模型

3.2　離散無記憶信源的擴展

3.2.1　等長消息擴展

3.2.2　變長消息擴展

3.3　離散平穩(wěn)信源的熵

　3.3.1單符號信源的熵

3.3.2等長無記憶擴展源的熵

3.3.3變長無記憶擴展源的熵

3.3.4平穩(wěn)有記憶信源的熵

3.4　有限狀態(tài)馬爾可夫鏈

3.4.2　馬氏鏈的基本概念

3.4.2　齊次馬氏鏈

3.4.3馬氏鏈狀態(tài)分類

3.4.4　馬氏鏈的平穩(wěn)分布

3.5　馬爾可夫信源

　3.5.1 馬氏源的基本概念

3.5.2　馬氏源的產生模型

3.5.3　馬氏鏈N次擴展源熵的計算

3.5.4　馬氏源符號熵的計算

3.6　信源的相關性與剩余度

3.6.1　信源的相關性

3.6.2信源的剩余度

3.6.3　文本信源

本章小結

思考題

習題

第4章　連續(xù)信息與連續(xù)信源

4.1　連續(xù)隨機變量的熵

4.1.1連續(xù)隨機變量的離散化

4.1.2連續(xù)隨機變量的熵

4.1.3連續(xù)隨機變量差熵的性質

4.1.4連續(xù)隨機變量集的相對