本書按照統(tǒng)計模式識別、句法模式識別、模糊模式識別法和神經(jīng)網(wǎng)絡模式識別法四大理論體系組織全書,其中統(tǒng)計模式識別是模式識別的經(jīng)典內(nèi)容和基礎知識,模糊模式識別法和神經(jīng)網(wǎng)絡模式識別法兩部分反映了模式識別學科發(fā)展的新進展,附錄部分歸納了書中需要用到的概率知識、向量和矩陣運算的常用公式,以及供上機練習用的模式樣本數(shù)據(jù)。
本書內(nèi)容由淺入深,便于教師根據(jù)不同情況選擇教學內(nèi)容。同時講解詳細,配有豐富的圖表和例題,有助于讀者閱讀與理解。提供了習題和計算機作業(yè),供學習時使用。
本書可作為高等院校電子信息類專業(yè)高年級本科生和研究生的教材,也可供從事模式識別工作的廣大科技人員參考。
模式識別是一門既具有較系統(tǒng)的理論體系,又仍處在迅速發(fā)展之中的邊緣學科,其應用幾乎遍及各個領域。
這一學科涉及許多較為深奧的數(shù)學理論,對剛涉足這一領域的許多初學者來說,理解起來有一定的困難。本書既可以作為基礎教材,又反映學科發(fā)展方向,以此為基調,在選材上立足于“精”,在講解上立足于“透”。筆者結合多年教學經(jīng)驗,在模式識別理論的成熟部分,注重對基本概念的透徹講解,選擇經(jīng)典和實用的模式識別方法和算法進行討論。在內(nèi)容的安排上,注意由淺入深,討論問題時盡量減少數(shù)學推導和證明,通過實際運用加深學生對算法的理解,目的是使初學者能夠比較容易地盡快掌握模式識別的基本理論和方法。
在材料組織上,兼顧計算機模式識別的基礎和發(fā)展兩個方面,按照統(tǒng)計模式識別、句法模式識別、模糊模式識別法和神經(jīng)網(wǎng)絡模式識別法四大理論體系組織全書內(nèi)容。其中統(tǒng)計模式識別方法是核心,模糊模式識別和神經(jīng)網(wǎng)絡模式識別是學科的新發(fā)展。在具體章節(jié)安排上,統(tǒng)計模式識別部分包括屬于非監(jiān)督分類的聚類分析方法(第2章)、監(jiān)督分類中的判別函數(shù)概念和幾何分類法(第3章)以及基于統(tǒng)計決策的概率分類法(第4章),為簡化分類器還討論了特征選擇和提取的方法(第5章)。第6章為句法模式識別,對概念和方法進行了簡要討論。第7章為模糊模式識別部分,鑒于本方向蓬勃的發(fā)展趨勢,對其內(nèi)容進行了充實和細化,充分地闡述了基本概念,詳細討論了其中的典型算法。第8章為神經(jīng)網(wǎng)絡模式識別法,介紹了幾種典型的用于模式識別的神經(jīng)網(wǎng)絡模型和算法。為方便學習,在附錄部分增加了必要的相關知識介紹,以備查閱。同時書中還配有豐富的圖表,有助于閱讀。
本書是作者在多年教學實踐的基礎上經(jīng)過總結擴充改編而成的。參加編寫的有齊敏、李大健和郝重陽同志,全書由齊敏同志負責審訂和修改。模式識別學科發(fā)展迅速,本書對該學科研究發(fā)展的新進展亦有所涉及,限于水平和經(jīng)驗,書中錯誤及不當之處在所難免,敬請讀者批評指正。
編 者2009年2月
第1章 緒論 1
1.1 模式和模式識別的概念2
1.2 模式識別系統(tǒng)4
1.2.1 簡例4
1.2.2 模式識別系統(tǒng)組成7
1.3 模式識別概況8
1.3.1 模式識別發(fā)展簡介8
1.3.2 模式識別分類8
1.4 模式識別的應用10
第2章 聚類分析 13
2.1 距離聚類的概念14
2.2 相似性測度和聚類準則15
2.2.1 相似性測度15
2.2.2 聚類準則18
2.3 基于距離閾值的聚類算法20
2.3.1 近鄰聚類法20
2.3.2 最大最小距離算法21
2.4 層次聚類法23
2.5 動態(tài)聚類法27
2.5.1 K-均值算法27
2.5.2 迭代自組織的數(shù)據(jù)分析算法30
2.6 聚類結果的評價35
習題36
第3章 判別函數(shù)及幾何分類法 37
3.1 判別函數(shù)38
3.2 線性判別函數(shù)40
3.2.1 線性判別函數(shù)的一般形式40
3.2.2 線性判別函數(shù)的性質41
3.3 廣義線性判別函數(shù)46
3.4 線性判別函數(shù)的幾何性質48
3.4.1 模式空間與超平面48
3.4.2 權空間與權向量解49
3.4.3 二分法50
3.5 感知器算法52
3.6 梯度法58
3.6.1 梯度法基本原理59
3.6.2 固定增量算法60
3.7 最小平方誤差算法62
3.8 非線性判別函數(shù)69
3.8.1 分段線性判別函數(shù)69
3.8.2 分段線性判別函數(shù)的學習方法72
3.8.3 勢函數(shù)法74
習題81
第4章 基于統(tǒng)計決策的概率分類法 82
4.1 研究對象及相關概率83
4.2 貝葉斯決策85
4.2.1 最小錯誤率貝葉斯決策85
4.2.2 最小風險貝葉斯決策86
4.2.3 正態(tài)分布模式的貝葉斯決策90
4.3 貝葉斯分類器的錯誤率96
4.3.1 錯誤率的概念96
4.3.2 錯誤率分析96
4.3.3 正態(tài)分布貝葉斯決策的錯誤率計算98
4.3.4 錯誤率的估計101
4.4 聶曼-皮爾遜決策104
4.5 概率密度函數(shù)的參數(shù)估計108
4.5.1 最大似然估計108
4.5.2 貝葉斯估計與貝葉斯學習110
4.6 概率密度函數(shù)的非參數(shù)估計115
4.6.1 非參數(shù)估計的基本方法115
4.6.2 Parzen窗法117
4.6.3 kN-近鄰估計法121
4.7 后驗概率密度函數(shù)的勢函數(shù)估計法123
習題125
第5章 特征選擇與特征提取 127
5.1 基本概念128
5.2 類別可分性測度130
5.2.1 基于距離的可分性測度131
5.2.2 基于概率分布的可分性測度133
5.3 基于類內(nèi)散布矩陣的單類模式特征提取136
5.4 基于K-L變換的多類模式特征提取139
5.5 特征選擇144
5.5.1 特征選取擇的準則144
5.5.2 特征選擇的方法145
習題148
第6章 句法模式識別 150
6.1 句法模式識別概述151
6.2 形式語言的基本概念152
6.2.1 基本定義152
6.2.2 文法分類154
6.3 模式的描述方法156
6.3.1 基元的確定156
6.3.2 模式的鏈表示法156
6.3.3 模式的樹表示法158
6.4 文法推斷160
6.4.1 基本概念160
6.4.2 余碼文法的推斷161
6.4.3 擴展樹文法的推斷162
6.5 句法分析164
6.5.1 參考鏈匹配法165
6.5.2 填充樹圖法165
6.5.3 CYK分析法166
6.5.4 厄利分析法168
6.6 句法結構的自動機識別169
6.6.1 有限態(tài)自動機與正則文法169
6.6.2 下推自動機與上下文無關文法173
習題176
第7章 模糊模式識別法 179
7.1 模糊數(shù)學概述180
7.1.1 模糊數(shù)學的產(chǎn)生背景180
7.1.2 模糊性181
7.1.3 模糊數(shù)學在模式識別領域的應用183
7.2 模糊集合183
7.2.1 模糊集合定義183
7.2.2 隸屬函數(shù)的確定187
7.2.3 模糊集合的運算191
7.2.4 模糊集合與普通集合的相互轉化193
7.3 模糊關系與模糊矩陣195
7.3.1 模糊關系定義195
7.3.2 模糊關系的表示196
7.3.3 模糊關系的建立197
7.3.4 模糊關系和模糊矩陣的運算199
7.3.5 模糊關系的三大性質202
7.4 模糊模式分類的直接方法和間接方法204
7.4.1 直接方法--隸屬原則204
7.4.2 間接方法--擇近原則206
7.5 模糊聚類分析法209
7.5.1 基于模糊等價關系的聚類分析法209
7.5.2 模糊相似關系直接用于分類212
7.5.3 模糊K-均值算法214
7.5.4 模糊ISODATA算法216
習題218
第8章 神經(jīng)網(wǎng)絡模式識別法 221
8.1 人工神經(jīng)網(wǎng)絡發(fā)展概況222
8.2 神經(jīng)網(wǎng)絡基本概念223
8.2.1 生物神經(jīng)元223
8.2.2 人工神經(jīng)元及神經(jīng)網(wǎng)絡224
8.2.3 神經(jīng)網(wǎng)絡的學習226
8.2.4 神經(jīng)網(wǎng)絡的結構分類227
8.3 前饋神經(jīng)網(wǎng)絡227
8.3.1 感知器227
8.3.2 BP網(wǎng)絡228
8.3.3 競爭學習神經(jīng)網(wǎng)絡232
8.4 反饋網(wǎng)絡模型Hopfield網(wǎng)絡236
附錄A 向量和矩陣運算239
附錄B 標準正態(tài)分布表及概率計算245
附錄C 計算機作業(yè)所用樣本數(shù)據(jù)248
參考文獻254