本書(shū)是模式識(shí)別和場(chǎng)景分析領(lǐng)域奠基性的經(jīng)典著作。在第2版中, 除了保留第1版中關(guān)于統(tǒng)計(jì)模式識(shí)別和結(jié)構(gòu)模式識(shí)別的主要內(nèi)容以外, 還新增了許多新理論和新方法, 其中包括神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、進(jìn)化計(jì)算、不變量理論、隱馬爾可夫模型、統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)等。本書(shū)還為模式識(shí)別未來(lái)的發(fā)展指明了方向。書(shū)中包含許多實(shí)例, 各種不同方法的對(duì)比, 豐富的圖表, 以及大量的課后習(xí)題和計(jì)算機(jī)練習(xí)。
本書(shū)第1版《模式分類與場(chǎng)景分析》(Pattern Classification and Scene Analysis)于1973年問(wèn)世,在逾越四分之一世紀(jì)以后我們重寫(xiě)了第2版。寫(xiě)作的初衷依然不變,即盡可能對(duì)模式識(shí)別中的各個(gè)重要課題,尤其是對(duì)基本原理進(jìn)行系統(tǒng)性介紹。我們相信這會(huì)為相當(dāng)多有待解決的專門(mén)問(wèn)題,諸如語(yǔ)音識(shí)別、光學(xué)字符識(shí)別或信號(hào)分類等,提供必需的基礎(chǔ)。本書(shū)第1版的許多讀者經(jīng)常問(wèn)我們?yōu)槭裁匆选澳J椒诸悺迸c“場(chǎng)景分析”結(jié)合在一本書(shū)里寫(xiě)。在當(dāng)時(shí),我們所能做的回答是,分類理論的確是模式識(shí)別學(xué)科中最重要的與領(lǐng)域無(wú)關(guān)的(domainindependent)理論,而場(chǎng)景分析是那個(gè)年代僅有的并且重要的應(yīng)用領(lǐng)域。況且,根據(jù)1973年的研究水平,完全有可能把兩個(gè)內(nèi)容集中在一本書(shū)中闡述清楚而不顯膚淺。在隨后的這些年中,模式識(shí)別的理論和應(yīng)用領(lǐng)域已經(jīng)迅速擴(kuò)展,使得上述觀點(diǎn)再也站不住腳。因?yàn)楸仨氁龀鲞x擇,所以我們決定在本版中只介紹分類理論,而把有關(guān)應(yīng)用的課題留給其他專門(mén)書(shū)籍來(lái)解決。自1973年以來(lái),對(duì)第1版提出的許多問(wèn)題開(kāi)展了大量的研究,并且取得了長(zhǎng)足的進(jìn)步。僅僅是計(jì)算機(jī)硬件的發(fā)展已經(jīng)大大超過(guò)了學(xué)習(xí)算法和模式識(shí)別的步伐。第1版提出的一些突出問(wèn)題目前已獲圓滿解決,然而另外一些卻依然讓人灰心。模式識(shí)別系統(tǒng)所顯現(xiàn)的重大作用,使該領(lǐng)域的研究方興未艾,并且激動(dòng)人心。
當(dāng)我們撰寫(xiě)本書(shū)第1版時(shí),模式識(shí)別還只是相當(dāng)專門(mén)的學(xué)科,但從其目前豐富的應(yīng)用領(lǐng)域來(lái)看,它已變得十分博大。這些應(yīng)用包括:筆跡和手勢(shì)的識(shí)別、唇語(yǔ)技術(shù)、地學(xué)分析、文件檢索以及氣泡室中的亞原子軌跡判讀。它為大量人機(jī)界面問(wèn)題提供核心算法,比如筆輸入計(jì)算。第2版的篇幅正說(shuō)明了其現(xiàn)有理論的廣博。雖然我們預(yù)計(jì)本書(shū)的絕大多數(shù)讀者都對(duì)開(kāi)發(fā)新的模式識(shí)別系統(tǒng)感興趣,但也不排除有少部分人專注于深刻理解現(xiàn)有的模式識(shí)別系統(tǒng)。這當(dāng)中最顯著的莫過(guò)于人類和動(dòng)物的神經(jīng)認(rèn)知系統(tǒng)。雖然研究模式識(shí)別的生物學(xué)起源已明顯超出本書(shū)的范圍,但是,由于對(duì)自然界中的模式識(shí)別能力感興趣的神經(jīng)生物學(xué)家和心理學(xué)家也越來(lái)越多地依賴于先進(jìn)的數(shù)學(xué)和理論的幫助,因此這部分專家也必將從本書(shū)中獲益。
盡管已有很多優(yōu)秀的書(shū)籍集中討論了某一部分技術(shù),我們?nèi)匀粡?qiáng)烈地感覺(jué)需要像本書(shū)這樣采取某種不同的討論方法。也就是說(shuō),本書(shū)并非集中在某些專門(mén)技術(shù)(如神經(jīng)網(wǎng)絡(luò))上,相反,我們對(duì)一類特定的問(wèn)題——模式識(shí)別——開(kāi)展研究。本書(shū)討論了多種可行的技術(shù)。學(xué)生和實(shí)踐者常常需要知道某種技術(shù)是否適用于他們的特定需求或者開(kāi)發(fā)目標(biāo),許多專門(mén)研究神經(jīng)網(wǎng)絡(luò)的書(shū)籍未必會(huì)討論其他的技術(shù)(諸如判定樹(shù)、最近鄰方法或者其他分類器)以提供比較和選擇不同方案的依據(jù)。為了避免出現(xiàn)這種問(wèn)題,我們將在本書(shū)中對(duì)比討論各種分類技術(shù),并討論各自的優(yōu)勢(shì)和缺點(diǎn)。
所有這些發(fā)展要求改寫(xiě)本書(shū)的第1版,以獲得一個(gè)統(tǒng)一的更新的版本。這一版我們不僅豐富了內(nèi)容,并且在以下幾方面進(jìn)行了改進(jìn)。
新的材料書(shū)中包含很多最近才發(fā)展起來(lái)并被實(shí)踐證明有用的模式識(shí)別的新技術(shù),比如神經(jīng)網(wǎng)絡(luò)、隨機(jī)方法以及有關(guān)機(jī)器學(xué)習(xí)理論的問(wèn)題,等等。雖然本書(shū)仍然以統(tǒng)計(jì)技術(shù)為主,但是為了保持完整性,我們也加進(jìn)了句法(結(jié)構(gòu))模式識(shí)別的內(nèi)容,以及許多“經(jīng)典”的技術(shù),如隱馬爾可夫模型(HMM)、模型選擇機(jī)制、組合分類器等。
豐富的例題本書(shū)包含許多例題,這些例題通常使用很簡(jiǎn)單的數(shù)據(jù),避免冗長(zhǎng)單調(diào)的計(jì)算,但是又足夠復(fù)雜,使得能夠清楚地解釋關(guān)鍵知識(shí)點(diǎn)。例題的作用在于增強(qiáng)直觀認(rèn)識(shí),并幫助學(xué)生解答課后習(xí)題。
算法列表憑借算法可以最清楚地解釋所講述的模式識(shí)別技術(shù)。本書(shū)提供了很多算法。算法只是相應(yīng)的完整計(jì)算機(jī)程序的一個(gè)基本骨架。我們假定每位讀者都熟悉算法采用的偽碼形式,或者可以通過(guò)上下文來(lái)理解
。加星號(hào)的節(jié)有些節(jié)加了星號(hào),表明有些專門(mén)化,通常是一些補(bǔ)充材料,但它們一般不影響對(duì)后續(xù)不帶星號(hào)的節(jié)的理解,所以在初次閱讀時(shí)可以跳過(guò)。
上機(jī)練習(xí)這些練習(xí)并不限制采用哪種計(jì)算機(jī)語(yǔ)言或系統(tǒng),學(xué)生可以根據(jù)情況選擇適合自己的語(yǔ)言或系統(tǒng)。
習(xí)題增加了一些課后習(xí)題,并按提出問(wèn)題的章節(jié)組織。本書(shū)的習(xí)題另有答案手冊(cè),可供教師選用。
關(guān)于本書(shū)教輔資源,只有使用本書(shū)作為教材的教師才可以申請(qǐng),需要的教師可向約翰·威立出版公司北京代表處申請(qǐng),電話01084187869,電子郵件ayang@wileycom。——編輯注
每章小結(jié)每章小結(jié)中含有該章中出現(xiàn)的重要概念和知識(shí)點(diǎn)。
增強(qiáng)的圖表為了更好地展示概念,我們花了很大的力氣來(lái)增強(qiáng)本書(shū)中的圖表,以解釋正文中的要點(diǎn)。部分圖表經(jīng)過(guò)了大量精心的計(jì)算和細(xì)致的參數(shù)設(shè)置。相關(guān)的Adobe Acrobat格式的文件可以登錄http://wwwwileycom/products/subject/engineering/electrical/software supplemelecenghtml獲得。
附錄學(xué)生們未必?fù)碛兴匦璧臄?shù)學(xué)基礎(chǔ),這一點(diǎn)也不令人奇怪。為此,在書(shū)后附錄中補(bǔ)充了必要的數(shù)學(xué)基礎(chǔ)知識(shí)。我們力求通篇使用清晰的表示法來(lái)解釋關(guān)鍵特性,同時(shí)又保持可讀性。附錄中的符號(hào)列表能夠幫助那些愿意仔細(xì)鉆研預(yù)先使用符號(hào)的章節(jié)的讀者。
本書(shū)包含足以適合兩學(xué)期教學(xué)的高年級(jí)本科或研究生課程的內(nèi)容,當(dāng)然要是仔細(xì)挑選也適合一學(xué)期使用。一學(xué)期課程應(yīng)當(dāng)包括第1~6章、第9章和第10章(大部分來(lái)自第1版的內(nèi)容,僅僅增加了神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)),加星號(hào)的各節(jié)可講可不講。
由于研究和發(fā)展速度如此之快,每章末尾的文獻(xiàn)和歷史評(píng)述就顯得十分有必要,盡管有些簡(jiǎn)略。我們的目的是幫助讀者有重點(diǎn)地選擇參考文獻(xiàn)來(lái)閱讀,而并不是記錄整個(gè)歷史發(fā)展過(guò)程和感謝、贊美或表?yè)P(yáng)某些研究者。參考文獻(xiàn)中有的重要文獻(xiàn)可能未必在正文中提及,讀者可根據(jù)標(biāo)題自行選閱。
如果沒(méi)有以下研究機(jī)構(gòu)的幫助,我們是不可能完成本書(shū)的。第一個(gè)也是最重要的一個(gè)當(dāng)屬理光發(fā)明公司(Ricoh Innovations,DGS & PEH)。在動(dòng)蕩和嚴(yán)酷的工業(yè)競(jìng)爭(zhēng)環(huán)境中,以及對(duì)產(chǎn)品和創(chuàng)新的無(wú)休止的需求壓力之下,該公司能夠支持像本書(shū)這樣長(zhǎng)期和廣泛的教育研究項(xiàng)目,反映出這里有了不起的環(huán)境和氛圍,以及少有的和明智的領(lǐng)導(dǎo)集體。感謝理光發(fā)明公司研究發(fā)展部主任Morio Onoe在我們開(kāi)始寫(xiě)作時(shí)給予的熱情支持。同樣要感謝在寫(xiě)作本書(shū)時(shí)為我們提供臨時(shí)住所和幫助的圣何塞加州州立大學(xué),斯坦福大學(xué)電氣工程系、統(tǒng)計(jì)學(xué)和心理學(xué)系,加州大學(xué)伯克利分校,國(guó)際高等科學(xué)研究院,尼爾斯·玻爾研究所,圣塔·菲研究所。
非常感謝斯坦福大學(xué)的研究生Regis Van Steenkiste、Chuck Lam和Chris Overton在圖形準(zhǔn)備方面提供的巨大幫助,Sudeshna Adak在解答習(xí)題中的幫助。感謝理光發(fā)明公司的同事Kathrin Berkner、Michael Gormish、Maya Gupta、Jonathan Hull和Greg Wolff的多方面幫助,圖書(shū)館工作人員Rowan Fairgrove幫助找到了很多難找的文獻(xiàn),并確認(rèn)了許多文獻(xiàn)作者的名字。本書(shū)的很多內(nèi)容來(lái)自斯坦福大學(xué)和圣何塞加州州立大學(xué)的講義,從研究生那里得到的反饋使我們受益匪淺。許多教員和科研同人為本書(shū)提供了很好的建議,并糾正了很多疏誤。特別要感謝Leo Breiman、David Cooper、Lawrence Fogel、Gary Ford、Isabelle Guyon、Robert Jacobs、Dennis Kibler、Scott Kirkpatrick、Benny Lautrup、Nick Littlestone、Amir Najmi、Art Owen、Rosalind Picard、J.Ross Quinlan、Cullen Schaffer和David Wolpert,他們對(duì)本書(shū)進(jìn)行了評(píng)論。各領(lǐng)域的著名專家審閱了本書(shū)各章,他們是Alex Pentland(1)、Giovanni Parmigiani(2)、Peter Cheeseman(3)、Godfried Toussaint(4)、Padhraic Smyth(5)、Yann Le Cun(6)、Emile Aarts(7)、Horst Bunke(8)、Tom Dietterich(9)、Anil Jain(10)和Rao Vemuri(附錄),括號(hào)中的內(nèi)容是他們審閱的章。他們富有洞察力的評(píng)語(yǔ)對(duì)本書(shū)多方面的改進(jìn)都有幫助。不過(guò),我們對(duì)仍然存在的錯(cuò)誤負(fù)責(zé)。本書(shū)編輯George Telecki給了我們很大的鼓勵(lì)和支持,而且沒(méi)有抱怨我們一拖再拖。他和Wiley公司的其他員工都非常樂(lè)于幫助我們,給我們提供了許多專業(yè)支持。最后非常感謝Nancy、Alex和Olivia Stork對(duì)我們沉迷寫(xiě)作的理解和忍耐。
David G. Stork
Richard O. Duda
Peter E. Hart
2000年8月
理查德·O.杜達(dá), 圣何塞州立大學(xué)電氣工程系榮休教授, 以其在聲音定位和模式識(shí)別方面的工作而聞名。皮特·E.哈特, 加州理光發(fā)明公司創(chuàng)始人、總裁。大衛(wèi)·G.斯托克, 加州理光發(fā)明公司首席科學(xué)家, 斯坦福大學(xué)電氣工程與計(jì)算機(jī)科學(xué)系客座教授。
譯者序
前言
第1章緒論1
1.1機(jī)器感知1
1.2一個(gè)例子1
1.3模式識(shí)別系統(tǒng)7
1.3.1傳感器7
1.3.2分割和組織8
1.3.3特征提取8
1.3.4分類器9
1.3.5后處理10
1.4設(shè)計(jì)循環(huán)11
1.4.1數(shù)據(jù)采集11
1.4.2特征選擇11
1.4.3模型選擇12
1.4.4訓(xùn)練12
1.4.5評(píng)價(jià)12
1.4.6計(jì)算復(fù)雜度12
1.5學(xué)習(xí)和適應(yīng)12
1.5.1有監(jiān)督學(xué)習(xí)13
1.5.2無(wú)監(jiān)督學(xué)習(xí)13
1.5.3強(qiáng)化學(xué)習(xí)13
1.6本章小結(jié)13
全書(shū)各章概要13
文獻(xiàn)和歷史評(píng)述14
參考文獻(xiàn)15
第2章貝葉斯決策論16
2.1引言16
2.2貝葉斯決策論——連續(xù)特征18
2.3最小誤差率分類20
2.3.1極小化極大準(zhǔn)則21
2.3.2NeymanPearson準(zhǔn)則22
2.4分類器、判別函數(shù)及判定面23
2.4.1多類情況23
2.4.2兩類情況24
2.5正態(tài)密度25
2.5.1單變量密度函數(shù)25
2.5.2多元密度函數(shù)26
2.6正態(tài)分布的判別函數(shù)28
2.6.1情況1:Σi=σ2I28
2.6.2情況2:Σi=Σ30
2.6.3情況3:Σi=任意32
2.7誤差概率和誤差積分35
2.8正態(tài)密度的誤差上界36
2.8.1Chernoff界36
2.8.2Bhattacharyya界37
2.8.3信號(hào)檢測(cè)理論和操作特性38
2.9貝葉斯決策論——離散特征40
2.9.1獨(dú)立的二值特征41
2.10丟失特征和噪聲特征43
2.10.1丟失特征43
2.10.2噪聲特征44
2.11貝葉斯置信網(wǎng)44
2.12復(fù)合貝葉斯決策論及上下文49
本章小結(jié)50
文獻(xiàn)和歷史評(píng)述51
習(xí)題52
上機(jī)練習(xí)63
參考文獻(xiàn)65
第3章最大似然估計(jì)和貝葉斯參數(shù)估計(jì)67
3.1引言67
3.2最大似然估計(jì)68
3.2.1基本原理68
3.2.2高斯情況:μ未知70
3.2.3高斯情況:μ和Σ均未知 71
3.2.4估計(jì)的偏差72
3.3貝葉斯估計(jì)73
3.3.1類條件密度73
3.3.2參數(shù)的分布73
3.4貝葉斯參數(shù)估計(jì):高斯情況74
3.4.1單變量情況:p(μ|)74
3.4.2單變量情況:p(x|)76
3.4.3多變量情況77
3.5貝葉斯參數(shù)估計(jì):一般理論78
3.5.1最大似然方法和貝葉斯方法何時(shí)有區(qū)別 81
3.5.2無(wú)信息先驗(yàn)和不變性82
3.5.3Gibbs算法83
3.6充分統(tǒng)計(jì)量83
3.7維數(shù)問(wèn)題87
3.7.1精度、維數(shù)和訓(xùn)練集的大小90
3.7.2計(jì)算復(fù)雜度90
3.7.3過(guò)擬合92
3.8成分分析和判別函數(shù)94
3.8.1主成分分析94
3.8.2Fisher線性判別分析96
3.8.3多重判別分析99
3.9期望最大化算法102
3.10隱馬爾可夫模型105
3.10.1一階馬爾可夫模型105
3.10.2一階隱馬爾可夫模型106
3.10.3隱馬爾可夫模型的計(jì)算106
3.10.4估值問(wèn)題107
3.10.5解碼問(wèn)題111
3.10.6學(xué)習(xí)問(wèn)題113
本章小結(jié)114
文獻(xiàn)和歷史評(píng)述115
習(xí)題115
上機(jī)練習(xí)127
參考文獻(xiàn)130
第4章非參數(shù)技術(shù)132
4.1引言132
4.2概率密度的估計(jì)132
4.3Parzen窗方法134
4.3.1均值的收斂性137
4.3.2方差的收斂性137
4.3.3舉例說(shuō)明137
4.3.4分類的例子140
4.3.5概率神經(jīng)網(wǎng)絡(luò)141
4.3.6窗函數(shù)的選取143
4.4n近鄰估計(jì)143
4.4.1n近鄰估計(jì)和Parzen窗估計(jì)144
4.4.2后驗(yàn)概率的估計(jì)145
4.5最近鄰規(guī)則146
4.5.1最近鄰規(guī)則的收斂性147
4.5.2最近鄰規(guī)則的誤差率148
4.5.3誤差界149
4.5.4近鄰規(guī)則150
4.5.5近鄰規(guī)則的計(jì)算復(fù)雜度151
4.6距離度量和最近鄰分類153
4.6.1度量的性質(zhì)154
4.6.2切空間距離155
4.7模糊分類157
4.8RCE網(wǎng)絡(luò)160
4.9級(jí)數(shù)展開(kāi)逼近161
本章小結(jié)163
文獻(xiàn)和歷史評(píng)述164
習(xí)題165
上機(jī)練習(xí)171
參考文獻(xiàn)175
第5章線性判別函數(shù)177
5.1引言 177
5.2線性判別函數(shù)和判定面177
5.2.1兩類情況 177
5.2.2多類的情況 179
5.3廣義線性判別函數(shù) 180
5.4兩類線性可分的情況 183
5.4.1幾何解釋和術(shù)語(yǔ) 183
5.4.2梯度下降算法184
5.5感知器準(zhǔn)則函數(shù)最小化186
5.5.1感知器準(zhǔn)則函數(shù) 186
5.5.2單個(gè)樣本校正的收斂性證明187
5.5.3一些直接的推廣 190
5.6松弛算法192
5.6.1下降算法 192
5.6.2收斂性證明 194
5.7不可分的情況 195
5.8最小平方誤差方法196
5.8.1最小平方誤差及偽逆196
5.8.2與Fisher線性判別的關(guān)系 198
5.8.3最優(yōu)判別的漸近逼近199
5.8.4WidrowHoff 算法或最小均方算法 201
5.8.5隨機(jī)逼近法 202
5.9HoKashyap算法203
5.9.1下降算法 204
5.9.2收斂性證明 205
5.9.3不可分的情況206
5.9.4一些相關(guān)的算法 207
5.10線性規(guī)劃算法209
5.10.1線性規(guī)劃209
5.10.2線性可分情況209
5.10.3極小化感知器準(zhǔn)則函數(shù)210
5.11支持向量機(jī) 211
5.12推廣到多類問(wèn)題216
5.12.1Kesler構(gòu)造法217
5.12.2固定增量規(guī)則的收斂性217
5.12.3MSE算法的推廣 218
本章小結(jié)220
文獻(xiàn)和歷史評(píng)述220
習(xí)題221
上機(jī)練習(xí)226
參考文獻(xiàn)229