全書共包含18個章節(jié),從概率密度、貝葉斯決策理論引入樣本學(xué)習的基本概念,進而介紹了近鄰域?qū)W習、核學(xué)習及神經(jīng)網(wǎng)絡(luò)學(xué)習,在此基礎(chǔ)上探討了PCA學(xué)習、VC維概念、函數(shù)估計問題等,后重點介紹了非常實用的支持向量機SVM及Boosting方法。各章均包含小結(jié)、附錄、習題及參考資料,非常適合于大專院校計算機及電氣工程類碩博士研究生及高年級學(xué)生作為教學(xué)參考書。
前言本書為新興領(lǐng)域的統(tǒng)計學(xué)習理論提供了一個寬泛和易于理解的入門性介紹,這一領(lǐng)域的發(fā)展源于對模式識別和機器學(xué)習、非參數(shù)統(tǒng)計、計算機科學(xué)、語言學(xué)中的語言學(xué)習和認知心理學(xué)、哲學(xué)問題中的歸納法以及哲學(xué)和科學(xué)方法論等學(xué)科與技術(shù)的研究。
本書是學(xué)習理論與認知論課程的非常好的入門教材,目前已在普林斯頓大學(xué)電氣工程專業(yè)的教學(xué)中使用。學(xué)習理論與認知論課程并沒有特定的基礎(chǔ)要求,向所有對其感興趣的學(xué)生開放,包括新生、主修科學(xué)的高年級學(xué)生,以及來自工程、人文、社會科學(xué)的學(xué)生。雖然許多材料技術(shù)性較強,但是我們發(fā)現(xiàn)大部分學(xué)生可以體會和領(lǐng)悟本書的要點。
模式識別的工程研究關(guān)注的是基于一個有用的方法研發(fā)出的自動化系統(tǒng)來區(qū)分不同的輸入模式。為郵局開發(fā)的系統(tǒng)用于如何掃描手寫地址并將郵件排序,制造商關(guān)注如何設(shè)計一個計算機系統(tǒng)把普通的談話內(nèi)容進行文字轉(zhuǎn)錄,還有諸如計算機能否用來分析醫(yī)學(xué)圖像,進而做出診斷等此類問題。
機器學(xué)習提供了對一些模式識別問題進行求解的有效方法。它可能是采用受過訓(xùn)練的系統(tǒng)來識別手寫郵政編碼,或能使自動化系統(tǒng)與用戶進行交互使其學(xué)會實現(xiàn)對語音的識別;也許是使用機器學(xué)習算法來開發(fā)一套醫(yī)學(xué)圖像分析系統(tǒng)。
機器學(xué)習和模式識別也關(guān)注學(xué)習系統(tǒng)所包含的一般原則。一種系統(tǒng)化的方法技術(shù)非常有用,因為我們并不是從無到有開發(fā)算法并在每個新的應(yīng)用程序中特設(shè)某一種方式。評估一個學(xué)習系統(tǒng)的性能所采用的技術(shù)也是非常重要的。對學(xué)習算法的實踐環(huán)節(jié)而言,知道什么是可實現(xiàn)的,什么是可用的評價基準,并提出新的技術(shù)也同等重要。
這些問題也出現(xiàn)在認知論與哲學(xué)問題中。我們能學(xué)到什么?以及我們?nèi)绾芜M行學(xué)習?我們能夠從其他思想和外部世界學(xué)到什么?通過歸納法我們又能學(xué)到什么?哲學(xué)問題的歸納法關(guān)注的是如何在歸納推理的基礎(chǔ)上學(xué)到一些新東西。而給定的事實是歸納推理前提的真實性無法保證其結(jié)論的真實性。這個問題沒有唯一解,這并不是因為無解,而是因為有太多解,這取決于采用什么學(xué)習方法。在本書中,我們解釋了如何根據(jù)歸納形成各種不同的解決方案。
因此,我們希望本書能為廣大讀者在統(tǒng)計學(xué)習理論中提供一個簡便的入門性介紹。對于那些對學(xué)習理論或?qū)嶋H算法的深入研究感興趣的讀者,我們希望本書提供給他們一個有益的出發(fā)點。而對于那些對一般的認知論和哲學(xué)感興趣的讀者,我們希望本書有助于他們從其他領(lǐng)域中領(lǐng)悟一些重要的想法。對其他讀者而言,我們也希望本書有助于他們對統(tǒng)計學(xué)習理論有更深層次的理解,因為它揭示了學(xué)習的本質(zhì)及其限制,這也是人工智能的核心進展。
感謝普林斯頓大學(xué)本科教育創(chuàng)新課程發(fā)展250周年紀念基金的資助。Rajeev Kulkarni對全書提供了非常有用的意見。Joel Predd和Maya Gupta提供了許多寶貴的意見。此外,感謝Joshua Harris對本書的仔細審讀。同時也感謝幾年來,我的助教和學(xué)生們一起對該課程內(nèi)容的討論。謝謝!
目錄
譯者序
前言
第1章引言:分類、學(xué)習、
特征及應(yīng)用
11范圍
12為什么需要機器學(xué)習?
13一些應(yīng)用
131圖像識別
132語音識別
133醫(yī)學(xué)診斷
134統(tǒng)計套利
14測量、特征和特征向量
15概率的需要
16監(jiān)督學(xué)習
17小結(jié)
18附錄:歸納法
19問題
110參考文獻
第2章概率
21一些基本事件的概率
22復(fù)合事件的概率
23條件概率
24不放回抽取
25一個經(jīng)典的生日問題
26隨機變量
27期望值
28方差
29小結(jié)
210附錄:概率詮釋
211問題
212參考文獻
第3章概率密度
31一個二維實例
32在\[0,1\]區(qū)間的隨機數(shù)
33密度函數(shù)
34高維空間中的概率密度
35聯(lián)合密度和條件密度
36期望和方差
37大數(shù)定律
38小結(jié)
39附錄:可測性
310問題
311參考文獻
第4章模式識別問題
41一個簡單例子
42決策規(guī)則
43成功基準
44最佳分類器:貝葉斯決策
規(guī)則
45連續(xù)特征和密度
46小結(jié)
47附錄:不可數(shù)概念
48問題
49參考文獻
第5章最優(yōu)貝葉斯決策規(guī)則
51貝葉斯定理
52貝葉斯決策規(guī)則
53最優(yōu)及其評論
54一個例子
55基于密度函數(shù)的貝葉斯定理
及決策規(guī)則
56小結(jié)
57附錄:條件概率的定義
58問題
59參考文獻
第6章從實例中學(xué)習
61概率分布知識的欠缺
62訓(xùn)練數(shù)據(jù)
63對訓(xùn)練數(shù)據(jù)的假設(shè)
64蠻力學(xué)習方法
65維數(shù)災(zāi)難、歸納偏置以及
無免費午餐原理
66小結(jié)
67附錄:學(xué)習的類型
68問題
69參考文獻
第7章最近鄰規(guī)則
71最近鄰規(guī)則
72最近鄰規(guī)則的性能
73直覺判斷與性能證明框架
74使用更多鄰域
75小結(jié)
76附錄:當人們使用最近鄰域
進行推理時的一些問題
761誰是單身漢?
762法律推理
763道德推理
77問題
78參考文獻
第8章核規(guī)則
81動機
82最近鄰規(guī)則的變體
83核規(guī)則
84核規(guī)則的通用一致性
85勢函數(shù)
86更多的通用核
87小結(jié)
88附錄:核、相似性和特征
89問題
810參考文獻
第9章神經(jīng)網(wǎng)絡(luò):感知器
91多層前饋網(wǎng)絡(luò)
92神經(jīng)網(wǎng)絡(luò)用于學(xué)習和分類
93感知器
931閾值
94感知器學(xué)習規(guī)則
95感知器的表達能力
96小結(jié)
97附錄:思想模型
98問題
99參考文獻
第10章多層神經(jīng)網(wǎng)絡(luò)
101多層網(wǎng)絡(luò)的表征能力
102學(xué)習及S形輸出
103訓(xùn)練誤差和權(quán)值空間
104基于梯度下降的誤差最小化
105反向傳播
106反向傳播方程的推導(dǎo)
1061單神經(jīng)元情況下的推導(dǎo)
1062多層網(wǎng)絡(luò)情況下的推導(dǎo)
107小結(jié)
108附錄:梯度下降與反射平衡
推理
109問題
1010參考文獻
第11章可能近似正確(PAC)
學(xué)習
111決策規(guī)則分類
112來自一個類中的最優(yōu)規(guī)則
113可能近似正確準則
114PAC學(xué)習
115小結(jié)
116附錄:識別不可辨元
117問題
118參考文獻
第12章VC維
121近似誤差和估計誤差
122打散
123VC維
124學(xué)習結(jié)果
125舉例
126神經(jīng)網(wǎng)絡(luò)應(yīng)用
127小結(jié)
128附錄:VC維與波普爾
(Popper)維度
129問題
1210參考文獻
第13章無限VC維
131類層次及修正的PAC準則
132失配與復(fù)雜性間的平衡
133學(xué)習結(jié)果
134歸納偏置與簡單性
135小結(jié)
136附錄:均勻收斂與泛
致性
137問題
138參考文獻
第14章函數(shù)估計問題
141估計
142成功準則
143最優(yōu)估計:回歸函數(shù)
144函數(shù)估計中的學(xué)習
145小結(jié)
146附錄:均值回歸
147問題
148參考文獻
第15章學(xué)習函數(shù)估計
151函數(shù)估計與回歸問題回顧
152最近鄰規(guī)則
153核方法
154神經(jīng)網(wǎng)絡(luò)學(xué)習
155基于確定函數(shù)類的估計
156打散、偽維數(shù)與學(xué)習
157結(jié)論
158附錄:估計中的準確度、
精度、偏差及方差
159問題
1510參考文獻
第16章簡明性
161科學(xué)中的簡明性
1611對簡明性的明確倡導(dǎo)
1612這個世界簡單嗎?
1613對簡明性的錯誤訴求
1614對簡明性的隱性訴求
162排序假設(shè)
1621兩種簡明性排序法
163兩個實例
1631曲線擬合
1632枚舉歸納
164簡明性即表征簡明性
1641要確定表征系統(tǒng)嗎?
1642參數(shù)越少越簡單嗎?
165簡明性的實用理論
166簡明性和全局不確定性
167小結(jié)
168附錄:基礎(chǔ)科學(xué)和統(tǒng)計學(xué)習
理論
169問題
1610參考文獻
第17章支持向量機
171特征向量的映射
172間隔最大化
173優(yōu)化與支持向量
174實現(xiàn)及其與核方法的關(guān)聯(lián)
175優(yōu)化問題的細節(jié)
1751改寫分離條件
1752間隔方程
1753用于不可分實例的松弛
變量
1754優(yōu)化問題的重構(gòu)和求解
176小結(jié)
177附錄:計算
178問題
179參考文獻
第18章集成學(xué)習
181弱學(xué)習規(guī)則
182分類器組合
183訓(xùn)練樣本的分布
184自適應(yīng)集成學(xué)習算法
(AdaBoost)
185訓(xùn)練數(shù)據(jù)的性能
186泛化性能
187小結(jié)
188附錄:集成方法
189問題
1810參考文獻