機(jī)器學(xué)習(xí):貝葉斯和優(yōu)化方法(原書第2版)
定 價:279 元
叢書名:智能科學(xué)與技術(shù)叢書
- 作者:[希]西格爾斯·西奧多里蒂斯(SergiosTheodoridis)
- 出版時間:2022/2/1
- ISBN:9787111692577
- 出 版 社:機(jī)械工業(yè)出版社
- 中圖法分類:TP181
- 頁碼:
- 紙張:膠版紙
- 版次:
- 開本:16開
本書對所有重要的機(jī)器學(xué)習(xí)方法和新近研究趨勢進(jìn)行了深入探索,新版重寫了關(guān)于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的章節(jié),并擴(kuò)展了關(guān)于貝葉斯學(xué)習(xí)的內(nèi)容。書中首先討論基礎(chǔ)知識,包括均方、zui小二乘和zui大似然方法,以及嶺回歸、貝葉斯決策理論分類、邏輯回歸和決策樹。然后介紹較新的技術(shù),包括稀疏建模方法、再生核希爾伯特空間和支持向量機(jī)中的學(xué)習(xí)、關(guān)注EM算法的貝葉斯推理及其變分近似推理、蒙特卡羅方法、關(guān)注貝葉斯網(wǎng)絡(luò)的概率圖模型、隱馬爾可夫模型和粒子濾波。此外,書中還討論了降維、隱變量建模、統(tǒng)計參數(shù)估計、維納和卡爾曼濾波、凸優(yōu)化等技術(shù)。本書適合該領(lǐng)域的科研人員和工程師閱讀,也適合學(xué)習(xí)模式識別、統(tǒng)計/自適應(yīng)信號處理和深度學(xué)習(xí)等課程的學(xué)生參考。
機(jī)器學(xué)習(xí)(machine learning)這個名字正受到越來越多的關(guān)注,它涵蓋數(shù)十年來在不同科學(xué)領(lǐng)域中研究和開發(fā)的很多方法,這些方法有著不同的名字,如統(tǒng)計學(xué)習(xí)、統(tǒng)計信號處理、模式識別、自適應(yīng)信號處理、圖像處理與分析、系統(tǒng)辨識與控制、數(shù)據(jù)挖掘與信息檢索、計算機(jī)視覺以及計算學(xué)習(xí)!皺C(jī)器學(xué)習(xí)”這個名字指出了所有這些學(xué)科的共同之處,即從數(shù)據(jù)中學(xué)習(xí)(learn from data)然后做出預(yù)測(make prediction)。人們嘗試通過構(gòu)造一個模型(model)來從數(shù)據(jù)中學(xué)習(xí)其深層結(jié)構(gòu)和規(guī)律,而這個模型即可用于預(yù)測。
為此,人們已經(jīng)提出了從代價函數(shù)優(yōu)化(其目標(biāo)是優(yōu)化觀測到的數(shù)據(jù)結(jié)果與模型預(yù)測結(jié)果間的偏差)到概率模型(試圖對觀測到的數(shù)據(jù)的統(tǒng)計特征進(jìn)行建模)等許多不同的方法。
本書的目標(biāo)是通過介紹多年來研究者所遵循的主要路線和方法來營造一體式的學(xué)習(xí)體驗,引導(dǎo)讀者逐步探究機(jī)器學(xué)習(xí)領(lǐng)域。我并不傾向于某種特定的方法,因為我相信無論是從應(yīng)用角度還是從教學(xué)角度看,所有方法對希望探索機(jī)器學(xué)習(xí)奧秘的初學(xué)者而言都是有價值的。如書名所示,本書重點關(guān)注機(jī)器學(xué)習(xí)的處理和分析,而非機(jī)器學(xué)習(xí)理論本身及相關(guān)的性能界限。換句話說,我們重點關(guān)注更靠近應(yīng)用層的方法和算法。
本書是我超過30年的相關(guān)研究經(jīng)驗和相關(guān)課程教學(xué)經(jīng)驗的結(jié)晶。本書的寫作方法是令每一章(或相鄰兩章)盡可能獨立成篇。這樣,教師就可以根據(jù)需要選擇、組合某些章節(jié)以構(gòu)成其課程的重點,普通讀者也可以在首次閱讀時根據(jù)需要有選擇地精讀某些章節(jié)。在第1章中,我將給出針對不同課程使用本書的一些指導(dǎo)。
本書每章都從基本概念和基本方法開始,逐漸深入一些新進(jìn)展。某些主題需要分為兩章,例如稀疏感知學(xué)習(xí)、貝葉斯學(xué)習(xí)、概率圖模型以及蒙特卡羅方法。本書能滿足高年級本科生、研究生的學(xué)習(xí)需求,也適合不滿足于黑盒解決方案的科學(xué)家與工程師閱讀。此外,本書也能作為特定主題短期課程的教材或參考書,例如稀疏建模、貝葉斯學(xué)習(xí)、概率圖模型、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)等主題。
第2版重要更新
本書的第1版出版于2015年,涵蓋2013~2014年機(jī)器學(xué)習(xí)領(lǐng)域的進(jìn)展。這幾年恰逢深度學(xué)習(xí)領(lǐng)域研究真正蓬勃發(fā)展的開端,深度學(xué)習(xí)重塑了我們的相關(guān)知識,并徹底改變了機(jī)器學(xué)習(xí)領(lǐng)域。大體來說,第2版的重點是重寫第18章,F(xiàn)在這一章對該領(lǐng)域做了全面回顧,包括從早期的感知機(jī)和感知機(jī)規(guī)則直到新的研究進(jìn)展,諸如卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、對抗樣本、生成對抗網(wǎng)絡(luò)(GAN)和膠囊網(wǎng)絡(luò)等。
此外,第2版涵蓋更廣泛和詳細(xì)的非參數(shù)貝葉斯方法,如中國餐館過程(CRP)和印度自助餐過程(IBP)。我相信貝葉斯方法在未來的幾年里會越來越重要。當(dāng)然,誰也不能保證這一定會發(fā)生。然而,我認(rèn)為不確定性將是未來模型的重要部分,而貝葉斯技術(shù)至少在原則上是一個合理的入手點。關(guān)于其他章節(jié),除修正拼寫錯誤之外,也根據(jù)學(xué)生、同事和評閱人的建議,改寫了一些內(nèi)容以使本書更易于閱讀。在此深深地感謝他們。
本書大部分章節(jié)包含MATLAB練習(xí),相關(guān)代碼可從本書配套網(wǎng)站自由獲取。此外,在第2版中,所有的計算機(jī)練習(xí)還以Python編寫,并附有相應(yīng)的代碼,這些代碼也可以通過本書網(wǎng)站自由獲取。后,第18章中的一些與深度學(xué)習(xí)相關(guān)的、更接近實際應(yīng)用的計算機(jī)練習(xí)則用Tensorflow給出。
習(xí)題答案和講義幻燈片可從本書網(wǎng)站獲得,供教師使用。
關(guān)于本書教輔資源,只有使用本書作為教材的教師才可以申請,需要的教師請訪問愛思唯爾的教材網(wǎng)站
https://textbooks.elsevier.com/進(jìn)行申請。——編輯注
在第2版中,所有附錄都被移到配套網(wǎng)站上且可以自由下載,這是為了節(jié)省篇幅。另外,對于第1版中介紹方法的部分章節(jié),如果其不再是必要的基礎(chǔ)知識以及當(dāng)前的主流研究課題,雖然它們在2015年是新興且“時髦”的,但在第2版中也被移除了,這些內(nèi)容可從配套網(wǎng)站下載。
教師網(wǎng)站網(wǎng)址:
http://textbooks.elsevier.com/web/Manuals.aspx?isbn=9780128188033
配套網(wǎng)站網(wǎng)址:
https://www.elsevier.com/booksandjournals/bookcompanion/9780128188033
西格爾斯·西奧多里蒂斯(Sergios Theodoridis) 雅典大學(xué)教授,香港中文大學(xué)(深圳)教授,研究興趣包括機(jī)器學(xué)習(xí)、模式識別和信號處理等。他是IEEE Fellow、IET Fellow、EURASIP Fellow,曾任IEEE信號處理協(xié)會副主席、EURASIP主席以及IEEE Transactions on Signal Processing主編。曾獲2017年EURASIP Athanasios Papoulis獎,2014年IEEE信號處理雜志論文獎,以及2014年EURASIP有價值服務(wù)獎等。此外,他還是經(jīng)典著作《模式識別》的作者。
譯者序
前言
致謝
作者簡介
符號說明
第1章 引言1
1.1 歷史背景1
1.2 人工智能與機(jī)器學(xué)習(xí)1
1.3 算法能學(xué)習(xí)數(shù)據(jù)中隱藏的東西3
1.4 機(jī)器學(xué)習(xí)典型應(yīng)用4
1.4.1 語音識別4
1.4.2 計算機(jī)視覺4
1.4.3 多模態(tài)數(shù)據(jù)5
1.4.4 自然語言處理5
1.4.5 機(jī)器人5
1.4.6 自動駕駛5
1.4.7 未來的挑戰(zhàn)5
1.5 機(jī)器學(xué)習(xí)的主要方向6
1.5.1 監(jiān)督學(xué)習(xí)6
1.6 無監(jiān)督和半監(jiān)督學(xué)習(xí)8
1.7 本書結(jié)構(gòu)和路線圖9
參考文獻(xiàn)11
第2章 概率和隨機(jī)過程13
2.1 引言13
2.2 概率和隨機(jī)變量13
2.2.1 概率13
2.2.2 離散隨機(jī)變量14
2.2.3 連續(xù)隨機(jī)變量16
2.2.4 均值和方差16
2.2.5 隨機(jī)變量變換18
2.3 分布示例19
2.3.1 離散變量19
2.3.2 連續(xù)變量21
2.4 隨機(jī)過程27
2.4.1 一階和二階統(tǒng)計量28
2.4.2 平穩(wěn)性和遍歷性29
2.4.3 功率譜密度31
2.4.4 自回歸模型35
2.5 信息論38
2.5.1 離散隨機(jī)變量38
2.5.2 連續(xù)隨機(jī)變量41
2.6 隨機(jī)收斂42
2.6.1 處處收斂43
2.6.2 幾乎處處收斂43
2.6.3 均方意義下的收斂43
2.6.4 依概率收斂43
2.6.5 依分布收斂43
習(xí)題44
參考文獻(xiàn)45
第3章 參數(shù)化建模學(xué)習(xí):概念和方向46
3.1 引言46
3.2 參數(shù)估計:確定性觀點46
3.3 線性回歸49
3.4 分類52
3.4.1 生成和判別學(xué)習(xí)54
3.5 有偏估計與無偏估計55
3.5.1 選擇有偏還是無偏估計56
3.6 克拉美-羅下界57
3.7 充分統(tǒng)計量60
3.8 正則化61
3.8.1 逆問題:病態(tài)和過擬合63
3.9 偏差-方差困境65
3.9.1 均方誤差估計65
3.9.2 偏差-方差權(quán)衡66
3.10 似然法69
3.10.1 線性回歸:非白高斯噪聲實例71
3.11 貝葉斯推斷71
3.11.1 后驗概率估計方法74
3.12 維數(shù)災(zāi)難75
3.13 驗證76
3.13.1 交叉驗證77
3.14 期望損失函數(shù)和經(jīng)驗風(fēng)險函數(shù)78
3.14.1 可學(xué)習(xí)性79
3.15 非參數(shù)建模和非參數(shù)估計79
習(xí)題80
參考文獻(xiàn)83
第4章 均方誤差線性估計85
4.1 引言85
4.2 均方誤差線性估計:正規(guī)方程85
4.2.1 代價函數(shù)曲面86
4.3 幾何觀點:正交性條件87
4.4 擴(kuò)展到復(fù)值變量89
4.4.1 寬線性復(fù)值估計90
4.4.2 復(fù)值變量優(yōu)化:沃廷格微積分93
4.5 線性濾波94
4.6 均方誤差線性濾波:頻率域觀點96
4.6.1 反卷積:圖像去模糊96
4.7 一些典型應(yīng)用98
4.7.1 干擾抵消98
4.7.2 系統(tǒng)辨識99
4.7.3 反卷積:信道均衡100
4.8 算法方面:萊文森算法和格-梯算法105
4.8.1 前向后向均方誤差預(yù)測106
4.8.2 格-梯方案109
4.9 線性模型均方誤差估計111
4.9.1 高斯-馬爾可夫定理113
4.9.2 約束線性估計:波束成形實例115
4.10 時變統(tǒng)計:卡爾曼濾波118
習(xí)題123
參考文獻(xiàn)125
第5章 隨機(jī)梯度下降:LMS算法族127
5.1 引言127
5.2 速下降法127
5.3 應(yīng)用于均方誤差代價函數(shù)130
5.3.1 時變步長135
5.3.2 復(fù)值情形135
5.4 隨機(jī)逼近136
5.4.1 在均方誤差線性估計中的應(yīng)用138
5.5 小均方自適應(yīng)算法139
5.5.1 平穩(wěn)環(huán)境中LMS算法的收斂和穩(wěn)態(tài)性能140
5.5.2 累積損失上界144
5.6 仿射投影算法145
5.6.1 APA的幾何解釋147
5.6.2 正交投影148
5.6.3 歸一化LMS算法149
5.7 復(fù)值情形150
5.7.1 寬線性LMS151
5.7.2 寬線性APA151
5.8 LMS同族算法152
5.8.1 符號誤差LMS152
5.8.2 小均四次方算法152
5.8.3 變換域LMS153
5.9 仿真示例155
5.10 自適應(yīng)判決反饋均衡157
5.11 線性約束LMS159
5.12 非平穩(wěn)環(huán)境中LMS算法的跟蹤性能160
5.13 分布式學(xué)習(xí):分布式LMS162
5.13.1 協(xié)同策略163
5.13.2 擴(kuò)散LMS164
5.13.3 收斂和穩(wěn)態(tài)性能:一些重點169
5.13.4 基于共識的分布式方法171
5.14 實例研究:目標(biāo)定位172
5.15 一些結(jié)論:共識矩陣174
習(xí)題174
參考文獻(xiàn)177
第6章 小二乘算法族181
6.1 引言181
6.2 小二乘線性回歸:幾何視角181
6.3 小二乘估計的統(tǒng)計特性183
6.3.1 LS估計是無偏估計183
6.3.2 LS估計的協(xié)方差矩陣183
6.3.3 白噪聲下LS估計是線性無偏估計184
6.3.4