第0章 導(dǎo)言 1
0.1 什么是神經(jīng)網(wǎng)絡(luò) 1
0.2 人類大腦 4
0.3 神經(jīng)元模型 6
0.4 視為有向圖的神經(jīng)網(wǎng)絡(luò) 9
0.5 反饋 11
0.6 網(wǎng)絡(luò)結(jié)構(gòu) 12
0.7 知識(shí)表示 15
0.8 學(xué)習(xí)過程 21
0.9 學(xué)習(xí)任務(wù) 23
0.10 結(jié)語 28
注釋和參考文獻(xiàn) 28
第1章 Rosenblatt感知器 29
1.1 引言 29
1.2 感知器 29
1.3 感知器收斂定理 30
1.4 高斯環(huán)境下感知器與貝葉斯分類器的關(guān)系 34
1.5 計(jì)算機(jī)實(shí)驗(yàn)：模式分類 38
1.6 批量感知器算法 40
1.7 小結(jié)和討論 41
注釋和參考文獻(xiàn) 42
習(xí)題 42
第2章 回歸建模 43
2.1 引言 43
2.2 線性回歸模型：初步考慮 43
2.3 參數(shù)向量的最大后驗(yàn)估計(jì) 45
2.4 正則化最小二乘估計(jì)與MAP估計(jì)的關(guān)系 48
2.5 計(jì)算機(jī)實(shí)驗(yàn)：模式分類 49
2.6 最小描述長度原理 50
2.7 有限樣本量考慮 52
2.8 工具變量法 54
2.9 小結(jié)和討論 56
注釋和參考文獻(xiàn) 56
習(xí)題 56
計(jì)算機(jī)實(shí)驗(yàn) 57
第3章 最小均方算法 58
3.1 引言 58
3.2 LMS算法的濾波結(jié)構(gòu) 58
3.3 無約束優(yōu)化：回顧 60
3.4 維納濾波器 64
3.5 最小均方算法 65
3.6 描述LMS算法和維納濾波器偏差的馬爾可夫模型 67
3.7 朗之萬方程：布朗運(yùn)動(dòng)的特點(diǎn) 67
3.8 庫什納直接平均法 68
3.9 小學(xué)習(xí)率參數(shù)的統(tǒng)計(jì)LMS學(xué)習(xí)理論 69
3.10 計(jì)算機(jī)實(shí)驗(yàn)I：線性預(yù)測 71
3.11 計(jì)算機(jī)實(shí)驗(yàn)II：模式分類 72
3.12 LMS算法的優(yōu)缺點(diǎn) 73
3.13 學(xué)習(xí)率退火計(jì)劃 74
3.14 小結(jié)和討論 75
注釋和參考文獻(xiàn) 76
習(xí)題 76
第4章 多層感知器 79
4.1 引言 79
4.2 一些預(yù)備知識(shí) 80
4.3 批量學(xué)習(xí)與在線學(xué)習(xí) 81
4.4 反向傳播算法 83
4.5 異或問題 91
4.6 提升反向傳播算法性能的啟發(fā)式算法 92
4.7 計(jì)算機(jī)實(shí)驗(yàn)：模式分類 96
4.8 反向傳播和微分 96
4.9 黑塞矩陣及其在在線學(xué)習(xí)中的作用 99
4.10 學(xué)習(xí)率的最優(yōu)退火和自適應(yīng)控制 101
4.11 泛化 105
4.12 函數(shù)逼近 106
4.13 交叉驗(yàn)證 109
4.14 復(fù)雜度正則化和網(wǎng)絡(luò)修剪 112
4.15 反向傳播學(xué)習(xí)的優(yōu)缺點(diǎn) 116
4.16 作為優(yōu)化問題的監(jiān)督學(xué)習(xí) 119
4.17 卷積網(wǎng)絡(luò) 129
4.18 非線性濾波 130
4.19 小規(guī)模和大規(guī)模學(xué)習(xí)問題 134
4.20 小結(jié)和討論 139
注釋和參考文獻(xiàn) 140
習(xí)題 141
第5章 核方法和徑向基函數(shù)網(wǎng)絡(luò) 147
5.1 引言 147
5.2 模式可分性的Cover定理 147
5.3 插值問題 151
5.4 徑向基函數(shù)網(wǎng)絡(luò) 152
5.5 K均值聚類 154
5.6 權(quán)重向量的遞歸最小二乘估計(jì) 156
5.7 RBF網(wǎng)絡(luò)的混合學(xué)習(xí)過程 159
5.8 計(jì)算機(jī)實(shí)驗(yàn)：模式分類 159
5.9 高斯隱藏單元的解釋 162
5.10 核回歸及其與RBF網(wǎng)絡(luò)的關(guān)系 163
5.11 小結(jié)和討論 166
注釋和參考文獻(xiàn) 167
習(xí)題 169
第6章 支持向量機(jī) 172
6.1 引言 172
6.2 線性可分模式的最優(yōu)超平面 172
6.3 不可分模式的最優(yōu)超平面 177
6.4 作為核機(jī)器的支持向量機(jī) 180
6.5 支持向量機(jī)的設(shè)計(jì) 182
6.6 異或問題 183
6.7 計(jì)算機(jī)實(shí)驗(yàn)：模式分類 184
6.8 回歸：魯棒性考慮 187
6.9 線性回歸問題的最優(yōu)解 187
6.10 表示定理和相關(guān)問題 190
6.11 小結(jié)和討論 194
注釋和參考文獻(xiàn) 195
習(xí)題 197
第7章 正則化理論 201
7.1 引言 201
7.2 良態(tài)Hadamard條件 202
7.3 Tikhonov正則化理論 202
7.4 正則化網(wǎng)絡(luò) 209
7.5 廣義徑向基函數(shù)網(wǎng)絡(luò) 210
7.6 再論正則化最小二乘估計(jì) 213
7.7 關(guān)于正則化的其他說明 215
7.8 正則化參數(shù)估計(jì) 216
7.9 半監(jiān)督學(xué)習(xí) 220
7.10 流形正則化：初步考慮 220
7.11 微分流形 221
7.12 廣義正則化理論 224
7.13 譜圖理論 225
7.14 廣義表示定理 227
7.15 拉普拉斯正則化最小二乘算法 228
7.16 半監(jiān)督學(xué)習(xí)模式分類實(shí)驗(yàn) 229
7.17 小結(jié)和討論 231
注釋和參考文獻(xiàn) 232
習(xí)題 234
第8章 主成分分析 237
8.1 引言 237
8.2 自組織原則 237
8.3 自組織的特征分析 240
8.4 主成分分析：擾動(dòng)理論 241
8.5 基于Hebb的最大特征濾波器 247
8.6 基于Hebb的主成分分析 253
8.7 案例研究：圖像編碼 257
8.8 核主成分分析 259
8.9 自然圖像編碼中的基本問題 263
8.10 核Hebb算法 264
8.11 小結(jié)和討論 267
注釋和參考文獻(xiàn) 269
習(xí)題 271
第9章 自組織映射 275
9.1 引言 275
9.2 兩個(gè)基本的特征映射模型 276
9.3 自組織映射 277
9.4 特征映射的性質(zhì) 282
9.5 計(jì)算機(jī)實(shí)驗(yàn)I：使用SOM求解網(wǎng)格動(dòng)力學(xué) 288
9.6 上下文映射 289
9.7 分層向量量化 291
9.8 核自組織映射 294
9.9 計(jì)算機(jī)實(shí)驗(yàn)II：使用核SOM求解網(wǎng)格動(dòng)力學(xué) 299
9.10 核SOM與KL散度的關(guān)系 300
9.11 小結(jié)和討論 301
注釋和參考文獻(xiàn) 303
習(xí)題 304
第10章 信息論學(xué)習(xí)模型 308
10.1 引言 308
10.2 熵 309
10.3 最大熵原則 311
10.4 互信息 313
10.5 KL散度 315
10.6 Copula函數(shù) 316
10.7 作為待優(yōu)化目標(biāo)函數(shù)的互信息 319
10.8 最大互信息原則 320
10.9 最大互信息與冗余減少 323
10.10 空間相干特征 325
10.11 空間非相干特征 327
10.12 獨(dú)立成分分析 328
10.13 自然圖像的稀疏編碼與ICA編碼比較 333
10.14 獨(dú)立成分分析的自然梯度學(xué)習(xí) 335
10.15 獨(dú)立成分分析的最大似然估計(jì) 341
10.16 盲源分離的最大熵學(xué)習(xí) 343
10.17 獨(dú)立成分分析的負(fù)熵的最大化 346
10.18 相干獨(dú)立分量分析 351
10.19 率失真理論和信息瓶頸 357
10.20 數(shù)據(jù)的最優(yōu)流形表示 360
10.21 計(jì)算機(jī)實(shí)驗(yàn)：模式分類 364
10.22 小結(jié)和討論 364
注釋和參考文獻(xiàn) 367
習(xí)題 372
第11章 源于統(tǒng)計(jì)力學(xué)的隨機(jī)方法 376
11.1 引言 376
11.2 統(tǒng)計(jì)力學(xué) 376
11.3 馬爾可夫鏈 378
11.4 Metropolis算法 384
11.5 模擬退火 385
11.6 吉布斯采樣 387
11.7 玻爾茲曼機(jī) 388
11.8 邏輯斯蒂置信網(wǎng)絡(luò) 392
11.9 深度置信網(wǎng)絡(luò) 393
11.10 確定性退火 396
11.11 確定性退火和EM算法的類比 399
11.12 小結(jié)和討論 400
注釋和參考文獻(xiàn) 401
習(xí)題 402
第12章 動(dòng)態(tài)規(guī)劃 406
12.1 引言 406
12.2 馬爾可夫決策過程 407
12.3 貝爾曼最優(yōu)準(zhǔn)則 409
12.4 策略迭代 411
12.5 值迭代 412
12.6 逼近動(dòng)態(tài)規(guī)劃：直接法 416
12.7 時(shí)序差分學(xué)習(xí) 416
12.8 Q學(xué)習(xí) 420
12.9 逼近動(dòng)態(tài)規(guī)劃：非直接法 422
12.10 最小二乘策略評(píng)估 424
12.11 逼近策略迭代 428
12.12 小結(jié)和討論 430
注釋和參考文獻(xiàn) 432
習(xí)題 433
第13章 神經(jīng)動(dòng)力學(xué) 436
13.1 引言 436
13.2 動(dòng)態(tài)系統(tǒng) 437
13.3 平衡狀態(tài)的穩(wěn)定性 440
13.4 吸引子 444
13.5 神經(jīng)動(dòng)力學(xué)模型 445
13.6 作為遞歸網(wǎng)絡(luò)范式的吸引子操作 447
13.7 Hopfield模型 447
13.8 Cohen-Grossberg定理 456
13.9 盒中腦狀態(tài)模型 457
13.10 奇異吸引子與混沌 462
13.11 混沌過程的動(dòng)態(tài)重建 465
13.12 小結(jié)和討論 469
注釋和參考文獻(xiàn) 470
習(xí)題 472
第14章 動(dòng)態(tài)系統(tǒng)狀態(tài)估計(jì)的貝葉斯濾波 474
14.1 引言 474
14.2 狀態(tài)空間模型 474
14.3 卡爾曼濾波器 477
14.4 發(fā)散現(xiàn)象和平方根濾波 482
14.5 擴(kuò)展卡爾曼濾波器 486
14.6 貝葉斯濾波器 489
14.7 容積卡爾曼濾波器：基于卡爾曼濾波器 492
14.8 粒子濾波器 496
14.9 計(jì)算機(jī)實(shí)驗(yàn)：擴(kuò)展卡爾曼濾波器和粒子濾波器的比較 502
14.10 卡爾曼濾波在大腦功能建模中的應(yīng)用 504
14.11 小結(jié)和討論 505
注釋和參考文獻(xiàn) 507
習(xí)題 508
第15章 動(dòng)態(tài)驅(qū)動(dòng)遞歸網(wǎng)絡(luò) 512
15.1 引言 512
15.2 遞歸網(wǎng)絡(luò)結(jié)構(gòu) 512
15.3 通用逼近定理 517
15.4 可控性和可觀測性 518
15.5 遞歸網(wǎng)絡(luò)的計(jì)算能力 521
15.6 學(xué)習(xí)算法 523
15.7 時(shí)間反向傳播 524
15.8 實(shí)時(shí)遞歸學(xué)習(xí) 527
15.9 遞歸網(wǎng)絡(luò)的梯度消失 531
15.10 利用非線性序列狀態(tài)估計(jì)的遞歸網(wǎng)絡(luò)監(jiān)督訓(xùn)練框架 534
15.11 計(jì)算機(jī)實(shí)驗(yàn)：Mackay-Glass吸引子的動(dòng)態(tài)重建 539
15.12 適應(yīng)性考慮 540
15.13 案例研究：應(yīng)用于神經(jīng)控制的模型參考 542
15.14 小結(jié)和討論 543
注釋和參考文獻(xiàn) 546
習(xí)題 547
參考文獻(xiàn) 551