目錄

序
前言
主要符號(hào)表

第1章　引言 1
1.1　深度學(xué)習(xí)的起源與發(fā)展 1
1.1.1　深度學(xué)習(xí)的起源 1
1.1.2　深度學(xué)習(xí)的發(fā)展 2
1.2　深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、人工智能的關(guān)系 4
1.2.1　人工智能 4
1.2.2　機(jī)器學(xué)習(xí) 4
1.2.3　深度學(xué)習(xí) 5
1.3　深度學(xué)習(xí)的基本概念和典型算法 6
1.3.1　深度學(xué)習(xí)的基本概念 6
1.3.2　典型深度學(xué)習(xí)算法 6
1.4　深度學(xué)習(xí)的主要應(yīng)用概述 12
1.4.1　深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用 12
1.4.2　深度學(xué)習(xí)在語(yǔ)音處理領(lǐng)域的應(yīng)用 13
1.4.3　深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域的應(yīng)用 14
1.4.4　深度學(xué)習(xí)在多模態(tài)處理領(lǐng)域的應(yīng)用 14
1.5　本書的組織結(jié)構(gòu) 14
復(fù)習(xí)題 15
參考文獻(xiàn) 15
本章人物：Geoffrey Hinton教授 18

第2章　卷積神經(jīng)網(wǎng)絡(luò) 19
2.1　卷積神經(jīng)網(wǎng)絡(luò)的起源與發(fā)展 19
2.1.1　卷積神經(jīng)網(wǎng)絡(luò)的起源 19
2.1.2　卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展 20
2.2　卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu) 21
2.2.1　卷積層 21
2.2.2　激活函數(shù) 26
2.2.3　池化層 30
2.2.4　全連接層 30
2.2.5　輸出層 30
2.3　卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 31
2.3.1　卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程 31
2.3.2　池化層的訓(xùn)練 31
2.3.3　卷積層的訓(xùn)練 33
2.4　典型卷積神經(jīng)網(wǎng)絡(luò) 35
2.4.1　LeNet-5 35
2.4.2　AlexNet 37
2.4.3　VGGNet 39
2.4.4　GoogleNet 41
2.4.5　ResNet 42
2.5　卷積神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用 43
2.5.1　目標(biāo)檢測(cè) 43
2.5.2　圖像分割 52
2.5.3　姿態(tài)估計(jì) 56
2.5.4　人臉識(shí)別 58
復(fù)習(xí)題 62
實(shí)驗(yàn)題 62
參考文獻(xiàn) 63
本章人物：Yann LeCun教授 65

第3章　循環(huán)神經(jīng)網(wǎng)絡(luò) 66
3.1　循環(huán)神經(jīng)網(wǎng)絡(luò)的起源與發(fā)展 66
3.2　循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 67
3.3　長(zhǎng)短期記憶網(wǎng)絡(luò) 70
3.4　循環(huán)神經(jīng)網(wǎng)絡(luò)的變種 73
3.4.1　GRU 73
3.4.2　雙向RNN 75
3.4.3　堆疊RNN 75
3.5　循環(huán)神經(jīng)網(wǎng)絡(luò)的典型應(yīng)用 76
3.5.1　語(yǔ)言模型 76
3.5.2　自動(dòng)文本摘要 79
3.5.3　機(jī)器閱讀理解 82
復(fù)習(xí)題 85
實(shí)驗(yàn)題 86
參考文獻(xiàn) 86
本章人物：Jürgen Schmidhuber教授 89

第4章　Transformer 90
4.1　注意力機(jī)制 90
4.1.1　注意力機(jī)制的Encoder-Decoder結(jié)構(gòu) 90
4.1.2　注意力機(jī)制的分類 92
4.2　Transformer概述 93
4.2.1　Transformer的結(jié)構(gòu) 93
4.2.2　Transformer的輸入編碼 94
4.2.3　Transformer中的自注意力機(jī)制 95
4.2.4　Transformer中的其他細(xì)節(jié) 98
4.2.5　基于Transformer的大規(guī)模預(yù)訓(xùn)練模型 99
4.3　GPT系列模型 99
4.3.1　GPT-1 99
4.3.2　GPT-2 101
4.3.3　GPT-3 102
4.3.4　InstructGPT和ChatGPT 103
4.4　BERT系列模型 104
4.4.1　與其他大規(guī)模預(yù)訓(xùn)練模型的區(qū)別 105
4.4.2　BERT的架構(gòu)與參數(shù) 105
4.4.3　BERT的輸入表示 105
4.4.4　BERT的訓(xùn)練 107
4.4.5　BERT的變種 107
4.5　Swin Transformer 109
4.5.1　Swin Transformer的提出 109
4.5.2　Swin Transformer結(jié)構(gòu) 109
4.5.3　Swin Transformer的滑動(dòng)窗口機(jī)制 111
4.6　Transformer的主要應(yīng)用 112
4.6.1　自然語(yǔ)言處理領(lǐng)域 112
4.6.2　計(jì)算機(jī)視覺(jué)領(lǐng)域 117
4.6.3　多模態(tài)領(lǐng)域 121
復(fù)習(xí)題 128
實(shí)驗(yàn)題 128
參考文獻(xiàn) 128
本章人物：Yoshua Bengio教授 131

第5章　生成對(duì)抗網(wǎng)絡(luò) 132
5.1　GAN的基本原理 132
5.1.1　零和博弈 132
5.1.2　GAN的基本結(jié)構(gòu) 133
5.1.3　GAN的目標(biāo)函數(shù) 134
5.1.4　GAN的訓(xùn)練 134
5.2　GAN的優(yōu)化與改進(jìn) 135
5.2.1　限定條件優(yōu)化 136
5.2.2　迭代式生成優(yōu)化 138
5.2.3　結(jié)構(gòu)優(yōu)化 141
5.3　GAN的主要應(yīng)用 143
5.3.1　圖像生成 143
5.3.2　圖像轉(zhuǎn)換 144
5.3.3　圖像超分辨率重建 147
5.3.4　音樂(lè)生成 148
5.3.5　異常檢測(cè) 152
復(fù)習(xí)題 156
實(shí)驗(yàn)題 156
參考文獻(xiàn) 156
本章人物：Ian Goodfellow博士 158

第6章　深度生成模型 159
6.1　深度生成模型概述 159
6.2　Hopfield神經(jīng)網(wǎng)絡(luò) 160
6.3　玻爾茲曼機(jī)與受限玻爾茲曼機(jī) 162
6.3.1　玻爾茲曼機(jī) 162
6.3.2　受限玻爾茲曼機(jī) 163
6.4　Sigmoid信念網(wǎng)絡(luò)與深度信念網(wǎng)絡(luò) 165
6.4.1　Sigmoid信念網(wǎng)絡(luò) 165
6.4.2　深度信念網(wǎng)絡(luò) 166
6.5　深度玻爾茲曼機(jī) 167
6.6　自編碼器及其變種 169
6.6.1　自編碼器 169
6.6.2　降噪自編碼器 170
6.6.3　稀疏自編碼器 170
6.6.4　深度自編碼器 171
6.7　擴(kuò)散模型 172
6.7.1　前向過(guò)程 173
6.7.2　逆向過(guò)程 174
6.7.3　DDPM的訓(xùn)練 176
6.8　深度生成模型的應(yīng)