第 1章 緒 論 1
1.1 深度學(xué)習(xí)簡介 2
1.2 神經(jīng)網(wǎng)絡(luò) 3
1.2.1 人腦神經(jīng)網(wǎng)絡(luò) 3
1.2.2 人工神經(jīng)網(wǎng)絡(luò) 4
1.3 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史 5
1.4 常用的深度學(xué)習(xí)框架 6
1.5 編程環(huán)境的安裝 8
1.5.1 安裝 Anaconda 8
1.5.2 安裝CUDA 9
1.5.3 安裝TensorFlow 14
1.5.4 安裝常用編輯器 17
第2章 機(jī)器學(xué)習(xí)基礎(chǔ) 18
2.1 基本概念 19
2.2 機(jī)器學(xué)習(xí)的三個(gè)基本要素 20
2.2.1 模型 20
2.2.2 學(xué)習(xí)準(zhǔn)則 21
2.2.3 優(yōu)化算法 24
2.3 機(jī)器學(xué)習(xí)的簡單示例線性回歸 27
2.4 偏差-方差分解 31
2.5 機(jī)器學(xué)習(xí)算法的類型 34
2.6 評(píng)價(jià)指標(biāo) 35
2.7 線性模型 37
2.7.1 線性判別函數(shù)和決策邊界 38
2.7.2 Logistic 回歸 41
2.7.3 Softmax 回歸 43
2.7.4 感知器 45
第3章 前饋神經(jīng)網(wǎng)絡(luò) 51
3.1 神經(jīng)元 51
3.1.1 Sigmoid 型函數(shù) 52
3.1.2 ReLU 函數(shù) 55
3.1.3 Swish 函數(shù) 57
3.1.4 GELU 函數(shù) 57
3.1.5 Maxout 單元 58
3.2 網(wǎng)絡(luò)結(jié)構(gòu) 58
3.2.1 前饋網(wǎng)絡(luò) 58
3.2.2 記憶網(wǎng)絡(luò) 58
3.2.3 圖網(wǎng)絡(luò) 59
3.3 前饋神經(jīng)網(wǎng)絡(luò) 59
3.3.1 通用近似定理 61
3.3.2 應(yīng)用到機(jī)器學(xué)習(xí) 61
3.3.3 參數(shù)學(xué)習(xí) 62
3.4 反向傳播算法 63
3.5 自動(dòng)梯度計(jì)算 66
3.5.1 數(shù)值微分 66
3.5.2 符號(hào)微分 67
3.5.3 自動(dòng)微分 67
3.6 優(yōu)化問題 70
3.6.1 非凸優(yōu)化問題 71
3.6.2 梯度消失問題 71
第4章 卷積神經(jīng)網(wǎng)絡(luò) 73
4.1 從全連接層到卷積 73
4.1.1 不變性 74
4.1.2 限制多層感知機(jī) 75
4.1.3 卷積 76
4.1.4 回顧沃爾多在哪里 76
4.2 圖像卷積 77
4.2.1 互相關(guān)運(yùn)算 77
4.2.2 卷積層 79
4.2.3 圖像中目標(biāo)的邊緣檢測 79
4.2.4 學(xué)習(xí)卷積核 81
4.2.5 互相關(guān)運(yùn)算和卷積運(yùn)算 82
4.2.6 特征映射和感受野 82
4.3 填充和步幅 82
4.3.1 填充 83
4.3.2 步幅 84
4.4 多輸入多輸出通道 85
4.4.1 多輸入通道 86
4.4.2 多輸出通道 87
4.4.3 11 卷積層 88
4.5 池化層 89
4.5.1 最大池化層和平均池化層 89
4.5.2 填充和步幅 91
4.5.3 多個(gè)通道 92
4.6 卷積神經(jīng)網(wǎng)絡(luò) 93
4.6.1 LeNet 93
4.6.2 訓(xùn)練 LeNet 95
第5章 現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò) 98
5.1 深度卷積神經(jīng)網(wǎng)絡(luò) 98
5.1.1 學(xué)習(xí)表征 99
5.1.2 AlexNet 101
5.1.3 讀取數(shù)據(jù)集 104
5.1.4 訓(xùn)練AlexNet 104
5.2 使用塊的網(wǎng)絡(luò) 105
5.2.1 VGG 塊 105
5.2.2 VGG 網(wǎng)絡(luò) 106
5.2.3 訓(xùn)練VGG 108
5.3 網(wǎng)絡(luò)中的網(wǎng)絡(luò) 108
5.3.1 NiN 塊 109
5.3.2 NiN 模型 110
5.3.3 訓(xùn)練NiN 111
5.4 含并行連結(jié)的網(wǎng)絡(luò) 111
5.4.1 Inception塊 112
5.4.2 GoogLeNet 模型 113
5.4.3 訓(xùn)練GoogLeNet 116
5.5 歸一化算法 116
5.5.1 訓(xùn)練深層網(wǎng)絡(luò) 116
5.5.2 批量歸一化層 118
5.5.3 從零實(shí)現(xiàn)批量歸一化層 118
5.5.4 使用批量歸一化層的 LeNet 120
5.5.5 簡明實(shí)現(xiàn) 122
5.5.6 爭議 123
5.6 殘差網(wǎng)絡(luò) 123
5.6.1 函數(shù)類 124
5.6.2 殘差塊 124
5.6.3 ResNet模型 127
5.6.4 訓(xùn)練 ResNet 129
5.7 稠密連接網(wǎng)絡(luò) 130
5.7.1 從ResNet到DenseNet 130
5.7.2 稠密塊體 131
5.7.3 過渡層 132
5.7.4 DenseNet模型 133
5.7.5 訓(xùn)練DenseNet 134
第6章 循環(huán)神經(jīng)網(wǎng)絡(luò) 135
6.1 序列模型 135
6.1.1 統(tǒng)計(jì)工具 136
6.1.2 序列模型的訓(xùn)練 138
6.1.3 序列模型的預(yù)測 140
6.2 文本預(yù)處理 143
6.2.1 讀取數(shù)據(jù)集 143
6.2.2 標(biāo)記化 144
6.2.3 詞匯 145
6.2.4 把所有的東西放在一起 146
6.3 語言模型和數(shù)據(jù)集 147
6.3.1 學(xué)習(xí)語言模型 148
6.3.2 馬爾可夫模型與 n 元語法 149
6.3.3 自然語言統(tǒng)計(jì) 149
6.3.4 讀取長序列數(shù)據(jù) 152
6.4 循環(huán)神經(jīng)網(wǎng)絡(luò) 156
6.4.1 無隱藏狀態(tài)的神經(jīng)網(wǎng)絡(luò) 156
6.4.2 具有隱藏狀態(tài)的循環(huán)神經(jīng)網(wǎng)絡(luò) 157
6.4.3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的字符級(jí)語言模型 158
6.4.4 困惑度 159
6.5 循環(huán)神經(jīng)網(wǎng)絡(luò)的從零開始實(shí)現(xiàn) 160
6.5.1 獨(dú)熱編碼 161
6.5.2 初始化模型參數(shù) 161
6.5.3 循環(huán)神經(jīng)網(wǎng)絡(luò)模型 162
6.5.4 循環(huán)神經(jīng)網(wǎng)絡(luò)模型的預(yù)測 163
6.5.5 梯度裁剪 164
6.5.6 循環(huán)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練 165
6.6 循環(huán)神經(jīng)網(wǎng)絡(luò)的簡潔實(shí)現(xiàn) 168
6.6.1 定義模型 168
6.6.2 訓(xùn)練與預(yù)測 169
6.7 通過時(shí)間反向傳播 170
6.7.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度分析 171
6.7.2 通過時(shí)間反向傳播細(xì)節(jié) 173
第7章 網(wǎng)絡(luò)優(yōu)化與正則化 176
7.1 網(wǎng)絡(luò)優(yōu)化 176
7.2 優(yōu)化算法 178
7.2.1 小批量梯度下降 178
7.2.2 學(xué)習(xí)率衰減 179
7.2.3 梯度方向優(yōu)化 181
7.2.4 優(yōu)化算法小結(jié) 184
7.3 參數(shù)初始化 185
7.4 數(shù)據(jù)預(yù)處理 186
7.5 逐層歸一化 188
7.5.1 批量歸一化 189
7.5.2 層歸一化 190
7.5.3 其他歸一化方法 191
7.6 超參數(shù)優(yōu)化 192
7.6.1 網(wǎng)格搜索 192
7.6.2 隨機(jī)搜索 193
7.6.3 貝葉斯優(yōu)化 193
7.6.4 動(dòng)態(tài)資源分配 194
7.7 網(wǎng)絡(luò)正則化 195
7.7.1 和 正則化 195
7.7.2 權(quán)重衰減 196
7.7.3 提前停止 197
7.7.4 丟棄法 197
7.7.5 數(shù)據(jù)增強(qiáng) 199
7.7.6 標(biāo)簽平滑 199
7.8 總結(jié) 200
第8章 實(shí)戰(zhàn)演練 201
8.1 TensorFlow的MNIST手寫數(shù)字分類的實(shí)現(xiàn) 201
8.1.1 數(shù)據(jù)預(yù)處理 201
8.1.2 構(gòu)建及訓(xùn)練模型 202
8.1.3 評(píng)估準(zhǔn)確率 207
8.1.4 模型的應(yīng)用與可視化 208
8.2 車輛識(shí)別 209
8.2.1 要解決的問題 210
8.2.2 YOLO 210
8.2.3 測試已經(jīng)訓(xùn)練好的YOLO模型 220
8.3 人臉識(shí)別 223
8.3.1 簡單的人臉驗(yàn)證 225
8.3.2 將人臉圖像編碼為128位的向量 225
8.3.3 加載訓(xùn)練好的模型 229
8.3.4 模型的應(yīng)用 230

??

??

??

第 1章 緒 論 1
1.1 深度學(xué)習(xí)簡介 2
1.2 神經(jīng)網(wǎng)絡(luò) 3
1.2.1 人腦神經(jīng)網(wǎng)絡(luò) 3
1.2.2 人工神經(jīng)網(wǎng)絡(luò) 4
1.3 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史 5
1.4 常用的深度學(xué)習(xí)框架 6
1.5 編程環(huán)境的安裝 8
1.5.1 安裝 Anaconda 8
1.5.2 安裝CUDA 9
1.5.3 安裝TensorFlow 14
1.5.4 安裝常用編輯器 17
第2章 機(jī)器學(xué)習(xí)基礎(chǔ) 18
2.1 基本概念 19
2.2 機(jī)器學(xué)習(xí)的三個(gè)基本要素 20
2.2.1 模型 20
2.2.2 學(xué)習(xí)準(zhǔn)則 21
2.2.3 優(yōu)化算法 24
2.3 機(jī)器學(xué)習(xí)的簡單示例線性回歸 27
2.4 偏差-方差分解 31
2.5 機(jī)器學(xué)習(xí)算法的類型 34
2.6 評(píng)價(jià)指標(biāo) 35
2.7 線性模型 37
2.7.1 線性判別函數(shù)和決策邊界 38
2.7.2 Logistic 回歸 41
2.7.3 Softmax 回歸 43
2.7.4 感知器 45
第3章 前饋神經(jīng)網(wǎng)絡(luò) 51
3.1 神經(jīng)元 51
3.1.1 Sigmoid 型函數(shù) 52
3.1.2 ReLU 函數(shù) 55
3.1.3 Swish 函數(shù) 57
3.1.4 GELU 函數(shù) 57
3.1.5 Maxout 單元 58
3.2 網(wǎng)絡(luò)結(jié)構(gòu) 58
3.2.1 前饋網(wǎng)絡(luò) 58
3.2.2 記憶網(wǎng)絡(luò) 58
3.2.3 圖網(wǎng)絡(luò) 59
3.3 前饋神經(jīng)網(wǎng)絡(luò) 59
3.3.1 通用近似定理 61
3.3.2 應(yīng)用到機(jī)器學(xué)習(xí) 61
3.3.3 參數(shù)學(xué)習(xí) 62
3.4 反向傳播算法 63
3.5 自動(dòng)梯度計(jì)算 66
3.5.1 數(shù)值微分 66
3.5.2 符號(hào)微分 67
3.5.3 自動(dòng)微分 67
3.6 優(yōu)化問題 70
3.6.1 非凸優(yōu)化問題 71
3.6.2 梯度消失問題 71
第4章 卷積神經(jīng)網(wǎng)絡(luò) 73
4.1 從全連接層到卷積 73
4.1.1 不變性 74
4.1.2 限制多層感知機(jī) 75
4.1.3 卷積 76
4.1.4 回顧沃爾多在哪里 76
4.2 圖像卷積 77
4.2.1 互相關(guān)運(yùn)算 77
4.2.2 卷積層 79
4.2.3 圖像中目標(biāo)的邊緣檢測 79
4.2.4 學(xué)習(xí)卷積核 81
4.2.5 互相關(guān)運(yùn)算和卷積運(yùn)算 82
4.2.6 特征映射和感受野 82
4.3 填充和步幅 82
4.3.1 填充 83
4.3.2 步幅 84
4.4 多輸入多輸出通道 85
4.4.1 多輸入通道 86
4.4.2 多輸出通道 87
4.4.3 11 卷積層 88
4.5 池化層 89
4.5.1 最大池化層和平均池化層 89
4.5.2 填充和步幅 91
4.5.3 多個(gè)通道 92
4.6 卷積神經(jīng)網(wǎng)絡(luò) 93
4.6.1 LeNet 93
4.6.2 訓(xùn)練 LeNet 95
第5章 現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò) 98
5.1 深度卷積神經(jīng)網(wǎng)絡(luò) 98
5.1.1 學(xué)習(xí)表征 99
5.1.2 AlexNet 101
5.1.3 讀取數(shù)據(jù)集 104
5.1.4 訓(xùn)練AlexNet 104
5.2 使用塊的網(wǎng)絡(luò) 105
5.2.1 VGG 塊 105
5.2.2 VGG 網(wǎng)絡(luò) 106
5.2.3 訓(xùn)練VGG 108
5.3 網(wǎng)絡(luò)中的網(wǎng)絡(luò) 108
5.3.1 NiN 塊 109
5.3.2 NiN 模型 110
5.3.3 訓(xùn)練NiN 111
5.4 含并行連結(jié)的網(wǎng)絡(luò) 111
5.4.1 Inception塊 112
5.4.2 GoogLeNet 模型 113
5.4.3 訓(xùn)練GoogLeNet 116
5.5 歸一化算法 116
5.5.1 訓(xùn)練深層網(wǎng)絡(luò) 116
5.5.2 批量歸一化層 118
5.5.3 從零實(shí)現(xiàn)批量歸一化層 118
5.5.4 使用批量歸一化層的 LeNet 120
5.5.5 簡明實(shí)現(xiàn) 122
5.5.6 爭議 123
5.6 殘差網(wǎng)絡(luò) 123
5.6.1 函數(shù)類 124
5.6.2 殘差塊 124
5.6.3 ResNet模型 127
5.6.4 訓(xùn)練 ResNet 129
5.7 稠密連接網(wǎng)絡(luò) 130
5.7.1 從ResNet到DenseNet 130
5.7.2 稠密塊體 131
5.7.3 過渡層 132
5.7.4 DenseNet模型 133
5.7.5 訓(xùn)練DenseNet 134
第6章 循環(huán)神經(jīng)網(wǎng)絡(luò) 135
6.1 序列模型 135
6.1.1 統(tǒng)計(jì)工具 136
6.1.2 序列模型的訓(xùn)練 138
6.1.3 序列模型的預(yù)測 140
6.2 文本預(yù)處理 143
6.2.1 讀取數(shù)據(jù)集 143
6.2.2 標(biāo)記化 144
6.2.3 詞匯 145
6.2.4 把所有的東西放在一起 146
6.3 語言模型和數(shù)據(jù)集 147
6.3.1 學(xué)習(xí)語言模型 148
6.3.2 馬爾可夫模型與 n 元語法 149
6.3.3 自然語言統(tǒng)計(jì) 149
6.3.4 讀取長序列數(shù)據(jù) 152
6.4 循環(huán)神經(jīng)網(wǎng)絡(luò) 156
6.4.1 無隱藏狀態(tài)的神經(jīng)網(wǎng)絡(luò) 156
6.4.2 具有隱藏狀態(tài)的循環(huán)神經(jīng)網(wǎng)絡(luò) 157
6.4.3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的字符級(jí)語言模型 158
6.4.4 困惑度 159
6.5 循環(huán)神經(jīng)網(wǎng)絡(luò)的從零開始實(shí)現(xiàn) 160
6.5.1 獨(dú)熱編碼 161
6.5.2 初始化模型參數(shù) 161
6.5.3 循環(huán)神經(jīng)網(wǎng)絡(luò)模型 162
6.5.4 循環(huán)神經(jīng)網(wǎng)絡(luò)模型的預(yù)測 163
6.5.5 梯度裁剪 164
6.5.6 循環(huán)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練 165
6.6 循環(huán)神經(jīng)網(wǎng)絡(luò)的簡潔實(shí)現(xiàn) 168
6.6.1 定義模型 168
6.6.2 訓(xùn)練與預(yù)測 169
6.7 通過時(shí)間反向傳播 170
6.7.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度分析 171
6.7.2 通過時(shí)間反向傳播細(xì)節(jié) 173
第7章 網(wǎng)絡(luò)優(yōu)化與正則化 176
7.1 網(wǎng)絡(luò)優(yōu)化 176
7.2 優(yōu)化算法 178
7.2.1 小批量梯度下降 178
7.2.2 學(xué)習(xí)率衰減 179
7.2.3 梯度方向優(yōu)化 181
7.2.4 優(yōu)化算法小結(jié) 184
7.3 參數(shù)初始化 185
7.4 數(shù)據(jù)預(yù)處理 186
7.5 逐層歸一化 188
7.5.1 批量歸一化 189
7.5.2 層歸一化 190
7.5.3 其他歸一化方法 191
7.6 超參數(shù)優(yōu)化 192
7.6.1 網(wǎng)格搜索 192
7.6.2 隨機(jī)搜索 193
7.6.3 貝葉斯優(yōu)化 193
7.6.4 動(dòng)態(tài)資源分配 194
7.7 網(wǎng)絡(luò)正則化 195
7.7.1 和 正則化 195
7.7.2 權(quán)重衰減 196
7.7.3 提前停止 197
7.7.4 丟棄法 197
7.7.5 數(shù)據(jù)增強(qiáng) 199
7.7.6 標(biāo)簽平滑 199
7.8 總結(jié) 200
第8章 實(shí)戰(zhàn)演練 201
8.1 TensorFlow的MNIST手寫數(shù)字分類的實(shí)現(xiàn) 201
8.1.1 數(shù)據(jù)預(yù)處理 201
8.1.2 構(gòu)建及訓(xùn)練模型 202
8.1.3 評(píng)估準(zhǔn)確率 207
8.1.4 模型的應(yīng)用與可視化 208
8.2 車輛識(shí)別 209
8.2.1 要解決的問題 210
8.2.2 YOLO 210
8.2.3 測試已經(jīng)訓(xùn)練好的YOLO模型 220
8.3 人臉識(shí)別 223
8.3.1 簡單的人臉驗(yàn)證 225
8.3.2 將人臉圖像編碼為128位的向量 225
8.3.3 加載訓(xùn)練好的模型 229
8.3.4 模型的應(yīng)用 230

??

??

??