前言
第1章　深度學(xué)習(xí)簡介1
1.1　機(jī)器學(xué)習(xí)與深度學(xué)習(xí)1
1.2　TensorFlow概述2
1.3　環(huán)境搭建3
1.3.1　在Windows系統(tǒng)下安裝Anaconda3
1.3.2　在Anaconda下安裝TensorFlow與Keras6
1.3.3　Spyder編輯器8
第2章　Python基礎(chǔ)11
2.1　數(shù)據(jù)類型11
2.1.1　數(shù)值類型11
2.1.2　字符串類型13
2.1.3　布爾類型13
2.2　變量與常量14
2.3　運(yùn)算符14
2.3.1　運(yùn)算符概述14
2.3.2　運(yùn)算符優(yōu)先級15
2.4　選擇與循環(huán)15
2.4.1　if語句15
2.4.2　while循環(huán)18
2.4.3　for循環(huán)20
2.4.4　break和continue21
2.5　列表與元組23
2.5.1　創(chuàng)建23
2.5.2　查詢24
2.5.3　修改24
2.5.4　刪除26
2.6　字典26
2.6.1　字典的創(chuàng)建27
2.6.2　字典的常規(guī)操作27
2.6.3　字典的遍歷29
2.7　函數(shù)29
2.7.1　函數(shù)的定義與調(diào)用30
2.7.2　參數(shù)傳遞31
2.8　面向?qū)ο缶幊?3
2.8.1　類與對象33
2.8.2　繼承與多態(tài)34
2.9　思考與練習(xí)37
第3章　神經(jīng)網(wǎng)絡(luò)基礎(chǔ)38
3.1　單層神經(jīng)網(wǎng)絡(luò)38
3.2　多層神經(jīng)網(wǎng)絡(luò)39
3.2.1　隱藏層39
3.2.2　輸入層與輸出層41
3.3　激活函數(shù)42
3.3.1　Sigmoid函數(shù)42
3.3.2　Tanh函數(shù)43
3.3.3　Relu函數(shù)44
3.3.4　Softmax函數(shù)45
3.4　神經(jīng)網(wǎng)絡(luò)工作過程45
3.5　損失函數(shù)47
3.5.1　均方差函數(shù)47
3.5.2　交叉熵函數(shù)47
3.6　優(yōu)化算法48
3.7　反向傳播49
3.8　泛化能力52
3.9　多層感知器53
3.10　MNIST數(shù)據(jù)集54
3.10.1　下載MNIST數(shù)據(jù)集54
3.10.2　數(shù)據(jù)預(yù)處理56
3.11　Keras實現(xiàn)感知器的手寫體識別58
3.11.1　單層感知器手寫體識別58
3.11.2　多層感知器手寫體識別61
3.12　思考與練習(xí)67
第4章　卷積神經(jīng)網(wǎng)絡(luò)68
4.1　卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及原理68
4.1.1　卷積神經(jīng)網(wǎng)絡(luò)特點(diǎn)69
4.1.2　卷積層70
4.1.3　池化層72
4.1.4　全連接層73
4.2　卷積神經(jīng)網(wǎng)絡(luò)工作過程74
4.3　簡單卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)MNIST分類76
4.3.1　MNIST數(shù)據(jù)集預(yù)處理76
4.3.2　簡單卷積神經(jīng)網(wǎng)絡(luò)搭建77
4.4　CIFAR-10數(shù)據(jù)集84
4.4.1　下載CIFAR-10數(shù)據(jù)集85
4.4.2　CIFAR-10數(shù)據(jù)集預(yù)處理87
4.5　簡單卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)CIFAR-10分類88
4.6　思考與練習(xí)93
第5章　經(jīng)典卷積網(wǎng)絡(luò)結(jié)構(gòu)94
5.1　LeNet概述94
5.2　LeNet實現(xiàn)MNIST分類95
5.2.1　MNIST數(shù)據(jù)預(yù)處理95
5.2.2　基于Keras搭建LeNet網(wǎng)絡(luò)結(jié)構(gòu)95
5.2.3　對LeNet網(wǎng)絡(luò)模型進(jìn)行編譯、訓(xùn)練、評估與預(yù)測98
5.3　AlexNet概述101
5.4　AlexNet實現(xiàn)MNIST分類103
5.4.1　基于Keras搭建AlexNet網(wǎng)絡(luò)結(jié)構(gòu)103
5.4.2　對AlexNet網(wǎng)絡(luò)模型進(jìn)行編譯、訓(xùn)練、評估與預(yù)測107
5.5　VGG16概述110
5.6　VGG16實現(xiàn)MNIST分類111
5.6.1　基于Keras搭建VGG16網(wǎng)絡(luò)結(jié)構(gòu)112
5.6.2　對VGG16網(wǎng)絡(luò)模型進(jìn)行評估與預(yù)測115
5.7　思考與練習(xí)117
第6章　經(jīng)典卷積網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)階118
6.1　GoogLeNet概述118
6.2　GoogLeNet實現(xiàn)MNIST分類119
6.2.1　基于Keras搭建GoogLeNet網(wǎng)絡(luò)結(jié)構(gòu)119
6.2.2　對GoogLeNet進(jìn)行訓(xùn)練、評估與預(yù)測125
6.3　ResNet概述129
6.4　ResNet50實現(xiàn)MNIST分類131
6.4.1　基于Keras搭建ResNet50網(wǎng)絡(luò)結(jié)構(gòu)131
6.4.2　對ResNet50網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練、評估與預(yù)測138
6.5　思考與練習(xí)142
第7章　遷移學(xué)習(xí)143
7.1　基于卷積網(wǎng)絡(luò)實現(xiàn)遷移學(xué)習(xí)143
7.2　InceptionV3實現(xiàn)遷移學(xué)習(xí)144
7.3　Xception實現(xiàn)遷移學(xué)習(xí)150
7.4　MobileNet實現(xiàn)遷移學(xué)習(xí)155
7.5　簡單卷積網(wǎng)絡(luò)實現(xiàn)遷移學(xué)習(xí)164
7.6　思考與練習(xí)172
第8章　循環(huán)神經(jīng)網(wǎng)絡(luò)173
8.1　循環(huán)神經(jīng)網(wǎng)絡(luò)概述173
8.2　長短期記憶網(wǎng)絡(luò)174
8.2.1　LSTM前向傳播175
8.2.2　LSTM反向傳播176
8.3　Reuters數(shù)據(jù)集176
8.3.1　Reuters數(shù)據(jù)集概述176
8.3.2　文本信息預(yù)處理177
8.4　簡單RNN實現(xiàn)Reuters分類180
8.5　LSTM實現(xiàn)Reuters分類185
8.6　思考與練習(xí)190
第9章　強(qiáng)化學(xué)習(xí)191
9.1　初識強(qiáng)化學(xué)習(xí)191
9.1.1　什么是強(qiáng)化學(xué)習(xí)192
9.1.2　強(qiáng)化學(xué)習(xí)能解決什么類型的問題193
9.1.3　強(qiáng)化學(xué)習(xí)如何解決問題194
9.2　強(qiáng)化學(xué)習(xí)理論基礎(chǔ)194
9.2.1　基本組成元素194
9.2.2　基本模型196
9.2.3　價值函數(shù)198
9.3　求解強(qiáng)化學(xué)習(xí)—有模型199
9.3.1　動態(tài)規(guī)劃與貝爾曼方程199
9.3.2　策略迭代200
9.3.3　值迭代202
9.3.4　值迭代算法實現(xiàn)格子世界202
9.4　求解強(qiáng)化學(xué)習(xí)—無模型208
9.4.1　蒙特卡羅算法208
9.4.2　時間差分法209
9.4.3　Q-learning算法210
9.4.4　Q-learning實現(xiàn)格子世界211
9.5　思考與練習(xí)213
第10章　深度強(qiáng)化學(xué)習(xí)214
10.1　深度強(qiáng)化學(xué)習(xí)框架214
10.2　TensorFlow編程216
10.2.1　TensorFlow的計算模型—計算圖216
10.2.2　TensorFlow的數(shù)據(jù)模型—張量219
10.2.3　TensorFlow的運(yùn)行模型—會話220
10.2.4　TensorFlow變量222
10.2.5　TensorFlow共享變量225
10.3　Gym的安裝及使用226
10.3.1　Gym的安裝226
10.3.2　Gym的使用227
10.4　基于值的算法更新229
10.4.1　Q-learning實現(xiàn)229
10.4.2　DQN算法原理233
10.4.3　DQN算法實現(xiàn)236
10.4.4　DDQN算法原理241
10.4.5　DDQN算法實現(xiàn)243
10.5　思考與練習(xí)248
第11章　基于策略的算法更新與趨勢250
11.1　策略梯度法250
11.1.1　策略目標(biāo)函數(shù)251
11.1.2　策略梯度定理252
11.1.3　策略梯度算法實現(xiàn)254
11.2　演員–評論家算法258
11.2.1　演員–評論家算法原理258
11.2.2　演員–評論家算法實現(xiàn)259
11.3　優(yōu)勢演員–評論家算法263
11.3.1　優(yōu)勢演員–評論家算法原理264
11.3.2　優(yōu)勢演員–評論家算法實現(xiàn)265
11.4　異步優(yōu)勢演員–評論家算法269
11.4.1　異步優(yōu)勢演員–評論家算法原理270
11.4.2　異步優(yōu)勢演員–評論家算法實現(xiàn)272
11.5　深度強(qiáng)化學(xué)習(xí)的發(fā)展趨勢278
11.6　思考與練習(xí)279