第 1 章引言 1 1.1　本書(shū)面向的讀者　7 1.2　深度學(xué)習(xí)的歷史趨勢(shì)　8 1.2.1　神經(jīng)網(wǎng)絡(luò)的眾多名稱和命運(yùn)變遷　8 1.2.2　與日俱增的數(shù)據(jù)量　12 1.2.3　與日俱增的模型規(guī)�！�13 1.2.4　與日俱增的精度、復(fù)雜度和對(duì)現(xiàn)實(shí)世界的沖擊　15 第　1 部分應(yīng)用數(shù)學(xué)與機(jī)器學(xué)習(xí)基礎(chǔ) 第　2 章線性代數(shù)　19 2.1　標(biāo)量、向量、矩陣和張量　19 2.2　矩陣和向量相乘　21 2.3　單位矩陣和逆矩陣　22 2.4　線性相關(guān)和生成子空間　23 2.5　范數(shù)　24 2.6　特殊類型的矩陣和向量　25 2.7　特征分解　26 2.8　奇異值分解　28 2.9　Moore-Penrose 偽逆　28 2.10　跡運(yùn)算　29 2.11　行列式　30 2.12　實(shí)例：主成分分析　30 第3　章概率與信息論　34 3.1　為什么要使用概率　34 3.2　隨機(jī)變量　35 3.3　概率分布　36 3.3.1　離散型變量和概率質(zhì)量函數(shù)　36 3.3.2　連續(xù)型變量和概率密度函數(shù)　36 3.4　邊緣概率　37 3.5　條件概率　37 3.6　條件概率的鏈?zhǔn)椒▌t　38 3.7　獨(dú)立性和條件獨(dú)立性　38 3.8　期望、方差和協(xié)方差　38 3.9　常用概率分布　39 3.9.1　Bernoulli 分布　40 3.9.2　Multinoulli 分布　40 3.9.3　高斯分布　40 3.9.4　指數(shù)分布和Laplace 分布　41 3.9.5　Dirac 分布和經(jīng)驗(yàn)分布　42 3.9.6　分布的混合　42 3.10　常用函數(shù)的有用性質(zhì)　43 3.11　貝葉斯規(guī)則　45 3.12　連續(xù)型變量的技術(shù)細(xì)節(jié)　45 3.13　信息論　47 3.14　結(jié)構(gòu)化概率模型　49 第4　章數(shù)值計(jì)算　52 4.1　上溢和下溢　52 4.2　病態(tài)條件　53 4.3　基于梯度的優(yōu)化方法　53 4.4　約束優(yōu)化　60 4.5　實(shí)例：線性最小二乘　61 第5　章機(jī)器學(xué)習(xí)基礎(chǔ)　63 5.1　學(xué)習(xí)算法　63 5.1.1　任務(wù)T　63 5.1.2　性能度量P　66 5.1.3　經(jīng)驗(yàn)E　66 5.1.4　示例：線性回歸　68 5.2　容量、過(guò)擬合和欠擬合　70 5.2.1　沒(méi)有免費(fèi)午餐定理　73 5.2.2　正則化　74 5.3　超參數(shù)和驗(yàn)證集　76 5.4　估計(jì)、偏差和方差　77 5.4.1　點(diǎn)估計(jì)　77 5.4.2　偏差　78 5.4.3　方差和標(biāo)準(zhǔn)差　80 5.4.4　權(quán)衡偏差和方差以最小化均方誤差　81 5.4.5　一致性　82 5.5　最大似然估計(jì)　82 5.5.1　條件對(duì)數(shù)似然和均方誤差　84 5.5.2　最大似然的性質(zhì)　84 5.6　貝葉斯統(tǒng)計(jì)　85 5.7　監(jiān)督學(xué)習(xí)算法　88 5.7.1　概率監(jiān)督學(xué)習(xí)　88 5.7.2　支持向量機(jī)　88 5.7.3　其他簡(jiǎn)單的監(jiān)督學(xué)習(xí)算法　90 5.8　無(wú)監(jiān)督學(xué)習(xí)算法　91 5.8.1　主成分分析　92 5.8.2　k- 均值聚類　94 5.9　隨機(jī)梯度下降　94 5.10　構(gòu)建機(jī)器學(xué)習(xí)算法　96 5.11　促使深度學(xué)習(xí)發(fā)展的挑戰(zhàn)　96 5.11.1　維數(shù)災(zāi)難　97 5.11.2　局部不變性和平滑正則化　97 5.11.3　流形學(xué)習(xí)　99 第　2 部分深度網(wǎng)絡(luò)：現(xiàn)代實(shí)踐 第6　章深度前饋網(wǎng)絡(luò)　105 6.1　實(shí)例：學(xué)習(xí)XOR　107 6.2　基于梯度的學(xué)習(xí)　110 6.2.1　代價(jià)函數(shù)　111 6.2.2　輸出單元　113 6.3　隱藏單元　119 6.3.1　整流線性單元及其擴(kuò)展　120 6.3.2　logistic sigmoid 與雙曲正切函數(shù)　121 6.3.3　其他隱藏單元　122 6.4　架構(gòu)設(shè)計(jì)　123 6.4.1　萬(wàn)能近似性質(zhì)和深度　123 6.4.2　其他架構(gòu)上的考慮　125 6.5　反向傳播和其他的微分算法　126 6.5.1　計(jì)算圖　127 6.5.2　微積分中的鏈?zhǔn)椒▌t　127 6.5.3　遞歸地使用鏈?zhǔn)椒▌t來(lái)實(shí)現(xiàn)反向傳播　128 6.5.4　全連接MLP 中的反向傳播計(jì)算　131 6.5.5　符號(hào)到符號(hào)的導(dǎo)數(shù)　131 6.5.6　一般化的反向傳播　133 6.5.7　實(shí)例：用于MLP 訓(xùn)練的反向傳播　135 6.5.8　復(fù)雜化　137 6.5.9　深度學(xué)習(xí)界以外的微分　137 6.5.10　高階微分　138 6.6　歷史小記　139 第7　章深度學(xué)習(xí)中的正則化　141 7.1　參數(shù)范數(shù)懲罰　142 7.1.1　L2 參數(shù)正則化　142 7.1.2　L1 正則化　144 7.2　作為約束的范數(shù)懲罰　146 7.3　正則化和欠約束問(wèn)題　147 7.4　數(shù)據(jù)集增強(qiáng)　148 7.5　噪聲魯棒性　149 7.6　半監(jiān)督學(xué)習(xí)　150 7.7　多任務(wù)學(xué)習(xí)　150 7.8　提前終止　151 7.9　參數(shù)綁定和參數(shù)共享　156 7.10　稀疏表示　157 7.11　Bagging 和其他集成方法　158 7.12　Dropout　159 7.13　對(duì)抗訓(xùn)練　165 7.14　切面距離、正切傳播和流形正切分類器　167 第8　章深度模型中的優(yōu)化　169 8.1　學(xué)習(xí)和純優(yōu)化有什么不同　169 8.1.1　經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化　169 8.1.2　代理?yè)p失函數(shù)和提前終止　170 8.1.3　批量算法和小批量算法　170 8.2　神經(jīng)網(wǎng)絡(luò)優(yōu)化中的挑戰(zhàn)　173 8.2.1　病態(tài)　173 8.2.2　局部極小值　174 8.2.3　高原、鞍點(diǎn)和其他平坦區(qū)域　175 8.2.4　懸崖和梯度爆炸　177 8.2.5　長(zhǎng)期依賴　177 8.2.6　非精確梯度　178 8.2.7　局部和全局結(jié)構(gòu)間的弱對(duì)應(yīng)　178 8.2.8　優(yōu)化的理論限制　179 8.3　基本算法　180 8.3.1　隨機(jī)梯度下降　180 8.3.2　動(dòng)量　181 8.3.3　Nesterov 動(dòng)量　183 8.4　參數(shù)初始化策略　184 8.5　自適應(yīng)學(xué)習(xí)率算法　187 8.5.1　AdaGrad　187 8.5.2　RMSProp　188 8.5.3　Adam　189 8.5.4　選擇正確的優(yōu)化算法　190 8.6　二階近似方法　190 8.6.1　牛頓法　190 8.6.2　共軛梯度　191 8.6.3　BFGS　193 8.7　優(yōu)化策略和元算法　194 8.7.1　批標(biāo)準(zhǔn)化　194 8.7.2　坐標(biāo)下降　196 8.7.3　Polyak 平均　197 8.7.4　監(jiān)督預(yù)訓(xùn)練　197 8.7.5　設(shè)計(jì)有助于優(yōu)化的模型　199 8.7.6　延拓法和課程學(xué)習(xí)　199 第9　章卷積網(wǎng)絡(luò)　201 9.1　卷積運(yùn)算　201 9.2　動(dòng)機(jī)　203 9.3　池化　207 9.4　卷積與池化作為一種無(wú)限強(qiáng)的先驗(yàn)　210 9.5　基本卷積函數(shù)的變體　211 9.6　結(jié)構(gòu)化輸出　218 9.7　數(shù)據(jù)類型　219 9.8　高效的卷積算法　220 9.9　隨機(jī)或無(wú)監(jiān)督的特征　220 9.10　卷積網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ)　221 9.11　卷積網(wǎng)絡(luò)與深度學(xué)習(xí)的歷史　226 第　10 章序列建模：循環(huán)和遞歸網(wǎng)絡(luò)　227 10.1　展開(kāi)計(jì)算圖　228 10.2　循環(huán)神經(jīng)網(wǎng)絡(luò)　230 10.2.1　導(dǎo)師驅(qū)動(dòng)過(guò)程和輸出循環(huán)網(wǎng)絡(luò)　232 10.2.2　計(jì)算循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度　233 10.2.3　作為有向圖模型的循環(huán)網(wǎng)絡(luò)　235 10.2.4　基于上下文的RNN 序列建模　237 10.3　雙向RNN　239 10.4　基于編碼{解碼的序列到序列架構(gòu)　240 10.5　深度循環(huán)網(wǎng)絡(luò)　242 10.6　遞歸神經(jīng)網(wǎng)絡(luò)　243 10.7　長(zhǎng)期依賴的挑戰(zhàn)　244 10.8　回聲狀態(tài)網(wǎng)絡(luò)　245 10.9　滲漏單元和其他多時(shí)間尺度的策略　247 10.9.1　時(shí)間維度的跳躍連接　247 10.9.2　滲漏單元和一系列不同時(shí)間尺度　247 10.9.3　刪除連接　248 10.10　長(zhǎng)短期記憶和其他門控RNN　248 10.10.1　LSTM　248 10.10.2　其他門控RNN　250 10.11　優(yōu)化長(zhǎng)期依賴　251 10.11.1　截?cái)嗵荻取?51 10.11.2　引導(dǎo)信息流的正則化　252 10.12　外顯記憶　253 第　11 章實(shí)踐方法論　256 11.1　性能度量　256 11.2　默認(rèn)的基準(zhǔn)模型　258 11.3　決定是否收集更多數(shù)據(jù)　259 11.4　選擇超參數(shù)　259 11.4.1　手動(dòng)調(diào)整超參數(shù)　259 11.4.2　自動(dòng)超參數(shù)優(yōu)化算法　262 11.4.3　網(wǎng)格搜索　262 11.4.4　隨機(jī)搜索　263 11.4.5　基于模型的超參數(shù)優(yōu)化　264 11.5　調(diào)試策略　264 11.6　示例：多位數(shù)字識(shí)別　267 第　12 章應(yīng)用　269 12.1　大規(guī)模深度學(xué)習(xí)　269 12.1.1　快速的CPU 實(shí)現(xiàn)　269 12.1.2　GPU 實(shí)現(xiàn)　269 12.1.3　大規(guī)模的分布式實(shí)現(xiàn)　271 12.1.4　模型壓縮　271 12.1.5　動(dòng)態(tài)結(jié)構(gòu)　272 12.1.6　深度網(wǎng)絡(luò)的專用硬件實(shí)現(xiàn)　273 12.2　計(jì)算機(jī)視覺(jué)　274 12.2.1　預(yù)處理　275 12.2.2　數(shù)據(jù)集增強(qiáng)　277 12.3　語(yǔ)音識(shí)別　278 12.4　自然語(yǔ)言處理　279 12.4.1　n-gram　280 12.4.2　神經(jīng)語(yǔ)言模型　281 12.4.3　高維輸出　282 12.4.4　結(jié)合n-gram 和神經(jīng)語(yǔ)言模型　286 12.4.5　神經(jīng)機(jī)器翻譯　287 12.4.6　歷史展望　289 12.5　其他應(yīng)用　290 12.5.1　推薦系統(tǒng)　290 12.5.2　知識(shí)表示、推理和回答　292 第3　部分深度學(xué)習(xí)研究 第　13 章線性因子模型　297 13.1　概率PCA 和因子分析　297 13.2　獨(dú)立成分分析　298 13.3　慢特征分析　300 13.4　稀疏編碼　301 13.5　PCA 的流形解釋　304 第　14 章自編碼器　306 14.1　欠完備自編碼器　306 14.2　正則自編碼器　307 14.2.1　稀疏自編碼器　307 14.2.2　去噪自編碼器　309 14.2.3　懲罰導(dǎo)數(shù)作為正則　309 14.3　表示能力、層的大小和深度　310 14.4　隨機(jī)編碼器和解碼器　310 14.5　去噪自編碼器詳解　311 14.5.1　得分估計(jì)　312 14.5.2　歷史展望　314 14.6　使用自編碼器學(xué)習(xí)流形　314 14.7　收縮自編碼器　317 14.8　預(yù)測(cè)稀疏分解　319 14.9　自編碼器的應(yīng)用　319 第　15 章表示學(xué)習(xí)　321 15.1　貪心逐層無(wú)監(jiān)督預(yù)訓(xùn)練　322 15.2　遷移學(xué)習(xí)和領(lǐng)域自適應(yīng)　326 15.3　半監(jiān)督解釋因果關(guān)系　329 15.4　分布式表示　332 15.5　得益于深度的指數(shù)增益　336 15.6　提供發(fā)現(xiàn)潛在原因的線索　337 第　16 章深度學(xué)習(xí)中的結(jié)構(gòu)化概率模型　339 16.1　非結(jié)構(gòu)化建模的挑戰(zhàn)　339 16.2　使用圖描述模型結(jié)構(gòu)　342 16.2.1　有向模型　342 16.2.2　無(wú)向模型　344 16.2.3　配分函數(shù)　345 16.2.4　基于能量的模型　346 16.2.5　分離和d-分離　347 16.2.6　在有向模型和無(wú)向模型中轉(zhuǎn)換　350 16.2.7　因子圖　352 16.3　從圖模型中采樣　353 16.4　結(jié)構(gòu)化建模的優(yōu)勢(shì)　353 16.5　學(xué)習(xí)依賴關(guān)系　354 16.6　推斷和近似推斷　354 16.7　結(jié)構(gòu)化概率模型的深度學(xué)習(xí)方法 355第 17 章蒙特卡羅方法　359 17.1　采樣和蒙特卡羅方法　359 17.1.1　為什么需要采樣　359 17.1.2　蒙特卡羅采樣的基礎(chǔ)　359 17.2　重要采樣　360 17.3　馬爾可夫鏈蒙特卡羅方法　362 17.4　Gibbs 采樣　365 17.5　不同的峰值之間的混合挑戰(zhàn)　365 17.5.1　不同峰值之間通過(guò)回火來(lái)混合　367 17.5.2　深度也許會(huì)有助于混合　368 第　18 章直面配分函數(shù)　369 18.1　對(duì)數(shù)似然梯度　369 18.2　隨機(jī)最大似然和對(duì)比散度　370 18.3　偽似然　375 18.4　得分匹配和比率匹配　376 18.5　去噪得分匹配　378 18.6　噪聲對(duì)比估計(jì)　378 18.7　估計(jì)配分函數(shù)　380 18.7.1　退火重要采樣　382 18.7.2　橋式采樣　384 第　19 章近似推斷　385 19.1　把推斷視作優(yōu)化問(wèn)題　385 19.2　期望最大化　386 19.3　最大后驗(yàn)推斷和稀疏編碼　387 19.4　變分推斷和變分學(xué)習(xí)　389 19.4.1　離散型潛變量　390 19.4.2　變分法　394 19.4.3　連續(xù)型潛變量　396 19.4.4　學(xué)習(xí)和推斷之間的相互作用　397 19.5　學(xué)成近似推斷　397 19.5.1　醒眠算法　398 19.5.2　學(xué)成推斷的其他形式　398 第　20 章深度生成模型　399 20.1　玻爾茲曼機(jī)　399 20.2　受限玻爾茲曼機(jī)　400 20.2.1　條件分布　401 20.2.2　訓(xùn)練受限玻爾茲曼機(jī)　402 20.3　深度信念網(wǎng)絡(luò)　402 20.4　深度玻爾茲曼機(jī)　404 20.4.1　有趣的性質(zhì)　406 20.4.2　DBM 均勻場(chǎng)推斷　406 20.4.3　DBM 的參數(shù)學(xué)習(xí)　408 20.4.4　逐層預(yù)訓(xùn)練　408 20.4.5　聯(lián)合訓(xùn)練深度玻爾茲曼機(jī)　410 20.5　實(shí)值數(shù)據(jù)上的玻爾茲曼機(jī)　413 20.5.1　Gaussian-Bernoulli RBM　413 20.5.2　條件協(xié)方差的無(wú)向模型　414 20.6　卷積玻爾茲曼機(jī)　417 20.7　用于結(jié)構(gòu)化或序列輸出的玻爾茲曼機(jī)　418 20.8　其他玻爾茲曼機(jī)　419 20.9　通過(guò)隨機(jī)操作的反向傳播　419 20.10　有向生成網(wǎng)絡(luò)　422 20.10.1　sigmoid 信念網(wǎng)絡(luò)　422 20.10.2　可微生成器網(wǎng)絡(luò)　423 20.10.3　變分自編碼器　425 20.10.4　生成式對(duì)抗網(wǎng)絡(luò)　426 20.10.5　生成矩匹配網(wǎng)絡(luò)　429 20.10.6　卷積生成網(wǎng)絡(luò)　430 20.10.7　自回歸網(wǎng)絡(luò)　430 20.10.8　線性自回歸網(wǎng)絡(luò)　430 20.10.9　神經(jīng)自回歸網(wǎng)絡(luò)　431 20.10.10　NADE　432 20.11　從自編碼器采樣　433 20.11.1　與任意去噪自編碼器相關(guān)的馬爾可夫鏈 .　434 20.11.2　夾合與條件采樣　434 20.11.3　回退訓(xùn)練過(guò)程　435 20.12　生成隨機(jī)網(wǎng)絡(luò)　435 20.13　其他生成方案　436 20.14　評(píng)估生成模型　437 20.15　結(jié)論　438 參考文獻(xiàn)　439 索引　486