本書介紹了深度學(xué)習(xí)的基本理論、工程實踐及其在產(chǎn)業(yè)界的部署和應(yīng)用。在深度學(xué)習(xí)框架的介紹中，書中結(jié)合代碼詳細講解了經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和基于自注意力機制的Transformer網(wǎng)絡(luò)及其變體。還介紹了這些模型在圖像分類、目標(biāo)檢測、語義分割、欺詐檢測和語音識別等領(lǐng)域的應(yīng)用。此外，書中還涵蓋了深度強化學(xué)習(xí)和生成對抗網(wǎng)絡(luò)的前沿進展。在系統(tǒng)工程和產(chǎn)業(yè)實踐方面，書中解釋了如何使用分布式系統(tǒng)訓(xùn)練和部署模型以處理大規(guī)模數(shù)據(jù)。本書系統(tǒng)介紹了構(gòu)建深度學(xué)習(xí)推理系統(tǒng)的過程，并結(jié)合代碼講解了分布式深度學(xué)習(xí)推理系統(tǒng)需要考慮的工程化因素，例如分布式問題和消息隊列，以及從工程化角度出發(fā)的解決方法。本書提供了每個經(jīng)典模型和應(yīng)用實例的TensorFlow和PyTorch版本代碼，為深度學(xué)習(xí)初學(xué)者和算法開發(fā)者提供理論學(xué)習(xí)、代碼實踐和工程落地的指導(dǎo)與幫助。
本書既適合計算機、自動化、電子、通信、數(shù)學(xué)、物理等相關(guān)專業(yè)背景的研究生和高年級本科生，也適合那些希望從事或準(zhǔn)備轉(zhuǎn)向人工智能領(lǐng)域的專業(yè)技術(shù)人員。
全面系統(tǒng)講解神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、Transformer等經(jīng)典深度學(xué)習(xí)架構(gòu)，同步配套TensorFlow與PyTorch代碼。
從理論到實戰(zhàn)，突出系統(tǒng)工程在深度學(xué)習(xí)中的應(yīng)用，手把手教你搭建深度學(xué)習(xí)系統(tǒng)。
無論是AlphaGo、生成對抗網(wǎng)絡(luò)，還是深度學(xué)習(xí)推理系統(tǒng)DeepGo，總有一項深度學(xué)習(xí)前沿技術(shù)讓你興奮不已。
黨的二十大報告指出：教育、科技、人才是全面建設(shè)社會主義現(xiàn)代化國家的基礎(chǔ)性、戰(zhàn)
略性支撐。必須堅持科技是第一生產(chǎn)力、人才是第一資源、創(chuàng)新是第一動力，深入實施科教
興國戰(zhàn)略、人才強國戰(zhàn)略、創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略，這三大戰(zhàn)略共同服務(wù)于創(chuàng)新型國家的建設(shè)。
高等教育與經(jīng)濟社會發(fā)展緊密相連，對促進就業(yè)創(chuàng)業(yè)、助力經(jīng)濟社會發(fā)展、增進人民福祉具
有重要意義。
在本書中，筆者將帶領(lǐng)廣大讀者一起踏上一段奇妙而充滿挑戰(zhàn)的人工智能之旅，揭示人
工智能的神秘面紗。無論讀者是剛剛踏入人工智能領(lǐng)域的初學(xué)者，還是已經(jīng)在這個領(lǐng)域探索
多年的專業(yè)人士，本書都將為大家提供全面而深入的指導(dǎo)。
深度學(xué)習(xí)作為人工智能領(lǐng)域的重要分支，正以其卓越的能力和廣泛的應(yīng)用引領(lǐng)著科技的
未來，然而，要想在這個領(lǐng)域取得真正突破和應(yīng)用創(chuàng)新，僅僅依靠對理論知識的理解是遠遠
不夠的。作為一位專業(yè)的人工智能從業(yè)者，需要掌握工程化的技能，理解人工智能系統(tǒng)的整
體架構(gòu)和開發(fā)流程。本書通過深入淺出的方式，結(jié)合豐富的實際案例和工程實踐，讓讀者能
夠真正上手完整的人工智能項目，掌握將深度學(xué)習(xí)理論應(yīng)用于實際生產(chǎn)的關(guān)鍵技能。
在筆者的職業(yè)經(jīng)歷中，學(xué)術(shù)研究和產(chǎn)業(yè)實踐是緊密結(jié)合的。要將先進的深度學(xué)習(xí)模型轉(zhuǎn)
換為可行的人工智能產(chǎn)品，需要克服許多技術(shù)難題和工程挑戰(zhàn)。除了模型本身的優(yōu)化和創(chuàng)新，
深度學(xué)習(xí)系統(tǒng)的整體性能也是至關(guān)重要的，包括運算速度、規(guī)�；芰头�(wěn)健性等。本書不
僅對深度學(xué)習(xí)的基礎(chǔ)理論進行了深入淺出的講解，還通過真實案例的工程實踐，向讀者展示
了構(gòu)建完整人工智能系統(tǒng)的方法和技巧。
本書共10 章，旨在幫助讀者逐步掌握深度學(xué)習(xí)的核心知識和實際應(yīng)用技能。第1～8 章
詳細講解深度學(xué)習(xí)的基本概念，包括神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、Transformer
及深度學(xué)習(xí)的前沿技術(shù)。通過逐層深入的講解，讀者將從根本上了解這些概念的起源、發(fā)展
和應(yīng)用。第9 章和第10 章著眼于真實世界的分布式系統(tǒng)與應(yīng)用案例，通過具體的項目實
踐，引導(dǎo)讀者了解深度學(xué)習(xí)系統(tǒng)的構(gòu)建過程，并將其應(yīng)用于實際場景中。全書突出了深度學(xué)
習(xí)技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用，并搭配有真實項目案例。本書特別強調(diào)實踐的重要性，為讀者提
供豐富的圖示、示例代碼和視頻，幫助讀者快速掌握基本概念，并展開大規(guī)模實踐。通過這
些實戰(zhàn)案例，讀者將學(xué)會如何處理真實世界中的數(shù)據(jù)集、設(shè)計高效的模型架構(gòu)，并解決實際
應(yīng)用中的挑戰(zhàn)。本書第4 章的語音識別與語音評測部分及第8 章的大部分內(nèi)容由徐罡博士撰
寫，以期為讀者提供全面、前沿的深度學(xué)習(xí)理論知識。
為了保證全書的權(quán)威性，全部課程代碼均經(jīng)過嚴格審閱。由于篇幅的局限性，本書所呈
VI
現(xiàn)的代碼沒有嚴格遵守PEP 8 規(guī)范，更加規(guī)范的代碼可參考隨書代碼庫。
資源下載提示
素材（源代碼）等資源：掃描目錄上方的二維碼下載。
在本書的寫作過程中，中國運載火箭技術(shù)研究院的李旗挺教授、透徹實驗室的王偉研究
員、北京航空航天大學(xué)的張澤文同學(xué)、加州大學(xué)圣地亞哥分校的楊若淇同學(xué)對本書的內(nèi)容進
行了審閱，并貢獻了部分模型代碼，非常感謝他們的鼎力相助。與此同時還得到了清華大學(xué)
出版社趙佳霓編輯的幫助，在這里筆者對她表示由衷的感謝。
希望讀者通過本書的學(xué)習(xí)和實踐，掌握人工智能的核心知識和技能，成為行業(yè)中的領(lǐng)軍
人物，為未來的科技創(chuàng)新做出貢獻。期待與每位讀者共同探究人工智能的奧秘，開創(chuàng)美好的
未來。讓筆者帶領(lǐng)大家一同踏上人工智能的征程，探索無盡的可能性。
王書浩
2024 年1 月于北京
本書源代碼
第
1
章神經(jīng)網(wǎng)絡(luò)深入
1
11 打開深度學(xué)習(xí)之門
1
12 從優(yōu)化問題講起
6
121 牛頓與開普勒的對話
6
122 擬合與分類的數(shù)學(xué)模型
6
123 通過訓(xùn)練數(shù)據(jù)優(yōu)化模型參數(shù)
8
124 優(yōu)化方法 13
13 深度神經(jīng)網(wǎng)絡(luò) 16
131 誰來做特征提取 16
132 人工神經(jīng)元與激活函數(shù) 17
133 神經(jīng)網(wǎng)絡(luò)及其數(shù)學(xué)本質(zhì) 21
14 正則化方法 29
141 欠擬合與過擬合 29
142 正則化方法 31
143 一些訓(xùn)練技巧 35
15 模型評價 36
151 評價指標(biāo)的重要性 36
152 混淆矩陣 36
153 典型評價指標(biāo) 38
16 深度學(xué)習(xí)能力的邊界 39
161 深度學(xué)習(xí)各領(lǐng)域的發(fā)展階段 39
162 不適用現(xiàn)有深度學(xué)習(xí)技術(shù)的任務(wù) 39
163 深度學(xué)習(xí)的未來 40
本章習(xí)題 41
第
2
章卷積神經(jīng)網(wǎng)絡(luò)——圖像分類與目標(biāo)檢測 42
21 卷積的基本概念 42
VIII
211 卷積的定義 42
212 卷積的本質(zhì) 43
213 卷積的重要參數(shù) 43
214 池化層 45
22 卷積神經(jīng)網(wǎng)絡(luò) 46
221 典型的卷積神經(jīng)網(wǎng)絡(luò) 47
222 LeNet 50
223 AlexNet 53
224 VGGNet 57
225 ResNet 63
226 能力對比 75
23 目標(biāo)檢測 76
231 R-CNN 76
232 Fast R-CNN 78
233 Faster R-CNN 79
234 YOLO 79
本章習(xí)題 81
第
3
章卷積神經(jīng)網(wǎng)絡(luò)——語義分割 82
31 語義分割基礎(chǔ) 82
311 語義分割的應(yīng)用領(lǐng)域 82
312 全卷積神經(jīng)網(wǎng)絡(luò) 83
313 反卷積與空洞卷積 83
314 U-Net 85
315 DeepLab v1 和v2 90
316 DeepLab v3 95
317 兩種架構(gòu)的融合——DeepLab v3 101
32 模型可視化 108
321 卷積核可視化 109
322 特征圖可視化 109
323 表征向量可視化 109
324 遮蓋分析與顯著梯度分析 109
33 病理影像分割初探 110
331 病理——醫(yī)學(xué)診斷的“金標(biāo)準(zhǔn)” 110
332 病理人工智能的挑戰(zhàn) 111
333 真實模型訓(xùn)練流程112
IX
34 自監(jiān)督學(xué)習(xí) 117
341 方法概述 117
342 自監(jiān)督學(xué)習(xí)算法介紹 118
35 模型訓(xùn)練流程 123
351 成本函數(shù) 123
352 自動調(diào)節(jié)學(xué)習(xí)速率 123
353 模型保存與加載 123
本章習(xí)題 124
第
4
章高級循環(huán)神經(jīng)網(wǎng)絡(luò) 125
41 自然語言處理基礎(chǔ) 125
411 時間維度的重要性 125
412 自然語言處理 125
413 詞袋法 126
414 詞嵌入 127
42 循環(huán)神經(jīng)網(wǎng)絡(luò) 128
421 時序數(shù)據(jù)建模的模式 128
422 循環(huán)神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu) 128
423 LSTM 131
424 GRU 134
43 基于會話的欺詐檢測 137
431 欺詐的模式 137
432 技術(shù)挑戰(zhàn) 138
433 數(shù)據(jù)預(yù)處理 138
434 實踐循環(huán)神經(jīng)網(wǎng)絡(luò) 140
44 語音識別與語音評測 148
441 特征提取 148
442 模型結(jié)構(gòu) 149
443 CTC 損失函數(shù) 151
本章習(xí)題 152
第
5
章分布式深度學(xué)習(xí)系統(tǒng) 153
51 分布式系統(tǒng) 153
511 挑戰(zhàn)與應(yīng)對 153
512 主從架構(gòu) 154
513 Hadoop 與Spark 154
X
52 分布式深度學(xué)習(xí)系統(tǒng) 157
521 CPU 與GPU 157
522 分布式深度學(xué)習(xí) 160
523 通信——對參數(shù)進行同步 164
53 微服務(wù)架構(gòu) 165
531 微服務(wù)的基本概念 166
532 消息隊列 167
54 分布式推理系統(tǒng) 167
541 深度學(xué)習(xí)推理框架 167
542 推理系統(tǒng)架構(gòu) 169
本章習(xí)題 171
第
6
章深度學(xué)習(xí)前沿 173
61 深度強化學(xué)習(xí) 173
611 強化學(xué)習(xí)概述 173
612 深度強化學(xué)習(xí)概述 174
613 任天堂游戲的深度強化學(xué)習(xí) 175
62 AlphaGo 176
621 為什么圍棋這么困難 176
622 AlphaGo 系統(tǒng)架構(gòu) 177
623 AlphaGo Zero 181
63 生成對抗網(wǎng)絡(luò) 182
631 生成對抗網(wǎng)絡(luò)概述 182
632 典型的生成對抗網(wǎng)絡(luò) 182
64 未來在哪里 207
本章習(xí)題 210
第
7
章專題講座 211
71 DenseNet 211
72 Inception 216
73 Xception 230
74 ResNeXt 236
75 Transformer 240
本章習(xí)題 242
第
8
章Transformer
和它的朋友們 243
81 注意力模型 243
XI
811 看圖說話 243
812 語言翻譯 245
813 幾種不同的注意力機制 246
82 Transformer 250
821 自注意力機制和Transformer 250
822 Transformer 在視覺領(lǐng)域的應(yīng)用 278
本章習(xí)題 293
第
9
章核心實戰(zhàn) 294
91 圖像分類 295
911 ImageNet 數(shù)據(jù)集概述 295
912 ImageNet 數(shù)據(jù)探索與預(yù)處理 295
913 模型訓(xùn)練 299
914 模型測試 304
915 模型評價 307
916 貓狗大戰(zhàn)數(shù)據(jù)集 309
917 模型導(dǎo)出 310
92 語義分割 311
921 數(shù)字病理切片介紹311
922 數(shù)字病理切片預(yù)處理 314
923 樣本均衡性處理 317
924 模型訓(xùn)練 319
925 模型測試 324
926 模型導(dǎo)出 331
本章習(xí)題 332
第10
章深度學(xué)習(xí)推理系統(tǒng) 333
101 整體架構(gòu) 333
102 調(diào)度器模塊 334
103 工作節(jié)點模塊 340
104 日志模塊 347
本章習(xí)題 349
參考文獻 350
擴展資源二維碼 351
書單推薦
