為了適應和持續(xù)推動人工智能學科和多學科交叉領(lǐng)域的新發(fā)展，本書遵循“理論化—典型化—應用化”的思路，秉持以理論學習和工程應用為主要背景論述深度學習基礎(chǔ)理論、方法和應用的宗旨，結(jié)合團隊多年領(lǐng)域研究和課堂教學實踐，從深度神經(jīng)網(wǎng)絡的核心結(jié)構(gòu)和原理出發(fā)，闡述了典型神經(jīng)網(wǎng)絡及其實際應用。
全書分為四部分，共16章。其中，深度學習理論概述部分(第1章)分析了人工智能的歷史、發(fā)展與現(xiàn)狀；深度學習模型基礎(chǔ)部分（第2~8章)從神經(jīng)網(wǎng)絡的基礎(chǔ)出發(fā)，討論了人工神經(jīng)網(wǎng)絡的結(jié)構(gòu)、原理、性質(zhì)與典型應用，并依序詳細回顧了反向傳播算法、卷積神經(jīng)網(wǎng)絡、自編碼網(wǎng)絡、Hopfield神經(jīng)網(wǎng)絡、循環(huán)神經(jīng)網(wǎng)絡等幾類基本網(wǎng)絡的功能、結(jié)構(gòu)、算法與典型應用； 深度學習進階部分（第9~14章)分別對殘差網(wǎng)絡、生成式對抗網(wǎng)絡、深度強化學習、圖神經(jīng)網(wǎng)絡、多尺度深度幾何網(wǎng)絡、Transformer網(wǎng)絡進行了介紹；
深度學習實戰(zhàn)和展望部分（第15和16章)簡述了幾種深度學習實驗平臺、工具的實例與方法，并在深度學習總結(jié)與展望中對深度學習的發(fā)展歷程進行了回顧，展望了深度學習未來的發(fā)展方向。
本書可用于人工智能、智能科學與技術(shù)、大數(shù)據(jù)科學與技術(shù)、智能機器人、電子科學與技術(shù)、人工智能技術(shù)服務等領(lǐng)域相關(guān)專業(yè)本科生或研究生的實踐教學，也可供相關(guān)專業(yè)技術(shù)人員參考。
受生物神經(jīng)網(wǎng)絡的啟發(fā)，人工神經(jīng)網(wǎng)絡通過模擬人腦工作的分布式協(xié)同并行機制來處理復雜任務，成為人工智能領(lǐng)域重要的研究方向。為了提升神經(jīng)網(wǎng)絡的“智力水平”，將神經(jīng)網(wǎng)絡由“淺”做“深”，網(wǎng)絡的結(jié)構(gòu)設計成為領(lǐng)域中重要的研究課題。卷積神經(jīng)網(wǎng)絡通過局部連接、權(quán)值共享等思想約減參數(shù)量，擴展了網(wǎng)絡深度，開啟了“深度學習時代”�，F(xiàn)在，深度學習指使用深度神經(jīng)網(wǎng)絡， 通過訓練從大量數(shù)據(jù)中學習知識，它是人工智能領(lǐng)域最熱門的研究方向。
深度神經(jīng)網(wǎng)絡設計范式中，一方面， 通過多通路、并行化的網(wǎng)絡設計來削弱單純增加“深度”帶來的種種問題，將塔式結(jié)構(gòu)、對稱性等融入網(wǎng)絡的設計過程中；另一方面， 深度生成模型(如生成式對抗網(wǎng)絡和變分自編碼器等)可以通過生成訓練數(shù)據(jù)集的概率密度函數(shù)來實現(xiàn)數(shù)據(jù)擴充。深度學習與強化學習優(yōu)勢互補，形成了更接近人類思維方式的深度強化學習，為復雜系統(tǒng)的感知決策問題提供了解決思路。圖域信息處理中的圖神經(jīng)網(wǎng)絡對于非歐幾里得數(shù)據(jù)的圖譜結(jié)構(gòu)數(shù)據(jù)能夠很好地進行表示，同時具有較好的性能與可解釋性，也走向了和深度學習的融合之路。
在人工智能領(lǐng)域的深度學習研究如火如荼展開的同時，它在交叉領(lǐng)域也得到了廣泛應用：深度神經(jīng)網(wǎng)絡在物理、醫(yī)學、天文、航空航天等學科中成為新的研究工具，并催生了一批新方法和新成果。從未有如此多領(lǐng)域的研究人員和行業(yè)從業(yè)人員都涉獵神經(jīng)網(wǎng)絡的拓展應用，從未有如此多的年輕學生對神經(jīng)網(wǎng)絡投入學習熱情。
為了適應和持續(xù)推動學科和領(lǐng)域的新發(fā)展，本團隊秉持以理論學習和工程應用為主要背景論述深度學習基礎(chǔ)理論、方法和應用的宗旨，結(jié)合團隊多年領(lǐng)域研究和課堂教學實踐，編寫了本書。本書從深度學習的模型基礎(chǔ)出發(fā)， 闡述了深度學習的范疇、基本原理等內(nèi)容， 匯集了一批經(jīng)典的、目前仍在神經(jīng)科學研究領(lǐng)域中得到廣泛應用的技術(shù)方法，以及一些當前正在興起的、已處于應用階段或正待完善的新的研究技術(shù)。本書的編寫遵循“理論化—典型化—應用化”的思路，章節(jié)安排都從深度神經(jīng)網(wǎng)絡的核心結(jié)構(gòu)和原理出發(fā)，引出典型神經(jīng)網(wǎng)絡，最后給出實際應用。
本書的出版離不開團隊多位老師和研究生的支持與幫助，感謝團隊中侯彪、劉靜、公茂果、王爽、張向榮、吳建設、緱水平、梁雪峰、尚榮華、劉波、劉若辰等教授以及馬晶晶、馬文萍、白靜、朱虎明、田小林、張小華、曹向海等副教授對我們的關(guān)心支持與辛勤付出。感謝張丹、唐旭、任博、劉旭、馮志璽等老師在學術(shù)交流過程中無私地付出。
感謝西安電子科技大學智能感知與圖像理解教育部重點實驗室、智能感知與計算國際合作聯(lián)合實驗室、 智能感知與計算國際聯(lián)合研究中心、教育部創(chuàng)新團隊和國家“111”創(chuàng)新引智基地的支持；同時，我們的工作也得到了國家自然科學基金創(chuàng)新研究群體基金（61621005）、國家自然科學基金重點項目（61836009）、國家自然科學基金重大研究計劃（91438201）、國防科技173計劃項目、國家自然科學基金（62076192、61902298、61906150、62006177）、教育部規(guī)劃項目、教育部“111”引智計劃（B07048）、教育部長江學者創(chuàng)新研究團隊計劃（IRT 15R53）、陜西省創(chuàng)新團隊（2020TD017）、陜西省重點研發(fā)計劃（2019ZDLGY0306）等科研項目的支持，特此感謝。還要特別感謝西安電子科技大學出版社的大力支持和幫助，衷心感謝毛紅兵老師、 高維岳老師及其他編輯老師付出的辛勤勞動與努力， 還要感謝書中所有被引用文獻的作者。
20世紀90年代初我們出版了《神經(jīng)網(wǎng)絡系統(tǒng)理論》《神經(jīng)網(wǎng)絡計算》《神經(jīng)網(wǎng)絡的應用與實現(xiàn)》等系列專著。三十多年來人工神經(jīng)網(wǎng)絡已經(jīng)取得了長足的進步，本書在之前的研究基礎(chǔ)上對近年來神經(jīng)網(wǎng)絡的發(fā)展現(xiàn)狀及研究趨勢進行概括和闡述，取材和安排完全源于作者的偏好。由于水平有限，書中不妥之處在所難免，懇請廣大讀者批評指正。
作 者
2023年8月于西安電子科技大學
第1章 緒論 1
1.1 人工智能 1
1.1.1 人工智能 1
1.1.2 人工神經(jīng)網(wǎng)絡與人工智能的區(qū)別 8
1.1.3 人工神經(jīng)網(wǎng)絡與人工智能的互補性 9
1.2 機器學習 10
1.2.1 第一次研究高潮 10
1.2.2 第二次研究高潮 15
1.2.3 神經(jīng)網(wǎng)絡: 最近30年 18
1.3 深度學習 23
本章參考文獻 23
第2章 神經(jīng)網(wǎng)絡基礎(chǔ) 26
2.1 神經(jīng)元 26
2.1.1 生物神經(jīng)元 26
2.1.2 McCullochPitts神經(jīng)元 27
2.2 卷積層 33
2.3 池化層 36
2.4 正則化 38
2.5 梯度下降法 38
2.5.1 線性單元的梯度下降法 38
2.5.2 隨機梯度下降法 41
本章參考文獻 42
第3章 反向傳播算法 43
3.1 反向傳播機制 43
3.2 反向傳播算法性能分析 47
3.3 改進的反向傳播算法 48
3.3.1 帶動量項自適應變步長BP算法(ABPM) 48
3.3.2 同倫BP算法(HBP) 49
3.3.3 LMBP算法 49
3.4 反向傳播算法實現(xiàn)的幾點說明 50
本章參考文獻 51
第4章 卷積神經(jīng)網(wǎng)絡（一） 52
4.1 結(jié)構(gòu)和學習算法 52
4.1.1 卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu) 52
4.1.2 卷積神經(jīng)網(wǎng)絡的學習算法 54
4.2 兩種經(jīng)典的卷積神經(jīng)網(wǎng)絡 55
4.2.1 LeNet 55
4.2.2 AlexNet 56
4.3 案例與實踐 57
4.3.1 圖像語義分割 57
4.3.2 目標檢測 59
4.3.3 目標跟蹤 61
本章參考文獻 63
第5章 卷積神經(jīng)網(wǎng)絡（二） 64
5.1 卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)和原理 64
5.1.1 卷積運算 64
5.1.2 池化操作 65
5.1.3 激活函數(shù) 66
5.1.4 損失函數(shù) 66
5.2 幾種經(jīng)典的深度卷積神經(jīng)網(wǎng)絡 66
5.2.1 VGG 66
5.2.2 GoogLeNet 68
5.3 案例與實踐 71
5.3.1 圖像分類 71
5.3.2 圖像分割 72
5.3.3 目標檢測 73
本章參考文獻 76
第6章 自編碼網(wǎng)絡 77
6.1 自編碼網(wǎng)絡的結(jié)構(gòu) 77
6.2 自編碼網(wǎng)絡的原理 78
6.3 幾種經(jīng)典的自編碼網(wǎng)絡 79
6.3.1 稀疏自編碼(SAE) 79
6.3.2 收縮自編碼(CAE) 80
6.3.3 棧式自編碼(SA) 81
6.4 案例與實踐 82
6.4.1 圖像分類 82
6.4.2 目標檢測 84
6.4.3 目標跟蹤 86
本章參考文獻 87
第7章 Hopfield神經(jīng)網(wǎng)絡 89
7.1 Hopfield神經(jīng)網(wǎng)絡的結(jié)構(gòu) 89
7.2 Hopfield反饋神經(jīng)網(wǎng)絡的原理 91
7.3 Hopfield反饋神經(jīng)網(wǎng)絡的非線性動力學 95
7.3.1 狀態(tài)軌跡為網(wǎng)絡的穩(wěn)定點 96
7.3.2 狀態(tài)軌跡為極限環(huán) 97
7.3.3 狀態(tài)軌跡為混沌狀態(tài) 98
7.3.4 狀態(tài)軌跡發(fā)散 98
7.4 案例與實踐 98
7.4.1 TSP問題 98
7.4.2 圖像分割 100
7.4.3 人臉識別 101
本章參考文獻 104
第8章 循環(huán)神經(jīng)網(wǎng)絡 106
8.1 循環(huán)神經(jīng)網(wǎng)絡的結(jié)構(gòu) 106
8.2 循環(huán)神經(jīng)網(wǎng)絡的原理 108
8.3 幾種經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡 109
8.3.1 長短時記憶網(wǎng)絡(LSTM) 109
8.3.2 雙向循環(huán)神經(jīng)網(wǎng)絡(BiRNN) 110
8.3.3 深度雙向循環(huán)神經(jīng)網(wǎng)絡(Deep BiRNN) 111
8.4 案例與實踐 112
8.4.1 自動問答 112
8.4.2 文本摘要生成 114
8.4.3 目標跟蹤 117
本章參考文獻 119
第9章 殘差網(wǎng)絡 121
9.1 結(jié)構(gòu)和原理 121
9.1.1 殘差網(wǎng)絡的結(jié)構(gòu) 121
9.1.2 殘差網(wǎng)絡的原理 123
9.2 幾種經(jīng)典的殘差網(wǎng)絡 124
9.2.1 寬剩余網(wǎng)絡 124
9.2.2 深度殘差金字塔網(wǎng)絡 127
9.2.3 空洞殘差網(wǎng)絡 131
9.3 案例與實踐 133
9.3.1 圖像分類 133
9.3.2 圖像分割 135
9.3.3 目標檢測 138
本章參考文獻 139
第10章 生成式對抗網(wǎng)絡 141
10.1 結(jié)構(gòu)和原理 141
10.1.1 生成式對抗網(wǎng)絡的原理 141
10.1.2 生成式對抗網(wǎng)絡的結(jié)構(gòu) 141
10.2 幾種經(jīng)典的生成式對抗網(wǎng)絡 145
10.2.1 信息最大化生成對抗網(wǎng)絡(InfoGAN) 145
10.2.2 條件生成對抗網(wǎng)絡(CGAN) 146
10.2.3 深度卷積生成對抗網(wǎng)絡(DCGAN) 146
10.2.4 循環(huán)一致性生成對抗網(wǎng)絡(CycleGAN) 147
10.3 案例與實踐 149
10.3.1 數(shù)據(jù)增強 149
10.3.2 圖像補全(修復) 150
10.3.3 文本翻譯成圖像 152
本章參考文獻 154
第11章 深度強化學習 156
11.1 結(jié)構(gòu)和原理 156
11.1.1 深度強化學習的結(jié)構(gòu) 156
11.1.2 深度強化學習的原理 157
11.2 幾種經(jīng)典的深度強化學習網(wǎng)絡 160
11.2.1 基于卷積神經(jīng)網(wǎng)絡的深度強化學習 160
11.2.2 基于遞歸神經(jīng)網(wǎng)絡的深度強化學習 162
11.3 案例與實踐 164
11.3.1 玩Atari游戲 164
11.3.2 目標檢測 165
11.3.3 目標跟蹤 167
本章參考文獻 171
第12章 圖神經(jīng)網(wǎng)絡 172
12.1 結(jié)構(gòu)和原理 172
12.1.1 圖神經(jīng)網(wǎng)絡的結(jié)構(gòu) 172
12.1.2 圖神經(jīng)網(wǎng)絡的原理 173
12.2 幾種經(jīng)典的圖神經(jīng)網(wǎng)絡 176
12.2.1 基于空間域的圖卷積神經(jīng)網(wǎng)絡 177
12.2.2 基于譜域的圖卷積神經(jīng)網(wǎng)絡 181
12.2.3 圖注意力網(wǎng)絡 182
12.3 案例與實踐 184
12.3.1 圖像分類 184
12.3.2 目標檢測 187
12.3.3 語義分割 190
本章參考文獻 191
第13章 多尺度深度幾何網(wǎng)絡 194
13.1 多尺度分析 194
13.1.1 小波神經(jīng)網(wǎng)絡 195
13.1.2 多小波網(wǎng)絡 196
13.2 多尺度幾何網(wǎng)絡 201
13.2.1 方向多分辨脊波網(wǎng)絡 202
13.2.2 深度曲線波散射網(wǎng)絡 209
13.2.3 輪廓波卷積神經(jīng)網(wǎng)絡 211
13.3 案例與實踐 213
13.3.1 極化SAR圖像分類 213
13.3.2 SAR圖像目標檢測 216
本章參考文獻 218
第14章 Transformer網(wǎng)絡 221
14.1 Transformer基礎(chǔ)知識 221
14.1.1 Transformer的介紹 221
14.1.2 Transformer的結(jié)構(gòu)和原理 221
14.2 常見的Transformer變體 225
14.2.1 基于模型架構(gòu)的改進 226
14.2.2 基于其他模塊級的改進 227
14.3 案例與實踐 228
14.3.1 圖像分類 228
14.3.2 圖像分割 229
14.3.3 目標檢測 232
本章參考文獻 233
第15章 深度學習實驗平臺 235
15.1 Pytorch 235
15.1.1 平臺介紹與應用優(yōu)勢 235
15.1.2 常用的工具包 236
15.1.3 編碼實例 236
15.2 Tensorflow 239
15.2.1 平臺介紹與應用優(yōu)勢 239
15.2.2 編碼實例 240
15.2.3 Keras API接口實例 242
第16章 總結(jié)與展望 244
16.1 深度學習的發(fā)展歷程 244
16.2 深度學習的未來方向 246
本章參考文獻 247
書單推薦
