前　　言
第2版說明
自本書第1版第1次于2019年10月印刷至今，已累計印刷了9次。在這3年的時間里，深度學習的發(fā)展可謂日新月異，其應(yīng)用范圍得到進一步拓展，同時出現(xiàn)了很多新的框架、新的方向。
在眾多創(chuàng)新中，注意力機制是一個典型代表。注意力機制，尤其是以Transformer為基礎(chǔ)的一些模型，在自然語言處理（NLP）領(lǐng)域取得了目前最好的效果（如SOTA），近幾年研究人員把這種模型（如ViT模型、Swin-T模型等）應(yīng)用到計算機視覺領(lǐng)域，也取得了巨大成功。
為此，本書第2版增強了注意力機制的相關(guān)內(nèi)容，把注意力機制單獨列為一章（即第8章），同時增加了注意力機制的應(yīng)用實例，詳細內(nèi)容請參考第14章。
人工智能廣泛應(yīng)用于圖像、視頻、語音等諸多領(lǐng)域，比如人工智能在目標檢測、語義分割等任務(wù)中的應(yīng)用日益受到大家的關(guān)注，所以在第2版中我們增加了這方面的內(nèi)容，具體可參考第9章和第15章。
除了這些新增內(nèi)容外，第2版對很多原有內(nèi)容進行了補充和完善，如PyTorch基礎(chǔ)、優(yōu)化算法、視覺處理基礎(chǔ)、自然語言處理基礎(chǔ)等內(nèi)容。
讀者對象
對機器學習、深度學習感興趣的高校學生及工程師。
對Python、PyTorch、TensorFlow等感興趣并希望進一步提升水平的高校學生及工程師。
如何閱讀本書
本書分為三部分，共19章。
第一部分（第1～4章）為PyTorch基礎(chǔ)，這是本書的基礎(chǔ)部分，能為后續(xù)學習打好堅實基礎(chǔ)。第1章介紹Python和PyTorch的基石NumPy；第2章介紹PyTorch基礎(chǔ)知識；第3章和第4章分別介紹PyTorch神經(jīng)網(wǎng)絡(luò)工具箱和數(shù)據(jù)處理工具箱等內(nèi)容。
第二部分（第5～10章）為深度學習基礎(chǔ)，這也是本書的核心部分。第5章為機器學習基礎(chǔ)，也是深度學習基礎(chǔ)，其中包含很多機器學習經(jīng)典理論、算法和方法等內(nèi)容；第6章為視覺處理基礎(chǔ)，介紹卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)概念、原理及架構(gòu)等內(nèi)容，并用PyTorch實現(xiàn)多個視覺處理實例；第7章介紹自然語言處理基礎(chǔ)，重點介紹循環(huán)神經(jīng)網(wǎng)絡(luò)的原理和架構(gòu)，同時介紹了詞嵌入等內(nèi)容，然后用PyTorch實現(xiàn)多個自然語言處理、時間序列方面的實例；第8章介紹注意力機制；第9章介紹目標檢測與語義分割；第10章介紹生成式深度學習的相關(guān)內(nèi)容，具體包括編碼器-解碼器模型、帶注意力的編碼器-解碼器模型、生成式對抗網(wǎng)絡(luò)及多種衍生生成器，同時使用PyTorch實現(xiàn)多個生成式對抗網(wǎng)絡(luò)實例。
第三部分（第11～19章）為深度學習實戰(zhàn)，即前面兩部分知識的具體應(yīng)用。這部分在介紹相關(guān)原理、架構(gòu)的基礎(chǔ)上，使用PyTorch實現(xiàn)多個深度學習的典型應(yīng)用實例，最后介紹了強化學習、深度強化學習等內(nèi)容。第11章用PyTorch實現(xiàn)人臉檢測與識別；第12章用PyTorch實現(xiàn)遷移學習；第13章用PyTorch實現(xiàn)中英文互譯；第14章使用ViT進行圖像分類；第15章為語義分割實例；第16章介紹多個生成模型實例；第17章介紹對抗攻擊原理及用PyTorch實現(xiàn)對抗攻擊實例；第18章和第19章介紹了強化學習、深度強化學習基礎(chǔ)知識及多個強化學習實例。
勘誤和支持
在本書編寫過程中得到了張魁、劉未昕等人的大力支持，他們負責整個環(huán)境的搭建和維護工作。由于筆者水平有限，書中難免存在錯誤或不準確的地方，懇請讀者批評指正。你可以通過訪問httpgithub.comWumg 3000feiguyunai下載代碼和數(shù)據(jù)，也可以通過QQ交流群（493272175）進行反饋，非常感謝你的支持和幫助。
致謝
在本書編寫過程中，得到了很多同事、朋友、老師和同學的大力支持！感謝博世的王冬、王紅星；感謝上海交大慧谷的程國旗老師，上海大學的白延琴老師、李常品老師，上海師范大學的田紅炯老師、李昭祥老師，以及贛南師范大學的許景飛老師等。
感謝機械工業(yè)出版社的編輯給予本書的大力支持和幫助。
最后，感謝我的愛人趙成娟，她在繁忙的教學之余幫助審稿，提出許多改進意見或建議。

吳茂貴


PREFACE
第1版前言
為什么寫這本書
在人工智能時代，如何盡快掌握人工智能的核心深度學習呢？相信這是每個欲進入此領(lǐng)域的人面臨的主要問題。目前，深度學習框架很多，如TensorFlow、PyTorch、Keras、FastAI、CNTK等，這些框架各有優(yōu)點或不足，如何選擇呢？是否有一些標準？有，我覺得適合自己的就是最好的。
如果你是一位初學者，建議你選擇PyTorch，待有了一定的基礎(chǔ)之后，可以學習其他框架，如TensorFlow、CNTK等。建議初學者選擇PyTorch的主要依據(jù)如下。
1）PyTorch是動態(tài)計算圖，更貼近Python的用法，并且PyTorch與Python共用了許多NumPy命令，降低了學習門檻，比TensorFlow更容易上手。
2）PyTorch需要定義網(wǎng)絡(luò)層、參數(shù)更新等關(guān)鍵步驟，這非常有助于理解深度學習的核心；而Keras雖然也非常簡單，容易上手，但封裝粒度很粗，隱藏了很多關(guān)鍵步驟。
3）PyTorch的動態(tài)圖機制在調(diào)試方面非常方便，如果計算圖運行出錯，馬上可以跟蹤問題。PyTorch與Python一樣，通過斷點檢查就可以高效解決問題。
4）PyTorch的流行度僅次于 TensorFlow。而最近一年，在GitHub關(guān)注度和貢獻者的增長方面，PyTorch與TensorFlow 基本持平。PyTorch 的搜索熱度持續(xù)上漲，再加上FastAI的支持，PyTorch 將受到越來越多的機器學習從業(yè)者的青睞。
深度學習是人工智能的核心，隨著大量相關(guān)項目的落地，人們對深度學習的興趣也持續(xù)上升。不過掌握深度學習知識并不是一件輕松的事情，尤其是對機器學習或深度學習的初學者來說挑戰(zhàn)更大。為了能讓廣大人工智能初學者或愛好者在較短時間內(nèi)掌握深度學習基礎(chǔ)及利用PyTorch解決深度學習問題，我們花了近一年時間打磨這本書，在內(nèi)容選擇、安排和組織等方面采用了如下方法。
1.內(nèi)容選擇：廣泛涉獵 精講 注重實戰(zhàn)
深度學習涉及面比較廣，且有一定門檻，沒有一定廣度很難達到一定深度，所以本書基本包括了機器學習、深度學習的主要內(nèi)容，各章一般先簡單介紹相應(yīng)的組件（工具）或原理，這些內(nèi)容有助于讀者理解深度學習的本質(zhì)。當然，如果只有概念、框架、原理、數(shù)學公式的介紹，可能顯得有點抽象或乏味，所以，每章都配有大量實踐案例，以便加深讀者對原理和公式的理解，同時有利于把相關(guān)內(nèi)容融會貫通起來。
2.內(nèi)容安排：簡單實例開始 循序漸進講解
深度學習是一塊難啃的硬骨頭，對有一定開發(fā)經(jīng)驗和數(shù)學基礎(chǔ)的讀者如此，對初學者更是如此。其中卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、生成式對抗網(wǎng)絡(luò)是深度學習的基石，同時也是深度學習的三大硬骨頭。為了讓讀者更好地理解并掌握這些網(wǎng)絡(luò)，我們采用循序漸進的方式，先從簡單特例開始，然后逐步進入更一般性的內(nèi)容介紹，最后通過一些PyTorch代碼實例將其實現(xiàn)，整本書的結(jié)構(gòu)及各章節(jié)內(nèi)容安排都遵循這個原則。此外，一些優(yōu)化方法也采用這種內(nèi)容安排方式，如對數(shù)據(jù)集CIFAR10進行分類優(yōu)化時，先用一般卷積神經(jīng)網(wǎng)絡(luò)，然后使用集成方法、現(xiàn)代經(jīng)典網(wǎng)絡(luò)，最后采用數(shù)據(jù)增強和遷移方法，不斷提升模型精度，由最初的68%逐步提升到74%和90%，最后達到95%左右。
3.表達形式：讓圖說話，一張好圖勝過千言萬語
機器學習、深度學習中有很多抽象的概念、復雜的算法、深奧的理論等，如NumPy的廣播機制、梯度下降對學習率敏感、神經(jīng)網(wǎng)絡(luò)中的共享參數(shù)、動量優(yōu)化法、梯度消失或爆炸等，這些概念如果只用文字來描述，可能很難達到茅塞頓開的效果。但如果用一些圖形來展現(xiàn)，再加上適當?shù)奈淖终f明，往往能取得非常好的效果，正所謂一張好圖勝過千言萬語。
除了以上談到的3個方面，為了幫助大家更好地理解并且更快地掌握機器學習、深度學習這些人工智能的核心內(nèi)容，本書還介紹了其他方法，用心的讀者將能體會到。我們希望通過這些方法帶給你不一樣的理解和體驗，使你感到抽象的數(shù)學不抽象、復雜的算法不復雜、難學的深度學習不難學。
至于人工智能（AI）的重要性，我想就不用多說了。如果說2016年前屬于擺事實論證的階段，2017年和2018年屬于事實勝于雄辯的階段，那么2019年及以后就進入百舸爭流、奮楫者先的階段。目前各行各業(yè)都忙于AI ，大家都希望通過AI來改造傳統(tǒng)流程、傳統(tǒng)結(jié)構(gòu)、傳統(tǒng)業(yè)務(wù)、傳統(tǒng)架構(gòu)，其效果猶如用電改造原有的各行各業(yè)一樣。
本書特色
本書特色概括來說就是：把理論原理與代碼實現(xiàn)相結(jié)合；找準切入點，從簡單到一般，把復雜問題簡單化；圖文并茂使抽象問題直觀化；實例說明使抽象問題具體化。希望本書能帶給你新的視角、新的理解，甚至更好的未來。
讀者對象
對機器學習、深度學習感興趣的高校學生及工程師。
對Python、PyTorch、TensorFlow等感興趣并希望進一步提升水平的高校學生及工程師。
如何閱讀本書
本書分為三部分，共16章。
第一部分（第1～4章）為PyTorch基礎(chǔ)，這是本書的基礎(chǔ)，能為后續(xù)章節(jié)的學習打下堅實基礎(chǔ)。第1章介紹Python和PyTorch的基石NumPy；第2章介紹PyTorch基礎(chǔ)知識；第3章和第4章分別介紹PyTorch神經(jīng)網(wǎng)絡(luò)工具箱和數(shù)據(jù)處理工具箱等內(nèi)容。
第二部分（第5～8章）為深度學習基本原理，也是本書的核心部分，包括機器學習流程、常用算法和技巧等內(nèi)容。第5章為機器學習基礎(chǔ)，也是深度學習基礎(chǔ)，其中包含很多機器學習經(jīng)典理論、算法和方法等內(nèi)容；第6章為視覺處理基礎(chǔ)，介紹卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)概念、原理及架構(gòu)等內(nèi)容，并用PyTorch實現(xiàn)多個視覺處理實例；第7章介紹自然語言處理基礎(chǔ)，重點介紹循環(huán)神經(jīng)網(wǎng)絡(luò)的原理和架構(gòu)，同時介紹了詞嵌入等內(nèi)容，然后用PyTorch實現(xiàn)多個自然語言處理、時間序列方面的實例；第8章介紹生成式深度學習的相關(guān)內(nèi)容，具體包括編碼器解碼器模型、帶注意力的編碼器解碼器模型、生成式對抗網(wǎng)絡(luò)及多種衍生網(wǎng)絡(luò)，同時用PyTorch實現(xiàn)多個生成式對抗網(wǎng)絡(luò)實例。
第三部分（第9～16章）為實戰(zhàn)部分，即前面兩部分知識的具體應(yīng)用，這部分在介紹相關(guān)原理、架構(gòu)的基礎(chǔ)上，用PyTorch具體實現(xiàn)多個深度學習的典型實例，最后介紹了強化學習、深度強化學習等內(nèi)容。第9章用PyTorch實現(xiàn)人臉檢測與識別；第10章用PyTorch實現(xiàn)遷移學習；第11章用PyTorch實現(xiàn)中英文互譯；第12章實現(xiàn)多個生成式網(wǎng)絡(luò)實例；第13章主要介紹如何進行模型遷移；第14章介紹對抗攻擊原理及用PyTorch實現(xiàn)對抗攻擊實例；第15章和第16章介紹了強化學習、深度強化學習基礎(chǔ)及多個強化學習實例