本書(shū)的主題是強(qiáng)化學(xué)習(xí)（Reinforcement Learning，RL），它是機(jī)器學(xué)習(xí)（Machine Learning，ML）的一個(gè)分支，強(qiáng)調(diào)如何解決在復(fù)雜環(huán)境中選擇動(dòng)作時(shí)產(chǎn)生的通用且極具挑戰(zhàn)的問(wèn)題。學(xué)習(xí)過(guò)程僅由獎(jiǎng)勵(lì)值和從環(huán)境中獲得的觀察驅(qū)動(dòng)。該模型非常通用，能應(yīng)用于多個(gè)真實(shí)場(chǎng)景，從玩游戲到優(yōu)化復(fù)雜制造過(guò)程都能涵蓋。
由于它的靈活性和通用性，RL領(lǐng)域在快速發(fā)展的同時(shí)，吸引了很多人的關(guān)注。其中，既包括試圖改進(jìn)現(xiàn)有方法或創(chuàng)造新方法的研究人員，也包括專注于用有效的方式解決問(wèn)題的從業(yè)人員。
寫(xiě)本書(shū)的目的
寫(xiě)本書(shū)的目的是填補(bǔ)RL理論系統(tǒng)和實(shí)際應(yīng)用之間的巨大空白。目前全世界有很多研究活動(dòng)，基本上每天都有新的相關(guān)論文發(fā)表，并且有很多深度學(xué)習(xí)的會(huì)議，例如神經(jīng)信息處理系統(tǒng)（Neural Information Processing Systems，NeurIPS）大會(huì)和國(guó)際學(xué)習(xí)表征會(huì)議（International Conference on Learning Representations，ICLR）。同時(shí)，有好幾個(gè)大型研究組織致力于將RL應(yīng)用于機(jī)器人、醫(yī)學(xué)、多智能體系統(tǒng)等領(lǐng)域。
的相關(guān)研究資料雖然很容易獲得，卻都過(guò)于專業(yè)和抽象，難以理解。RL的實(shí)踐落地則顯得更為困難，因?yàn)閷⒄撐闹杏蓴?shù)學(xué)公式堆砌的大量抽象理論轉(zhuǎn)換成解決實(shí)際問(wèn)題的實(shí)現(xiàn)方式并不總是顯而易見(jiàn)的。
這使得一些對(duì)該領(lǐng)域感興趣的人很難理解隱含在論文或?qū)W術(shù)會(huì)議背后的方法與思想。雖然針對(duì)RL的各個(gè)方面有很多非常棒的博客用生動(dòng)的例子來(lái)解釋，但博客的形式限制讓作者們只能闡述一兩種方法，而不是構(gòu)建一個(gè)完整的全景圖來(lái)將不同的方法聯(lián)系起來(lái)。本書(shū)就是為了解決這個(gè)問(wèn)題而寫(xiě)的。
教學(xué)方法
本書(shū)的另一個(gè)關(guān)注點(diǎn)是實(shí)際應(yīng)用。每個(gè)方法針對(duì)非常簡(jiǎn)單到非常復(fù)雜的情況都進(jìn)行了實(shí)現(xiàn)。我試圖讓例子簡(jiǎn)潔易懂，PyTorch的易讀與強(qiáng)大使之成為可能。另外，例子的復(fù)雜度是針對(duì)RL業(yè)余愛(ài)好者而設(shè)計(jì)的，不需要大量的計(jì)算資源，比如圖形處理器（GPU）集群或很強(qiáng)大的工作站。我相信，這將使充滿樂(lè)趣和令人興奮的RL領(lǐng)域不僅限于研究小組或大型人工智能公司，還可以讓更廣泛的受眾涉足。但畢竟本書(shū)有關(guān)內(nèi)容還是“深度”RL，因此強(qiáng)烈建議大家使用GPU。
除了Atari游戲或連續(xù)控制問(wèn)題等RL中一些經(jīng)典的中等規(guī)模例子外，本書(shū)還有好幾章（第10、14、15、16和18章）介紹大型項(xiàng)目，說(shuō)明RL方法能應(yīng)用到更復(fù)雜的環(huán)境和任務(wù)中。這些例子不是現(xiàn)實(shí)場(chǎng)景中的完整項(xiàng)目，但也足以說(shuō)明，除了精心設(shè)計(jì)的基準(zhǔn)測(cè)試外，RL能在更大的范圍內(nèi)應(yīng)用。
本書(shū)從結(jié)構(gòu)上看分為四個(gè)部分，其中第1～4章為部分，第5～10章為第二部分，第11～16為第三部分，第17～25章為第四部分。關(guān)于本書(shū)前三個(gè)部分的例子，值得注意的另一件事是我試圖使它們成為獨(dú)立的，會(huì)完整地顯示所有代碼。有時(shí)這會(huì)導(dǎo)致代碼片段的重復(fù)（例如，大多數(shù)方法中的訓(xùn)練迭代都很相似），但是我認(rèn)為，讓大家學(xué)到想學(xué)的函數(shù)比刻意避免一些重復(fù)更重要，你可以自行跳轉(zhuǎn)到需要的代碼。本書(shū)中的所有例子都能在GitHub上找到，網(wǎng)址為https://github.com/PacktPublishing/Deep-Reinforcement-Learning-Hands-On-Second-Edition。歡迎你來(lái)獲取、實(shí)驗(yàn)并貢獻(xiàn)代碼。
讀者對(duì)象
本書(shū)面向已經(jīng)有機(jī)器學(xué)習(xí)基礎(chǔ)而想對(duì)RL領(lǐng)域進(jìn)行實(shí)踐的讀者。閱讀本書(shū)前，讀者應(yīng)該熟悉Python并且有一定的深度學(xué)習(xí)和機(jī)器學(xué)習(xí)基礎(chǔ)。具有統(tǒng)計(jì)學(xué)和概率論知識(shí)會(huì)大有幫助，但對(duì)于理解本書(shū)的大部分內(nèi)容都不是必要的。
本書(shū)內(nèi)容
第1章介紹了RL的思想和模型。
第2章使用開(kāi)源庫(kù)Gym介紹了RL實(shí)踐。
第3章概述了PyTorch庫(kù)。
第4章用簡(jiǎn)單的RL方法對(duì)RL的方法和問(wèn)題進(jìn)行了初步介紹。
第5章介紹了基于價(jià)值的RL方法。
第6章描述了深度Q-network（DQN），是對(duì)基礎(chǔ)的基于價(jià)值的方法的擴(kuò)展，能解決復(fù)雜環(huán)境下的問(wèn)題。
第7章描述了PTAN庫(kù)，它可以簡(jiǎn)化RL方法的實(shí)現(xiàn)。
第8章詳細(xì)介紹了DQN的擴(kuò)展方法，以提升在復(fù)雜環(huán)境下的穩(wěn)定性和收斂性。
第9章概述了使RL代碼加速執(zhí)行的辦法。
第10章給出了個(gè)練習(xí)項(xiàng)目，重點(diǎn)是將DQN方法應(yīng)用于股票交易。
第11章介紹了另一類RL方法，即基于策略學(xué)習(xí)的方法。
第12章描述了RL中使用非常廣泛的方法之一。
第13章用并行環(huán)境交互的方式擴(kuò)展了actor-critic方法，從而提高了穩(wěn)定性和收斂性。
第14章給出了第二個(gè)項(xiàng)目，展示了如何將RL方法應(yīng)用于自然語(yǔ)言處理問(wèn)題。
第15章介紹了RL方法在文字冒險(xiǎn)游戲中的應(yīng)用。
第16章給出了另一個(gè)大項(xiàng)目，使用MiniWoB任務(wù)集將RL應(yīng)用于Web導(dǎo)航。
第17章介紹了連續(xù)動(dòng)作空間的環(huán)境特性以及各種方法。
第18章介紹了RL方法在機(jī)器人問(wèn)題中的應(yīng)用，描述了如何用RL方法來(lái)構(gòu)建和訓(xùn)練小型機(jī)器人。
第19章仍是有關(guān)連續(xù)動(dòng)作空間的章節(jié)，描述了一組置信域方法在其中的應(yīng)用。
第20章展示了另一組不顯式使用梯度的方法。
第21章介紹了能更好地進(jìn)行環(huán)境探索的方法。
第22章介紹了RL的基于模型的方法，并使用了將想象力應(yīng)用于RL的研究結(jié)果。
第23章描述了AlphaGo Zero方法并將其應(yīng)用于四子連橫棋游戲中。
第24章使用魔方作為環(huán)境，描述了RL方法在離散優(yōu)化領(lǐng)域的應(yīng)用。
第25章介紹了一個(gè)相對(duì)較新的RL方法應(yīng)用方向，即在多智能體情境下的應(yīng)用。
閱讀指導(dǎo)
本書(shū)的所有章節(jié)都采用同樣的結(jié)構(gòu)來(lái)描述RL方法：首先討論方法的動(dòng)機(jī)、理論基礎(chǔ)以及背后的思想；然后，給出幾個(gè)不同環(huán)境下的帶完整源代碼的例子。
你可以通過(guò)不同的方式來(lái)閱讀本書(shū)：
1. 若要快速熟悉某些方法，可以只閱讀相關(guān)章節(jié)的簡(jiǎn)介部分。
2. 若要深入理解某個(gè)方法是如何實(shí)現(xiàn)的，可以閱讀代碼和相關(guān)注釋。
3. 若要深度熟悉某個(gè)方法（我認(rèn)為是好的學(xué)習(xí)方式），可以嘗試借助提供的代碼重新實(shí)現(xiàn)該方法并使之有效。
無(wú)論如何，我希望這本書(shū)對(duì)你有幫助！
下載示例代碼及彩色圖片
本書(shū)的示例代碼及所有截圖和樣圖，可以從http://www.packtpub.com通過(guò)個(gè)人賬號(hào)下載，也可以訪問(wèn)華章圖書(shū)官網(wǎng)http://www.hzbook.com，通過(guò)注冊(cè)并登錄個(gè)人賬號(hào)下載。
本書(shū)的代碼也托管在GitHub上（https://github.com/PacktPublishing/Deep-Reinforcement-Learning-Hands-On-Second-Edition）。如果代碼有更新，GitHub上的代碼會(huì)同步更新。本書(shū)所有彩色版屏幕截圖/圖表的PDF文件也可以從https://static.packt-cdn.com/downloads/ 9781838826994_ColorImages.pdf下載。
排版約定
文中的代碼體：表示出現(xiàn)在文中的代碼、數(shù)據(jù)庫(kù)表名、目錄名、文件名、文件擴(kuò)展名、路徑、用戶輸入、Twitter句柄。
代碼塊示例：

命令行輸入或輸出示例：

黑體：表示新的術(shù)語(yǔ)、重要的詞或會(huì)在屏幕中顯示的詞（例如，菜單或?qū)υ捒蛑械膬?nèi)容）。
表示警告或重要的提示。
表示提示和技巧。