原書前言
本書演示了使用深度學(xué)習(xí)的快速而實(shí)用的方法。它專注于現(xiàn)實(shí)生活中的問題，并且提供了足夠的理論和數(shù)據(jù)，以加強(qiáng)讀者對(duì)該主題的理解。深度學(xué)習(xí)是一個(gè)令人興奮的、快速發(fā)展的機(jī)器學(xué)習(xí)分支，但它也是一個(gè)可以被再分割的領(lǐng)域。這是一個(gè)讓人無(wú)法抗拒的每天都在進(jìn)行大量細(xì)致復(fù)雜研究的領(lǐng)域。在本書中，我將重點(diǎn)講授您在各種實(shí)際問題上應(yīng)用深度學(xué)習(xí)的技能。我對(duì)本書的最大希望在于它將可以為您提供使用深度學(xué)習(xí)技術(shù)解決機(jī)器學(xué)習(xí)問題所需的工具。
本書讀者
我是一名實(shí)踐數(shù)據(jù)科學(xué)家，我寫這本書去記錄其他實(shí)踐數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師的數(shù)據(jù)。如果您是應(yīng)用深度學(xué)習(xí)的軟件工程師，那么本書也適合您。如果您是一個(gè)深度學(xué)習(xí)的研究員，那么這本書也許并不適合您。但是，您也不妨也購(gòu)買本書，以便對(duì)書中缺乏證據(jù)和數(shù)學(xué)嚴(yán)謹(jǐn)性的地方提出批評(píng)。
如果您是學(xué)術(shù)或教育工作者，那么本書絕對(duì)適合您。在過(guò)去的三年里，我在Illinois 大學(xué)Springfield 分校教過(guò)“數(shù)據(jù)科學(xué)的調(diào)查源”這門課程，在這樣做的過(guò)程中，我有機(jī)會(huì)激勵(lì)了許多未來(lái)的機(jī)器學(xué)習(xí)研究人員。這段經(jīng)歷激勵(lì)我創(chuàng)作本書。我認(rèn)為這樣一本書是幫助
學(xué)生建立一個(gè)非常復(fù)雜的主題的好方法。
本書主要內(nèi)容
第１章，深度學(xué)習(xí)的構(gòu)建模塊�；仡櫽嘘P(guān)神經(jīng)網(wǎng)絡(luò)運(yùn)行的一些基礎(chǔ)知識(shí)，對(duì)優(yōu)化算法和模型驗(yàn)證進(jìn)行簡(jiǎn)單介紹，并構(gòu)建一種適合深度神經(jīng)網(wǎng)絡(luò)的開發(fā)環(huán)境。
第２章，用深度學(xué)習(xí)解決回歸問題。使您能夠通過(guò)構(gòu)建非常簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)來(lái)解決回歸問題，并探討這些更深層次、更復(fù)雜模型對(duì)問題的影響。
第３章，用TensorBoard 監(jiān)控網(wǎng)絡(luò)訓(xùn)練。讓您立即著手使用TensorBoard，這是一個(gè)用于監(jiān)控和調(diào)試未來(lái)模型的絕佳應(yīng)用程序。
第４章，用深度學(xué)習(xí)解決二元分類問題。將幫助您使用深度學(xué)習(xí)解決二元分類問題。
第５章，用Keras 解決多元分類問題。帶您進(jìn)行多元分類，并研究其中的誤差問題，還會(huì)討論過(guò)度擬合管理和最佳安全選擇。
第６章，超參數(shù)的優(yōu)化。給出兩種不同的模型調(diào)優(yōu)方法。一種是眾所周知的、經(jīng)過(guò)實(shí)戰(zhàn)測(cè)試的方法，另一種則是比較先進(jìn)的方法。
第７章，從頭開始訓(xùn)練CNN。教您如何使用卷積網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類。
第８章，用預(yù)訓(xùn)練CNN 進(jìn)行遷移學(xué)習(xí)。介紹如何在數(shù)據(jù)非常少的情況下應(yīng)用遷移學(xué)習(xí)，使得圖像分類器具有驚人的性能。
第９章，從頭開始訓(xùn)練RNN。討論RNN 和LSTM 網(wǎng)絡(luò)，以及如何將它們用于時(shí)間序列預(yù)測(cè)問題。
第10 章，從頭開始訓(xùn)練具有單詞嵌入的LSTM 網(wǎng)絡(luò)。進(jìn)一步進(jìn)行LSTM 網(wǎng)絡(luò)的介紹，并將其應(yīng)用于自然語(yǔ)言分類任務(wù)。
第11 章，訓(xùn)練Seq2Seq 模型。幫助我們使用sequence-to-sequence 模型進(jìn)行機(jī)器翻譯。
第12 章，使用深度強(qiáng)化學(xué)習(xí)。介紹深度強(qiáng)化學(xué)習(xí)，并構(gòu)建一個(gè)可以驅(qū)動(dòng)一個(gè)自主智能體的Deep Q 網(wǎng)絡(luò)。
第13 章，生成對(duì)抗網(wǎng)絡(luò)。介紹如何使用生成對(duì)抗網(wǎng)絡(luò)來(lái)生成令人信服的圖像。


更好地利用本書
1）假設(shè)您已經(jīng)體驗(yàn)過(guò)更傳統(tǒng)的數(shù)據(jù)科學(xué)和預(yù)測(cè)建模技術(shù)，如線性/ 邏輯回歸和隨機(jī)森林算法。如果這是您第一次使用機(jī)器學(xué)習(xí)，那么這對(duì)您來(lái)說(shuō)可能有點(diǎn)困難。
2）還假設(shè)您至少有一些使用Python 編程的經(jīng)驗(yàn)，或者至少有一些諸如Java 或C ++ 之類的其他編程語(yǔ)言的經(jīng)驗(yàn)。
3）深度學(xué)習(xí)是計(jì)算密集型的，我們?cè)谶@里構(gòu)建的一些模型需要NVIDIA GPU 才能在合理的時(shí)間內(nèi)運(yùn)行。如果您沒有快速的GPU，那么您可以在Amazon Web Services 或GoogleCloud Platform 上，通過(guò)使用基于GPU 的云來(lái)實(shí)現(xiàn)。


原書序
我第一次見到Mike Bernico 是在我們成為一個(gè)財(cái)富50 強(qiáng)公司的新數(shù)據(jù)科學(xué)團(tuán)隊(duì)的兩位創(chuàng)始成員的時(shí)候。然而，那時(shí)候是一個(gè)使人摸不著頭腦的時(shí)代，由于沒有正式的數(shù)據(jù)科學(xué)教育這樣的學(xué)科，所以我們都是自學(xué)成才。我們是一群具有冒險(xiǎn)精神的人，并且各自有著不同的背景。之所以關(guān)注和學(xué)習(xí)數(shù)據(jù)科學(xué)和技術(shù)，是因?yàn)樾枰�通過(guò)它們來(lái)解決我們感興趣的問題。
正是以這種務(wù)實(shí)的精神，Mike 編寫了本書。深度學(xué)習(xí)通常被認(rèn)為是深?yuàn)W而難懂的；然而，在本書中，Mike 對(duì)深度學(xué)習(xí)技術(shù)的主體內(nèi)容進(jìn)行了分解，使其變得容易接近且便于應(yīng)用。通過(guò)本書，您可以快速上手，并以各種不同的形式和風(fēng)格，將深度學(xué)習(xí)應(yīng)用到您自己的項(xiàng)目中。
在該學(xué)科被命名之前，Mike 就一直從事數(shù)據(jù)科學(xué)的研究和實(shí)踐，還專門為大學(xué)生講授這門課程，并且已經(jīng)持續(xù)了三年時(shí)間。除此之外，他還是一位擁有多年工作經(jīng)驗(yàn)的計(jì)算機(jī)科學(xué)家，是網(wǎng)絡(luò)和安全方面的專家，并且他還具有與人交流和與非專業(yè)人士溝通的技巧。他目前是一家大型金融服務(wù)公司的首席數(shù)據(jù)科學(xué)家，在那里他設(shè)計(jì)數(shù)據(jù)科學(xué)系統(tǒng)，為直接應(yīng)用或?qū)W術(shù)研究建立機(jī)器學(xué)習(xí)模型，同時(shí)也是初級(jí)數(shù)據(jù)科學(xué)家的導(dǎo)師，并為相關(guān)人士講授數(shù)據(jù)科學(xué)，他對(duì)自己的領(lǐng)域非常精通。
通過(guò)本書，您在與作者一起構(gòu)建示例網(wǎng)絡(luò)的同時(shí)，還可以從Mike 豐富的經(jīng)驗(yàn)、幽默風(fēng)趣和切實(shí)可行的方法中受益。在讀完本書之后，無(wú)論是在樂趣還是在功能方面，您都將會(huì)有信心和知識(shí)來(lái)理解深度學(xué)習(xí)，并將其應(yīng)用到您自己設(shè)計(jì)的項(xiàng)目中去。
J. Malia Andrus 博士　　
數(shù)據(jù)科學(xué)家　　
華盛頓州，西雅圖
譯者序
人工神經(jīng)網(wǎng)絡(luò)（Artifi cial Neural Network，ANN）是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的，并具有自學(xué)習(xí)和自適應(yīng)的能力。在工
程與學(xué)術(shù)界也常直接將人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)。
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)活躍領(lǐng)域，其動(dòng)機(jī)在于建立模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋諸如圖像、聲音和文本之類的數(shù)據(jù)。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，深度學(xué)習(xí)結(jié)構(gòu)含有多隱層的多層感知器，通過(guò)低層特征的組合形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布特征表示。由于其強(qiáng)大的功能、良好的適應(yīng)性，以及其結(jié)構(gòu)的相對(duì)規(guī)整和易構(gòu)性，目前在數(shù)據(jù)分析、圖像及語(yǔ)音識(shí)別、趨勢(shì)預(yù)測(cè)、機(jī)器翻譯、機(jī)器博弈等眾多領(lǐng)域均得到了廣泛應(yīng)用，并取得了令人矚目的表現(xiàn)。
本書的作者M(jìn)ike Bernico 是一名資深的數(shù)據(jù)科學(xué)家和計(jì)算機(jī)科學(xué)家，在深度神經(jīng)網(wǎng)絡(luò)開發(fā)和應(yīng)用方面具有豐富的實(shí)踐經(jīng)驗(yàn)。作者撰寫本書的目的是應(yīng)當(dāng)前深度機(jī)器學(xué)習(xí)研究和應(yīng)用的需要，將自己在該領(lǐng)域的相關(guān)理論積累以及從實(shí)踐中親手獲得的實(shí)際經(jīng)驗(yàn)分享給讀者，使其能夠快速了解和掌握深度機(jī)器學(xué)習(xí)的全貌，并迅速著手進(jìn)行基于TensorFlow 和Keras 的深度神經(jīng)網(wǎng)絡(luò)優(yōu)化與訓(xùn)練。
本書首先在有關(guān)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)的基礎(chǔ)上，介紹了深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法和模型驗(yàn)證方法，并構(gòu)建了一種適合深度神經(jīng)網(wǎng)絡(luò)開發(fā)和訓(xùn)練的環(huán)境。結(jié)合深度學(xué)習(xí)問題，進(jìn)一步介紹了使用TensorBoard 進(jìn)行網(wǎng)絡(luò)訓(xùn)練的監(jiān)控，為讀者進(jìn)行模型訓(xùn)練提供了監(jiān)控和調(diào)試的手段。本書還詳細(xì)討論了進(jìn)行模型調(diào)優(yōu)的超參數(shù)優(yōu)化方法。關(guān)于深度學(xué)習(xí)的問題，本書所介紹的內(nèi)容包括基本的使用深度學(xué)習(xí)解決回歸問題、二元分類問題和多元分類問題；還包括較為復(fù)雜的使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類和使用預(yù)訓(xùn)練的CNN 進(jìn)行遷移學(xué)習(xí)，使
得所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)即使在數(shù)據(jù)非常少的情況下也能使圖像分類器具有驚人的性能。
本書還詳細(xì)介紹了使用遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行時(shí)間序列的預(yù)測(cè)、自然語(yǔ)言的分類，以及通過(guò)sequence-to-sequence 模型的訓(xùn)練進(jìn)行機(jī)器翻譯。本書的內(nèi)容還有使用深度強(qiáng)化學(xué)習(xí)構(gòu)建一個(gè)自主智能體的方法，以及采用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行的學(xué)習(xí)圖像的生成。此外，本書還從實(shí)
踐的角度給出了許多諸如網(wǎng)絡(luò)過(guò)度擬合的解決方法，增強(qiáng)網(wǎng)絡(luò)穩(wěn)定性的解決方案等寶貴技巧和經(jīng)驗(yàn)。
總之，盡管本書的宗旨不在于介紹深度機(jī)器學(xué)習(xí)理論，但也給出了相關(guān)的理論基礎(chǔ)和相關(guān)問題的完整信息，使得本書在注重實(shí)踐性的前提下，也保證了讀者學(xué)習(xí)的完整性。其所給出的深度神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法、數(shù)據(jù)集的處理以及網(wǎng)絡(luò)訓(xùn)練的實(shí)施力圖詳盡，并給出了詳細(xì)代碼，為讀者進(jìn)行深度神經(jīng)網(wǎng)絡(luò)的實(shí)際開發(fā)和應(yīng)用具有較高的指導(dǎo)和參考價(jià)值。對(duì)于一個(gè)初學(xué)者來(lái)說(shuō)，本書的意義在于通過(guò)詳細(xì)的實(shí)施過(guò)程，使得讀者能夠透徹理解相應(yīng)的理論和模型，這對(duì)理論學(xué)習(xí)是非常重要的。對(duì)于具有較好理論基礎(chǔ)的讀者來(lái)說(shuō)，本書的意義在于通過(guò)本書的內(nèi)容，使得讀者能夠直觀地觀察到相應(yīng)模型的表現(xiàn)，這對(duì)模型的改進(jìn)以及理論的創(chuàng)新具有啟發(fā)性。
本書由王衛(wèi)兵、田皓元、徐倩等翻譯，其中的譯者序、原書序、原書前言等部分由徐倩撰寫和翻譯，第1~4 章由田皓元翻譯，第5~13 章由王衛(wèi)兵翻譯。王卓、李想、萬(wàn)文、張宏、張霽、郭文蘭、金勝利、盧江、張維波、代德偉參與了本書的翻譯工作。全書由王衛(wèi)兵統(tǒng)稿，并最終定稿。在本書的翻譯過(guò)程中，全體翻譯人員為了盡可能準(zhǔn)確地翻譯原書內(nèi)容，對(duì)書中的相關(guān)內(nèi)容進(jìn)行了大量的查證和分析，以求做到準(zhǔn)確無(wú)誤。為方便讀者對(duì)相關(guān)文獻(xiàn)的查找和引用，在本書的翻譯過(guò)程中，本書保留了所有參考文獻(xiàn)的原文信息，并保留了所有引用的作者姓名的原文。對(duì)書中所應(yīng)用的專業(yè)術(shù)語(yǔ)采用了中英文對(duì)照的形式。對(duì)于本書的翻譯，全體翻譯人員均做出了巨大努力，付出了艱辛的努力，在此謹(jǐn)向他們表示誠(chéng)摯的感謝。鑒于本書較強(qiáng)的專業(yè)性，并且具有一定的深度和難度，因此，翻譯中的不妥和失誤之處也在所難免，望廣大讀者予以批評(píng)指正。
譯　者　　
2019.11 于哈爾濱