任何能通過圖靈測試的人工智能都知道不應(yīng)該通過這個測試。
Ian McDonald
神經(jīng)網(wǎng)絡(luò)是通過以類似人類神經(jīng)元的方式處理學(xué)習(xí)模型中的計算單元來模擬人類神經(jīng)系統(tǒng)以完成機器學(xué)習(xí)任務(wù)。神經(jīng)網(wǎng)絡(luò)的宏偉愿景是通過構(gòu)建一些模擬人類神經(jīng)系統(tǒng)計算架構(gòu)的機器來創(chuàng)造人工智能，由于當(dāng)今快的計算機的計算能力也無法企及人腦計算能力，所以這顯然不是一項簡單的任務(wù)。神經(jīng)網(wǎng)絡(luò)在20世紀(jì)五六十年代計算機出現(xiàn)后不久得到了迅速發(fā)展，Rosenblatt 的感知機算法被視作神經(jīng)網(wǎng)絡(luò)的基石，這引起了人們對人工智能前景的早期關(guān)注和興奮。然而在這種早期的興奮過后，神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)的渴求和計算過于密集的特性成為其大展宏圖的障礙，它度過了一段令人失望的時期。終，在世紀(jì)之交，海量的可用數(shù)據(jù)以及不斷增長的計算能力使得神經(jīng)網(wǎng)絡(luò)重振雄風(fēng)，并在人們視線中以新的名稱深度學(xué)習(xí)出現(xiàn)。雖然人工智能匹敵人類智能的那一天離我們還很遙遠(yuǎn)，但在圖像識別、自動駕駛和博弈等特定領(lǐng)域，人工智能已經(jīng)比肩甚至超過了人類智能。我們也很難預(yù)測人工智能將來的上限是什么。例如，二十多年前，很少有計算機視覺專家會想到會有自動化系統(tǒng)能夠比人類更準(zhǔn)確地執(zhí)行圖像分類這種直觀的任務(wù)。
理論上，神經(jīng)網(wǎng)絡(luò)能夠通過足夠的訓(xùn)練數(shù)據(jù)學(xué)習(xí)任何數(shù)學(xué)函數(shù)，現(xiàn)在已知一些變體（如循環(huán)神經(jīng)網(wǎng)絡(luò)）是圖靈完備的。圖靈完備是指在給定足夠的訓(xùn)練數(shù)據(jù)的情況下，神經(jīng)網(wǎng)絡(luò)可以擬合任何學(xué)習(xí)算法。其不足之處在于，即使是對于簡單的任務(wù)，往往也需要大量的訓(xùn)練數(shù)據(jù)，這導(dǎo)致相應(yīng)的訓(xùn)練時間也增加了（如果我們首先假設(shè)有足夠的訓(xùn)練數(shù)據(jù)）。例如，圖像識別對人類來說是一項簡單的任務(wù)，但即使在高性能系統(tǒng)中，其訓(xùn)練時間也可能長達(dá)幾周。此外，還有與神經(jīng)網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性相關(guān)的實際問題，這些問題甚至在如今都還沒有解決。然而，考慮到計算機的計算速度會隨著時間的推移而迅速提高，而且從根本上來說，更強大的計算范式（如量子計算）也即將出現(xiàn)，計算問題終可能不會像想象的那樣難以解決。
雖然神經(jīng)網(wǎng)絡(luò)的生物學(xué)類比是令人驚奇的，并且引發(fā)了與科幻小說的比較，但相比之下對神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)理解則更平凡。神經(jīng)網(wǎng)絡(luò)的抽象化可以被視為一種模塊化的方法，使基于輸入和輸出之間依賴關(guān)系的計算圖上的連續(xù)優(yōu)化的學(xué)習(xí)算法成為可能。平心而論，這和控制理論中的傳統(tǒng)工作沒有太大區(qū)別事實上，控制理論中的一些用于優(yōu)化的方法與神經(jīng)網(wǎng)絡(luò)中基本的算法驚人地相似（歷史上也是如此）。然而，近年來大量的可用數(shù)據(jù)以及計算能力的提升，使得能夠?qū)�這些計算圖進行比以前有著更深的架構(gòu)的實驗。由此帶來的成功改變了人們對深度學(xué)習(xí)潛力的廣泛認(rèn)識。
本書的章節(jié)結(jié)構(gòu)如下：
1. 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識：第1章討論神經(jīng)網(wǎng)絡(luò)設(shè)計的基礎(chǔ)知識。許多傳統(tǒng)的機器學(xué)習(xí)模型可以理解為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特殊情況。理解傳統(tǒng)機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)之間的關(guān)系是理解后者的步。第2章用神經(jīng)網(wǎng)絡(luò)對各種機器學(xué)習(xí)模型進行了模擬，旨在讓分析者了解神經(jīng)網(wǎng)絡(luò)是如何挑戰(zhàn)傳統(tǒng)機器學(xué)習(xí)算法的極限的。
2. 神經(jīng)網(wǎng)絡(luò)的基本原理：第3章和第4章提供對訓(xùn)練挑戰(zhàn)的更詳細(xì)的敘述。第5章和第6章介紹徑向基函數(shù)（RBF）網(wǎng)絡(luò)和受限玻爾茲曼機。
3. 神經(jīng)網(wǎng)絡(luò)的進階主題：深度學(xué)習(xí)近的很多成功是各種領(lǐng)域的特定架構(gòu)的結(jié)果，例如循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)。第7章和第8章分別討論循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)。第9章和第10章討論一些進階主題，如深度強化學(xué)習(xí)、神經(jīng)圖靈機和生成對抗網(wǎng)絡(luò)。
我們所關(guān)注的內(nèi)容中包含一些被遺忘的架構(gòu)，如徑向基函數(shù)網(wǎng)絡(luò)和Kohonen自組織映射，因為它們在許多應(yīng)用中具有潛力。本書是為研究生、研究人員和從業(yè)者寫的。許多練習(xí)和解決方案手冊都有助于課堂教學(xué)。在可能的情況下，本書突出以應(yīng)用程序為中心的視角，以便讓讀者對該技術(shù)有所了解。
在本書中，向量或多維數(shù)據(jù)點都通過在字母上方加一條橫線來表示，如X或y。向量點積用居中的點表示，比如X·Y。矩陣用不帶橫線的斜體大寫字母表示，比如R。在本書中，對應(yīng)整個訓(xùn)練數(shù)據(jù)集的nd矩陣代表n個d維數(shù)據(jù)，該矩陣用D表示。因此，D中的各個數(shù)據(jù)點是d維行向量。另外，每個分量代表一個數(shù)據(jù)點的向量通常是n維列向量，例如具有n個數(shù)據(jù)點作為類變量的n維列向量y。觀測值yi與預(yù)測值yi的區(qū)別在于變量頂部的揚抑符。

Charu C. Aggarwal
美國紐約州約克敦海茨