前言
神經(jīng)網(wǎng)絡(luò)技術(shù)是現(xiàn)代人工智能最重要的分支,是通過模擬人腦的神經(jīng)網(wǎng)絡(luò)來實現(xiàn)類人工智能的機(jī)器學(xué)習(xí)技術(shù)和方法。本書討論的是神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)、算法設(shè)計、算法實現(xiàn),以及工程領(lǐng)域中的應(yīng)用。
人在思考問題時,神經(jīng)沖動會在神經(jīng)突觸所連接的無數(shù)神經(jīng)元中傳遞,信息的處理是由神經(jīng)元之間的相互作用來實現(xiàn)的。受此啟發(fā),人們開始模擬人體大腦的結(jié)構(gòu)和工作機(jī)理,即用很多的結(jié)點來處理信息。在人工神經(jīng)網(wǎng)絡(luò)中,人工神經(jīng)元、處理元件、電子元件等大量的處理單元被用來模仿人腦神經(jīng)系統(tǒng)的結(jié)構(gòu),知識與信息的存儲表現(xiàn)為互連的網(wǎng)絡(luò)元件間的分布式聯(lián)系,網(wǎng)絡(luò)的學(xué)習(xí)和識別取決于和神經(jīng)元連接權(quán)值的動態(tài)演化過程。因為在大腦的神經(jīng)沖動傳導(dǎo)過程中不僅有是與非,還存在強(qiáng)與弱、緩與急,所以人工神經(jīng)網(wǎng)絡(luò)和大腦還是有區(qū)別的。
本書可以作為高校相關(guān)專業(yè)的本科生或者研究生教材,同時也適合廣大的人工智能領(lǐng)域相關(guān)的從業(yè)人員自學(xué)。在學(xué)習(xí)本書之前,應(yīng)具有機(jī)器學(xué)習(xí)、模式識別、算法設(shè)計與分析等相關(guān)知識。
本書共9章,主要圍繞神經(jīng)網(wǎng)絡(luò)的原理與實踐進(jìn)行講解,在內(nèi)容上將理論與實踐、技術(shù)與應(yīng)用結(jié)合,具體如下。
第1章介紹了神經(jīng)網(wǎng)絡(luò)的概念、特點、拓?fù)浣Y(jié)構(gòu)和應(yīng)用。
第2章介紹了感知器模型、處理單元模型、學(xué)習(xí)策略、局限性和收斂性。
第3章介紹了BP神經(jīng)網(wǎng)絡(luò)、神經(jīng)元模型、BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)預(yù)處理。
第4章介紹了支持向量機(jī)、間隔與支持向量、對偶問題、核函數(shù)、軟間隔和正則化、支持向量回歸和核方法。
第5章介紹了深度學(xué)習(xí)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)、深度卷積神經(jīng)網(wǎng)絡(luò)、深度卷積神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)、卷積網(wǎng)絡(luò)的層和深度卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用。
第6章介紹了強(qiáng)化學(xué)習(xí)、問題模型、無模型化強(qiáng)化學(xué)習(xí)方法、模型化強(qiáng)化學(xué)習(xí)方法和深度強(qiáng)化學(xué)習(xí)。
第7章介紹了極限學(xué)習(xí)、極限學(xué)習(xí)算法、極限學(xué)習(xí)的改進(jìn)、極限學(xué)習(xí)的應(yīng)用。
第8章介紹了TensorFlow機(jī)器學(xué)習(xí)平臺的起源、簡介、特征、使用對象、環(huán)境及兼容性、其他模塊。
第9章介紹了神經(jīng)網(wǎng)絡(luò)在圖像處理、信號處理、模式識別和機(jī)器控制方面的應(yīng)用。
本書的主要分工如下: 侯琳主要負(fù)責(zé)第1章的編寫;于洋主要負(fù)責(zé)第2章、第8章和第7章部分內(nèi)容的編寫,以及本書的主要統(tǒng)稿和審稿工作;孫迪主要負(fù)責(zé)第3章的編寫;陳亞瑞主要負(fù)責(zé)第4章的編寫;胡志強(qiáng)主要負(fù)責(zé)第5章的編寫;趙婷婷主要負(fù)責(zé)第6章的編寫;楊巨成主要負(fù)責(zé)第7章的編寫,以及本書的主要審稿工作;吳超主要負(fù)責(zé)第9章的編寫。
在楊巨成教授的指導(dǎo)下,本書在編寫過程中才得以克服很多技術(shù)上的難點。同時,感謝天津科技大學(xué)人工智能學(xué)院張靈超、王曉靖、王潔、韓書杰、魏峰、邱潤澤為本書所做的工作。最后,還要感謝參考文獻(xiàn)的作者,他們的成果使得本書的學(xué)術(shù)水平得以提升。
由于相關(guān)技術(shù)的發(fā)展日新月異,本書難免有不足之處,希望讀者批評指正,提出寶貴的修改意見。
作者2020年8月
目錄
第1章概述1
1.1人工神經(jīng)網(wǎng)絡(luò)簡介1
1.1.1人工神經(jīng)網(wǎng)絡(luò)的基本概念1
1.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史2
1.1.3神經(jīng)網(wǎng)絡(luò)的研究內(nèi)容5
1.2神經(jīng)網(wǎng)絡(luò)的特點5
1.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)6
1.4人工神經(jīng)網(wǎng)絡(luò)的分類7
1.5人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式9
1.6人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用9
1.6.1人工神經(jīng)網(wǎng)絡(luò)在全球氣候變化中的應(yīng)用10
1.6.2人工神經(jīng)網(wǎng)絡(luò)在控制系統(tǒng)中的應(yīng)用10
1.6.3人工神經(jīng)網(wǎng)絡(luò)在疾病預(yù)后研究中的應(yīng)用11
第2章感知器13
2.1感知器元件14
2.1.1神經(jīng)元14
2.1.2神經(jīng)元參數(shù)16
2.1.3組合功能16
2.1.4激活功能16
2.1.5輸出功能18
2.1.6結(jié)論18
2.2感知器模型19
2.2.1超平面的定義19
2.2.2數(shù)據(jù)集的線性可分20
2.3感知器學(xué)習(xí)算法22
2.3.1感知器學(xué)習(xí)算法的原始形式23
2.3.2感知器學(xué)習(xí)算法的對偶形式24
2.4感知器的收斂性25
2.5感知器應(yīng)用舉例25
2.5.1問題描述25
2.5.2添加權(quán)重和閾值26
2.5.3建立決策模型26
2.5.4向量化27
2.5.5神經(jīng)網(wǎng)絡(luò)的運作過程28
2.6感知器的局限性29
2.6.1感知器能做什么29
2.6.2感知器不能做什么29
第3章BP神經(jīng)網(wǎng)絡(luò)31
3.1前向傳播37
3.2反向傳播38
第4章支持向量機(jī)41
4.1問題提出41
4.2SVM問題42
4.2.1支持向量與樣本間隔42
4.2.2支持向量機(jī)形式化描述43
4.3對偶問題43
4.3.1SVM問題的對偶問題43
4.3.2對偶問題再討論44
4.3.3對偶問題求解45
4.4核函數(shù)46
4.4.1如何處理非線性可分?jǐn)?shù)據(jù)46
4.4.2核函數(shù)的提出47
4.4.3幾種常見的核函數(shù)48
4.5軟間隔與正則化49
4.5.1如何處理噪聲數(shù)據(jù)49
4.5.2軟間隔支持向量機(jī)49
4.5.3軟間隔支持向量機(jī)對偶問題50
4.5.4正則化51
第5章深度學(xué)習(xí)53
5.1深度神經(jīng)網(wǎng)絡(luò)概述53
5.2深度卷積神經(jīng)網(wǎng)絡(luò)55
5.2.1卷積算子55
5.2.2卷積的特征55
5.3深度卷積神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)56
5.3.1基本網(wǎng)絡(luò)結(jié)構(gòu)56
5.3.2網(wǎng)絡(luò)結(jié)構(gòu)模式56
5.4深度卷積神經(jīng)網(wǎng)絡(luò)的層60
5.4.1卷積層60
5.4.2池化層60
5.4.3激活層60
5.5深度卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用61
第6章強(qiáng)化學(xué)習(xí)63
6.1強(qiáng)化學(xué)習(xí)概述63
6.2強(qiáng)化學(xué)習(xí)問題建!R爾可夫決策過程64
6.3強(qiáng)化學(xué)習(xí)算法簡介65
6.3.1基于值函數(shù)的策略學(xué)習(xí)方法65
6.3.2策略搜索算法70
6.4深度強(qiáng)化學(xué)習(xí)76
6.5小結(jié)79
第7章極限學(xué)習(xí)80
7.1極限學(xué)習(xí)概述80
7.2極限學(xué)習(xí)算法80
7.3極限學(xué)習(xí)的改進(jìn)82
7.3.1核極限學(xué)習(xí)82
7.3.2增量型極限學(xué)習(xí)84
7.3.3深度極限學(xué)習(xí)85
7.4極限學(xué)習(xí)的應(yīng)用87
7.4.1極限學(xué)習(xí)在圖像分類中的應(yīng)用88
7.4.2極限學(xué)習(xí)在入侵檢測中的應(yīng)用88
7.4.3極限學(xué)習(xí)在故障識別中的應(yīng)用91
7.5小結(jié)91
第8章TensorFlow機(jī)器學(xué)習(xí)平臺93
8.1TensorFlow起源95
8.2TensorFlow簡介95
8.3TensorFlow的特征96
8.4TensorFlow使用對象、環(huán)境及兼容性97
8.5TensorFlow的其他模塊98
8.6安全性101
第9章神經(jīng)網(wǎng)絡(luò)的應(yīng)用102
9.1基于神經(jīng)網(wǎng)絡(luò)的圖像處理102
9.2基于神經(jīng)網(wǎng)絡(luò)的信號處理109
9.3基于神經(jīng)網(wǎng)絡(luò)的模式識別109
9.4基于神經(jīng)網(wǎng)絡(luò)的機(jī)器控制122
參考文獻(xiàn)126