本書全面講述人工智能算法的理論基礎(chǔ)和案例編程實現(xiàn)。第1章簡要介紹機(jī)器學(xué)習(xí)的發(fā)展及其應(yīng)用。第2章和第3章主要介紹機(jī)器學(xué)習(xí)經(jīng)典分類算法、聚類算法、集成算法和隨機(jī)森林算法,以及這些算法的具體內(nèi)容、算法原理和案例編程實現(xiàn)。第4章介紹了深度學(xué)習(xí)的概念、原理、研究現(xiàn)狀,以及典型的神經(jīng)網(wǎng)絡(luò)及其相關(guān)網(wǎng)絡(luò)的案例編程實現(xiàn)。第5章介紹了強化學(xué)習(xí)的發(fā)展及其相關(guān)算法,包括Q-學(xué)習(xí)算法、蒙特卡洛算法和動態(tài)規(guī)劃算法,以及這些算法的原理和案例編程實現(xiàn)。第6章介紹了遷移學(xué)習(xí)的發(fā)展及其相關(guān)算法,主要包括TrAdaBoost算法和層次貝葉斯算法,以及這些算法的原理和案例編程實現(xiàn)。第7章主要介紹了聯(lián)邦學(xué)習(xí)的研究現(xiàn)狀和相關(guān)算法,涉及聯(lián)邦平均算法和縱向聯(lián)邦學(xué)習(xí)算法,以及算法的原理和案例編程實現(xiàn)。第8章介紹了因果學(xué)習(xí)的研究現(xiàn)狀和典型模型算法,包括結(jié)果因果模型和多變量結(jié)構(gòu)識別算法,還有這些模型和算法的原理以及案例編程實現(xiàn)。第9章和第10章分別介紹了文本挖掘和圖像處理的研究現(xiàn)狀,以及應(yīng)用于文本和圖像的一些算法,涉及算法的原理介紹和案例編程實現(xiàn)。第11章介紹了人工智能大模型的發(fā)展及研究現(xiàn)狀,包括Transformer和GPT,以及相關(guān)的改進(jìn)模型,并對其中典型的模型應(yīng)用案例進(jìn)行了分析。本書可作為計算機(jī)科學(xué)與技術(shù)、智能科學(xué)與技術(shù)、人工智能等專業(yè)高年級本科生和研究生教材,也可供從事或有志于人工智能行業(yè)的研究人員和從業(yè)者參考。
徐立芳,女,副教授,哈爾濱工程大學(xué)機(jī)電工程學(xué)院副教授,2007年畢業(yè)于哈爾濱工程大學(xué),獲得工學(xué)博士學(xué)位,哈爾濱工業(yè)大學(xué)精密儀器科學(xué)與技術(shù)博士后流動站出站。
第1章 緒論 1
1.1 人類的學(xué)習(xí)與機(jī)器的學(xué)習(xí) 2
1.1.1 人類的學(xué)習(xí) 2
1.1.2 機(jī)器的學(xué)習(xí) 3
1.2 機(jī)器學(xué)習(xí)與機(jī)器智能 6
1.2.1 機(jī)器學(xué)習(xí)的概念 6
1.2.2 機(jī)器學(xué)習(xí)如何實現(xiàn)機(jī)器智能 7
1.3 機(jī)器學(xué)習(xí)的發(fā)展歷程 7
1.4 機(jī)器學(xué)習(xí)的類型 9
1.5 機(jī)器學(xué)習(xí)的主要方法 10
1.6 機(jī)器學(xué)習(xí)的主要算法 13
1.6.1 傳統(tǒng)機(jī)器學(xué)習(xí)算法 14
1.6.2 新型機(jī)器學(xué)習(xí)算法 15
1.7 機(jī)器學(xué)習(xí)的典型應(yīng)用與發(fā)展趨勢 17
1.7.1 機(jī)器學(xué)習(xí)的典型應(yīng)用 17
1.7.2 機(jī)器學(xué)習(xí)的發(fā)展趨勢 18
1.8 如何閱讀本書 19
總結(jié) 20
習(xí)題 20
第2章 機(jī)器學(xué)習(xí)經(jīng)典分類算法 23
2.1 回歸算法 24
2.1.1 基本形式 24
2.1.2 線性回歸 24
2.1.3 邏輯回歸 26
2.1.4 線性回歸案例分析 27
2.1.5 邏輯回歸案例分析 33
2.2 決策樹算法 37
2.2.1 樹形決策過程 37
2.2.2 訓(xùn)練算法 38
2.2.3 案例分析 43
2.3 支持向量機(jī) 47
2.3.1 線性分類器 47
2.3.2 支持向量機(jī)原理 48
2.3.3 案例分析 51
2.4 kNN算法 53
2.4.1 基本概念 54
2.4.2 預(yù)測算法 54
2.4.3 距離定義 55
2.4.4 案例分析 57
2.5 貝葉斯算法 59
2.5.1 貝葉斯決策 59
2.5.2 樸素貝葉斯分類器 60
2.5.3 正態(tài)貝葉斯分類器 62
2.5.4 案例分析 64
總結(jié) 67
習(xí)題 67
第3章 機(jī)器學(xué)習(xí)經(jīng)典聚類及集成與隨機(jī)森林算法 69
3.1 k-means算法 70
3.1.1 相似性的度量 70
3.1.2 k-means算法原理 71
3.1.3 k-means算法的改進(jìn) 73
3.1.4 Mean Shift算法 74
3.1.5 案例分析 76
3.2 AdaBoost算法 79
3.2.1 AdaBoost算法介紹 79
3.2.2 AdaBoost算法分類 83
3.2.3 案例分析 84
3.3 馬爾可夫算法 88
3.3.1 馬爾可夫算法介紹 88
3.3.2 隱馬爾可夫算法介紹 91
3.3.3 案例分析 93
3.4 隨機(jī)森林算法 96
3.4.1 集成學(xué)習(xí) 97
3.4.2 隨機(jī)森林概述 98
3.4.3 訓(xùn)練算法 98
3.4.4 變量的重要性 99
3.4.5 案例分析 100
總結(jié) 102
習(xí)題 103
第4章 深度學(xué)習(xí) 105
4.1 深度學(xué)習(xí)及其研究現(xiàn)狀 106
4.1.1 深度學(xué)習(xí)概念 106
4.1.2 深度學(xué)習(xí)研究現(xiàn)狀 106
4.2 人工神經(jīng)網(wǎng)絡(luò) 107
4.2.1 全連接神經(jīng)網(wǎng)絡(luò) 107
4.2.2 反向傳播算法 111
4.2.3 案例分析 115
4.3 生成對抗網(wǎng)絡(luò) 119
4.3.1 生成對抗網(wǎng)絡(luò)結(jié)構(gòu) 119
4.3.2 模型的訓(xùn)練 120
4.3.3 GAN的改進(jìn)模型 124
4.3.4 案例分析 131
4.4 循環(huán)神經(jīng)網(wǎng)絡(luò) 135
4.4.1 循環(huán)神經(jīng)網(wǎng)絡(luò)概述 135
4.4.2 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 136
4.4.3 循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練 138
4.4.4 挑戰(zhàn)與改進(jìn)措施 139
4.4.5 案例分析 141
總結(jié) 144
習(xí)題 144
第5章 強化學(xué)習(xí) 146
5.1 強化學(xué)習(xí)及其研究現(xiàn)狀 147
5.1.1 馬爾可夫模型 147
5.1.2 策略 148
5.1.3 強化學(xué)習(xí)研究現(xiàn)狀 150
5.2 Q-學(xué)習(xí)算法 150
5.2.1 Q-學(xué)習(xí)算法的基本原理 151
5.2.2 Q-學(xué)習(xí)算法的結(jié)構(gòu) 151
5.2.3 采用神經(jīng)網(wǎng)絡(luò)實現(xiàn)Q-學(xué)習(xí)算法 153
5.2.4 Q-學(xué)習(xí)算法的改進(jìn) 154
5.2.5 Q-學(xué)習(xí)算法的應(yīng)用案例 156
5.3 蒙特卡洛算法 160
5.3.1 簡單介紹 160
5.3.2 經(jīng)驗軌跡 161
5.3.3 蒙特卡洛算法的數(shù)學(xué)原理 164
5.3.4 蒙特卡洛算法的特點 165
5.3.5 蒙特卡洛預(yù)測 165
5.3.6 蒙特卡洛預(yù)測算法的實現(xiàn) 166
5.4 動態(tài)規(guī)劃算法 169
5.4.1 策略評估 170
5.4.2 策略改進(jìn) 171
5.4.3 策略迭代 172
5.4.4 值迭代 173
5.4.5 案例分析 174
總結(jié) 176
習(xí)題 177
第6章 遷移學(xué)習(xí) 179
6.1 遷移學(xué)習(xí)及其研究現(xiàn)狀 179
6.1.1 遷移學(xué)習(xí)概念 179
6.1.2 遷移學(xué)習(xí)研究現(xiàn)狀 180
6.2 TrAdaBoost算法 181
6.2.1 背景 181
6.2.2 算法介紹 181
6.2.3 算法改進(jìn) 184
6.2.4 案例分析 186
6.3 層次貝葉斯算法 190
6.3.1 背景 190
6.3.2 算法介紹 191
6.3.3 案例分析 194
總結(jié) 196
習(xí)題 197
第7章 聯(lián)邦學(xué)習(xí) 199
7.1 聯(lián)邦學(xué)習(xí)及其研究現(xiàn)狀 199
7.1.1 聯(lián)邦學(xué)習(xí)概念 199
7.1.2 聯(lián)邦學(xué)習(xí)研究現(xiàn)狀 201
7.2 聯(lián)邦平均算法 202
7.2.1 聯(lián)邦優(yōu)化 203
7.2.2 算法原理 205
7.2.3 安全的聯(lián)邦平均算法 207
7.2.4 聯(lián)邦平均算法的改進(jìn) 207
7.2.5 案例分析 209
7.3 縱向聯(lián)邦學(xué)習(xí)算法 215
7.3.1 安全聯(lián)邦線性回歸 215
7.3.2 安全聯(lián)邦提升樹 217
7.3.3 案例分析 221
總結(jié) 224
習(xí)題 224
第8章 因果學(xué)習(xí) 227
8.1 因果學(xué)習(xí)及其研究現(xiàn)狀 228
8.1.1 因果學(xué)習(xí)概念 228
8.1.2 因果學(xué)習(xí)研究現(xiàn)狀 229
8.2 結(jié)構(gòu)因果模型 229
8.2.1 兩種類型的因果陳述 229
8.2.2 SCM的標(biāo)準(zhǔn)表示 232
8.2.3 SCM的改進(jìn)型 233
8.2.4 案例分析 236
8.3 多變量結(jié)構(gòu)識別算法 239
8.3.1 基于獨立的方法 240
8.3.2 基于分?jǐn)?shù)的方法 242
8.3.3 多變量加性噪聲模型 244
8.3.4 案例分析 246
總結(jié) 248
習(xí)題 249
第9章 文本挖掘 251
9.1 文本挖掘概念與現(xiàn)狀 251
9.1.1 文本挖掘概念 251
9.1.2 文本挖掘現(xiàn)狀 252
9.2 Word2vec-詞嵌入 252
9.2.1 背景介紹 253
9.2.2 Word2vec-詞嵌入——基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)單詞表示 256
9.2.3 案例分析 265
9.3 遞歸神經(jīng)網(wǎng)絡(luò) 270
9.3.1 遞歸神經(jīng)網(wǎng)絡(luò)介紹 270
9.3.2 遞歸神經(jīng)網(wǎng)絡(luò)分類 274
9.3.3 案例分析 276
總結(jié) 282
習(xí)題 283
第10章 圖像處理 285
10.1 圖像處理概念與現(xiàn)狀 285
10.1.1 圖像處理概念 285
10.1.2 圖像處理現(xiàn)狀 286
10.2 條件圖像到圖像翻譯 286
10.2.1 條件圖像到圖像翻譯的概念 286
10.2.2 cd-GAN 287
10.2.3 DosGAN 289
10.2.4 案例分析 291
10.3 解糾纏圖像到圖像翻譯 295
10.3.1 解糾纏圖像到圖像翻譯的概念 295
10.3.2 InterfaceGAN 295
10.3.3 SeFa 298
10.3.4 案例分析 300
總結(jié) 304
習(xí)題 304
第11章 人工智能大模型 307
11.1 人工智能大模型概念與現(xiàn)狀 307
11.1.1 人工智能大模型概念 307
11.1.2 人工智能大模型現(xiàn)狀 308
11.2 Transformer 308
11.2.1 背景 308
11.2.2 模型結(jié)構(gòu) 309
12.2.3 為什么使用自注意力 312
11.2.4 案例分析 313
11.3 GPT 317
11.3.1 GPT-1 317
11.3.2 GPT-2 320
11.3.3 GPT-3 323
11.3.4 案例分析 326
總結(jié) 331
習(xí)題 331