推薦序
前言
數(shù)學(xué)符號(hào)
第1 章緒論1
1.1 引言. . . . . . . . . . . . . . . . . . 2
1.2 基本思想. . . . . . . . . . . . . . 6
1.2.1 基于規(guī)則的機(jī)器翻譯. . . 6
1.2.2 統(tǒng)計(jì)機(jī)器翻譯. . . . . . . . 7
1.2.3 神經(jīng)機(jī)器翻譯. . . . . . . . 10
1.2.4 模型設(shè)計(jì). . . . . . . . . . . 11
1.3 解碼. . . . . . . . . . . . . . . . . . 12
1.3.1 統(tǒng)計(jì)機(jī)器翻譯解碼. . . . . 12
1.3.2 神經(jīng)機(jī)器翻譯解碼. . . . . 16
1.3.3 搜索錯(cuò)誤與模型錯(cuò)誤. . . 16
1.4 神經(jīng)機(jī)器翻譯與統(tǒng)計(jì)機(jī)器翻譯對(duì)比. . . . . . . . . . . . . . 18
1.4.1 表示. . . . . . . . . . . . . . 18
1.4.2 參數(shù). . . . . . . . . . . . . . 20
1.4.3 模型存儲(chǔ). . . . . . . . . . . 21
1.4.4 模型假設(shè)或約束. . . . . . 21
1.4.5 端到端. . . . . . . . . . . . 22
1.4.6 譯文生成. . . . . . . . . . . 22
1.4.7 訓(xùn)練方式. . . . . . . . . . . 23
1.4.8 魯棒性. . . . . . . . . . . . 24
1.4.9 可解釋性. . . . . . . . . . . 24
1.4.10 可干預(yù)性. . . . . . . . . . 25
1.4.11 低資源適應(yīng)性. . . . . . . 25
1.4.12 對(duì)比總結(jié). . . . . . . . . . 26
1.5 發(fā)展歷史. . . . . . . . . . . . . . 26
1.5.1 機(jī)器翻譯發(fā)展歷史. . . . . 27
1.5.2 神經(jīng)機(jī)器翻譯發(fā)展歷程. . 28
1.6 應(yīng)用現(xiàn)狀. . . . . . . . . . . . . . 29
1.6.1 維度1：通用領(lǐng)域vs. 垂直領(lǐng)域. . . . . . . . . . . . 29
1.6.2 維度2：多語(yǔ)種vs. 單語(yǔ)種30
1.6.3 維度3：云端vs. 終端. . 31
1.6.4 維度4：在線vs. 離線. . 31
1.6.5 維度5：B 端vs. C 端. . 31
1.6.6 維度6：純文本vs. 多模態(tài)31
1.6.7 維度7：人機(jī)結(jié)合vs. 人機(jī)分離. . . . . . . . . . . . 31
1.6.8 維度8：機(jī)器翻譯+ vs.純機(jī)器翻譯. . . . . . . . . 32
1.6.9 應(yīng)用現(xiàn)狀總結(jié). . . . . . . . 32
1.7 本書(shū)組織. . . . . . . . . . . . . . 32
1.7.1 基礎(chǔ)篇. . . . . . . . . . . . 32
1.7.2 原理篇. . . . . . . . . . . . 33
1.7.3 實(shí)踐篇. . . . . . . . . . . . 34
1.7.4 進(jìn)階篇. . . . . . . . . . . . 34
1.8 閱讀材料. . . . . . . . . . . . . . 34
1.9 短評(píng)：統(tǒng)計(jì)與規(guī)則的競(jìng)爭(zhēng). . 35
第I 部分基礎(chǔ)篇
第2 章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)41
2.1 神經(jīng)網(wǎng)絡(luò). . . . . . . . . . . . . . 42
2.1.1 神經(jīng)元. . . . . . . . . . . . 42
2.1.2 激活函數(shù). . . . . . . . . . . 45
2.1.3 神經(jīng)元組織：層. . . . . . 46
2.2 神經(jīng)網(wǎng)絡(luò)訓(xùn)練. . . . . . . . . . . 48
2.2.1 損失函數(shù). . . . . . . . . . . 49
2.2.2 隨機(jī)梯度下降. . . . . . . . 52
2.2.3 計(jì)算圖. . . . . . . . . . . . 56
2.2.4 訓(xùn)練優(yōu)化. . . . . . . . . . . 57
2.2.5 正則化. . . . . . . . . . . . 59
2.3 常用神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介. . . . . . . 61
2.3.1 前饋神經(jīng)網(wǎng)絡(luò). . . . . . . . 61
2.3.2 卷積神經(jīng)網(wǎng)絡(luò). . . . . . . . 62
2.3.3 循環(huán)神經(jīng)網(wǎng)絡(luò). . . . . . . . 64
2.4 閱讀材料. . . . . . . . . . . . . . 70
2.5 短評(píng)：神經(jīng)網(wǎng)絡(luò)與自然語(yǔ)言處理關(guān)系演變. . . . . . . . . 71
第3 章自然語(yǔ)言處理基礎(chǔ)75
3.1 語(yǔ)言模型. . . . . . . . . . . . . . 76
3.1.1 n-gram 語(yǔ)言模型. . . . . 77
3.1.2 神經(jīng)語(yǔ)言模型. . . . . . . . 78
3.1.3 預(yù)訓(xùn)練語(yǔ)言模型. . . . . . 80
3.2 詞嵌入. . . . . . . . . . . . . . . . 82
3.2.1 分布表示與分布式表示. . 82
3.2.2 靜態(tài)詞嵌入. . . . . . . . . 84
3.2.3 語(yǔ)境化詞嵌入. . . . . . . . 86
3.2.4 跨語(yǔ)言詞嵌入. . . . . . . . 88
3.3 對(duì)齊. . . . . . . . . . . . . . . . . . 90
3.3.1 文檔對(duì)齊. . . . . . . . . . . 91
3.3.2 句對(duì)齊. . . . . . . . . . . . 91
3.3.3 詞對(duì)齊. . . . . . . . . . . . 92
3.4 語(yǔ)言分析. . . . . . . . . . . . . . 93
3.4.1 詞法分析. . . . . . . . . . . 93
3.4.2 句法分析. . . . . . . . . . . 94
3.4.3 語(yǔ)義分析. . . . . . . . . . . 97
3.4.4 語(yǔ)篇分析. . . . . . . . . . . 98
3.5 閱讀材料. . . . . . . . . . . . . . 99
3.6 短評(píng)：自然語(yǔ)言處理之經(jīng)驗(yàn)主義與理性主義. . . . . . . 100
第II 部分原理篇
第4 章經(jīng)典神經(jīng)機(jī)器翻譯105
4.1 編碼器-解碼器結(jié)構(gòu). . . . . . 106
4.1.1 編碼器. . . . . . . . . . . . 108
4.1.2 解碼器. . . . . . . . . . . . 110
4.2 序列到序列學(xué)習(xí). . . . . . . . . 112
4.3 訓(xùn)練. . . . . . . . . . . . . . . . . . 114
4.4 解碼. . . . . . . . . . . . . . . . . . 114
4.4.1 采樣. . . . . . . . . . . . . . 115
4.4.2 貪心搜索. . . . . . . . . . . 115
4.4.3 柱搜索. . . . . . . . . . . . 115
4.5 閱讀材料. . . . . . . . . . . . . . 116
4.6 短評(píng)：神經(jīng)機(jī)器翻譯之獨(dú)立同發(fā)現(xiàn)——編碼器-解
碼器vs. 序列到序列. . . . . 117
第5 章基于注意力的神經(jīng)機(jī)器翻譯119
5.1 經(jīng)典神經(jīng)機(jī)器翻譯模型的瓶頸. . . . . . . . . . . . . . . . . . 120
5.2 注意力機(jī)制. . . . . . . . . . . . 120
5.3 注意力機(jī)制的改進(jìn). . . . . . . 124
5.3.1 全局注意力機(jī)制和局部注意力機(jī)制. . . . . . . . . 124
5.3.2 注意力覆蓋. . . . . . . . . 125
5.3.3 注意力引導(dǎo)訓(xùn)練. . . . . . 126
5.3.4 其他改進(jìn)方法. . . . . . . . 126
5.4 基于注意力的多層神經(jīng)機(jī)器翻譯模型GNMT . . . . . . . 127
5.4.1 整體結(jié)構(gòu). . . . . . . . . . . 127
5.4.2 殘差連接. . . . . . . . . . . 128
5.4.3 雙向編碼器. . . . . . . . . 128
5.4.4 模型并行. . . . . . . . . . . 128
5.5 閱讀材料. . . . . . . . . . . . . . 128
5.6 短評(píng)：注意力機(jī)制與認(rèn)知注意. . . . . . . . . . . . . . . . . . 129
第6 章基于卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)機(jī)器翻譯模型131
6.1 卷積編碼器. . . . . . . . . . . . 132
6.2 全卷積序列到序列模型. . . . 133
6.2.1 位置編碼. . . . . . . . . . . 134
6.2.2 卷積層結(jié)構(gòu). . . . . . . . . 134
6.2.3 多步注意力. . . . . . . . . 135
6.2.4 訓(xùn)練. . . . . . . . . . . . . . 136
6.3 ByteNet . . . . . . . . . . . . . . . 137
6.3.1 編碼器--解碼器堆疊. . . 137
6.3.2 動(dòng)態(tài)展開(kāi). . . . . . . . . . . 138
6.3.3 空洞卷積. . . . . . . . . . . 139
6.3.4 字符級(jí)神經(jīng)機(jī)器翻譯. . . 139
6.4 閱讀材料. . . . . . . . . . . . . . 139
6.5 短評(píng)：卷積神經(jīng)機(jī)器翻譯——實(shí)用性倒逼技術(shù)創(chuàng)新. . 140
第7 章基于自注意力的神經(jīng)機(jī)器翻譯142
7.1 自注意力機(jī)制. . . . . . . . . . . 143
7.2 Transformer 模型. . . . . . . . 144
7.2.1 Transformer 模型總體架構(gòu). . . . . . . . . . . . . . 144
7.2.2 多頭注意力. . . . . . . . . 146
7.2.3 位置編碼. . . . . . . . . . . 147
7.2.4 正則化. . . . . . . . . . . . 148
7.2.5 優(yōu)點(diǎn)分析. . . . . . . . . . . 148
7.3 自注意力改進(jìn)方法. . . . . . . 149
7.3.1 相對(duì)位置編碼. . . . . . . . 149
7.3.2 平均注意力網(wǎng)絡(luò). . . . . . 151
7.4 閱讀材料. . . . . . . . . . . . . . 152
7.5 短評(píng)：Transformer 帶來(lái)的自然語(yǔ)言處理技術(shù)革新. . . . 153
第8 章神經(jīng)機(jī)器翻譯若干基礎(chǔ)問(wèn)題及解決方案155
8.1 開(kāi)放詞匯表. . . . . . . . . . . . 156
8.2 深度模型. . . . . . . . . . . . . . 160
8.3 快速解碼. . . . . . . . . . . . . . 161
8.3.1 非自回歸神經(jīng)機(jī)器翻譯. . 162
8.3.2 淺層解碼器. . . . . . . . . 165
8.4 模型融合. . . . . . . . . . . . . . 165
8.5 領(lǐng)域適應(yīng). . . . . . . . . . . . . . 168
8.6 閱讀材料. . . . . . . . . . . . . . 171
8.7 短評(píng)：再談神經(jīng)機(jī)器翻譯新思想新技術(shù)的誕生. . . . . 172
第III 部分實(shí)踐篇
第9 章數(shù)據(jù)準(zhǔn)備175
9.1 平行語(yǔ)料. . . . . . . . . . . . . . 176
9.2 語(yǔ)料獲取. . . . . . . . . . . . . . 178
9.2.1 平行語(yǔ)料爬取. . . . . . . . 179
9.2.2 公開(kāi)數(shù)據(jù)集. . . . . . . . . 181
9.3 數(shù)據(jù)過(guò)濾與質(zhì)量評(píng)估. . . . . 182
9.3.1 噪聲類(lèi)型. . . . . . . . . . . 182
9.3.2 噪聲過(guò)濾. . . . . . . . . . . 184
9.4 數(shù)據(jù)處理. . . . . . . . . . . . . . 185
9.4.1 Tokenize . . . . . . . . . . . 185
9.4.2 子詞化. . . . . . . . . . . . 186
9.5 閱讀材料. . . . . . . . . . . . . . 187
談數(shù)據(jù)對(duì)機(jī)器翻譯的重要性. . . . . . . . . . . . 187
第10 章訓(xùn)練190
10.1 mini-batch 設(shè)置. . . . . . . . 191
10.1.1 小批量樣本選擇. . . . . . 191
10.1.2 小批量大小. . . . . . . . . 193
10.2 學(xué)習(xí)速率設(shè)置. . . . . . . . . . 194
10.3 隨機(jī)梯度下降算法選擇. . . 196
10.3.1 Momentum . . . . . . . . 196
10.3.2 AdaGrad . . . . . . . . . . . 197
10.3.3 AdaDelta . . . . . . . . . . 198
10.3.4 Adam . . . . . . . . . . . . 198
10.4 其他超參數(shù)選擇. . . . . . . . . 199
10.4.1 參數(shù)初始化. . . . . . . . . 199
10.4.2 隨機(jī)失活. . . . . . . . . . 200
10.4.3 模型容量. . . . . . . . . . 200
10.4.4 梯度裁剪. . . . . . . . . . 201
10.5 分布式訓(xùn)練. . . . . . . . . . . . 201
10.5.1 模型并行與數(shù)據(jù)并行. . . 202
10.5.2 同步更新與異步更新. . . 203
10.5.3 參數(shù)服務(wù)器與環(huán)狀全規(guī)約204
10.5.4 分布式訓(xùn)練開(kāi)源框架. . . 205
10.6 Transformer 訓(xùn)練設(shè)置. . . . 206
10.6.1 訓(xùn)練數(shù)據(jù)相關(guān)設(shè)置. . . . 206
10.6.2 模型容量. . . . . . . . . . 207
10.6.3 小批量大小. . . . . . . . . 207
10.6.4 學(xué)習(xí)速率. . . . . . . . . . 207
10.6.5 分布式訓(xùn)練. . . . . . . . . 208
10.7 閱讀材料. . . . . . . . . . . . . . 208
10.8 短評(píng)：超參數(shù)設(shè)置——自動(dòng)優(yōu)化與實(shí)驗(yàn)可復(fù)現(xiàn)性. . . . 209
第11 章測(cè)試212
11.1 解碼. . . . . . . . . . . . . . . . . . 213
11.1.1 解碼算法. . . . . . . . . . 213
11.1.2 譯文評(píng)分. . . . . . . . . . 214
11.1.3 檢查點(diǎn)平均. . . . . . . . . 216
11.2 解碼和訓(xùn)練不一致. . . . . . . 217
11.3 機(jī)器翻譯評(píng)測(cè)方法. . . . . . . 219
11.3.1 人工評(píng)測(cè). . . . . . . . . . 219
11.3.2 自動(dòng)評(píng)測(cè). . . . . . . . . . 221
11.4 錯(cuò)誤分析. . . . . . . . . . . . . . 222
11.5 閱讀材料. . . . . . . . . . . . . . 224
11.6 短評(píng)：評(píng)測(cè)驅(qū)動(dòng)機(jī)器翻譯研究. . . . . . . . . . . . . . . . . . 224
第12 章部署232
12.1 GPU 環(huán)境下的部署. . . . . . 233
12.1.1 壓力測(cè)試. . . . . . . . . . 234
12.1.2 負(fù)載均衡. . . . . . . . . . 234
12.1.3 請(qǐng)求合并. . . . . . . . . . 235
12.2 CPU 環(huán)境下的部署. . . . . . 236
12.2.1 候選詞表. . . . . . . . . . 236
12.2.2 量化運(yùn)算. . . . . . . . . . 237
12.2.3 結(jié)構(gòu)優(yōu)化. . . . . . . . . . 239
12.3 智能終端部署. . . . . . . . . . 239
12.3.1 知識(shí)蒸餾. . . . . . . . . . 240
12.3.2 剪枝. . . . . . . . . . . . . 241
12.3.3 參數(shù)共享. . . . . . . . . . 243
12.3.4 矩陣分解. . . . . . . . . . 243
12.4 模型壓縮與計(jì)算加速. . . . . 243
12.5 閱讀材料. . . . . . . . . . . . . . 244
12.6 短評(píng)：機(jī)器翻譯工業(yè)部署. . 245
第13 章系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)250
13.1 總體設(shè)計(jì). . . . . . . . . . . . . . 251
13.1.1 可擴(kuò)展性. . . . . . . . . . 251
13.1.2 易用性. . . . . . . . . . . . 251
13.1.3 系統(tǒng)效率. . . . . . . . . . 252
13.2 功能設(shè)計(jì). . . . . . . . . . . . . . 253
13.2.1 數(shù)據(jù). . . . . . . . . . . . . 253
13.2.2 模型. . . . . . . . . . . . . 253
13.2.3 訓(xùn)練. . . . . . . . . . . . . 254
13.2.4 推理. . . . . . . . . . . . . 255
13.3 開(kāi)源系統(tǒng). . . . . . . . . . . . . . 256
13.3.1 FAIRSEQ . . . . . . . . . . 256
13.3.2 OpenNMT . . . . . . . . . 257
13.3.3 Marian . . . . . . . . . . . . 257
13.4 FAIRSEQ 解析. . . . . . . . . . 258
13.4.1 注冊(cè)機(jī)制. . . . . . . . . . 258
13.4.2 訓(xùn)練流程. . . . . . . . . . 260
13.4.3 混合精度訓(xùn)練. . . . . . . 262
13.5 閱讀材料. . . . . . . . . . . . . . 263
13.6 短評(píng)：機(jī)器翻譯開(kāi)源之路. . 263
第IV 部分進(jìn)階篇
第14 章語(yǔ)篇級(jí)神經(jīng)機(jī)器翻譯270
14.1 什么是語(yǔ)篇. . . . . . . . . . . . 271
14.2 語(yǔ)篇級(jí)機(jī)器翻譯面臨的挑戰(zhàn)273
14.2.1 語(yǔ)篇級(jí)依存關(guān)系建模. . . 273
14.2.2 文檔級(jí)平行語(yǔ)料稀缺. . . 273
14.2.3 高計(jì)算需求. . . . . . . . . 273
14.2.4 語(yǔ)篇級(jí)機(jī)器翻譯評(píng)測(cè). . . 274
14.3 語(yǔ)篇級(jí)機(jī)器翻譯形式化定義274
14.4 語(yǔ)篇級(jí)神經(jīng)機(jī)器翻譯方法. . 275
14.4.1 拼接當(dāng)前句子與上下文. 275
14.4.2 額外的上下文編碼器. . . 277
14.4.3 基于緩存器. . . . . . . . . 279
14.4.4 基于語(yǔ)篇分析. . . . . . . 280
14.4.5 基于銜接性. . . . . . . . . 281
14.4.6 優(yōu)化訓(xùn)練目標(biāo)函數(shù). . . . 283
14.4.7 學(xué)習(xí)句子級(jí)語(yǔ)境化表示. 284
14.5 面向語(yǔ)篇現(xiàn)象的機(jī)器翻譯評(píng)測(cè)數(shù)據(jù)集. . . . . . . . . . . . 287
14.6 語(yǔ)篇級(jí)機(jī)器翻譯評(píng)測(cè)方法. . 287
14.7 未來(lái)方向. . . . . . . . . . . . . . 288
14.8 閱讀材料. . . . . . . . . . . . . . 289
14.8.1 語(yǔ)篇級(jí)統(tǒng)計(jì)機(jī)器翻譯. . . 289
14.8.2 語(yǔ)篇級(jí)神經(jīng)機(jī)器翻譯. . . 290
14.9 短評(píng)：神經(jīng)機(jī)器翻譯達(dá)到人類(lèi)同等水平了嗎. . . . . . . 291
第15 章低資源及無(wú)監(jiān)督
神經(jīng)機(jī)器翻譯295
15.1 低資源語(yǔ)言與資源稀缺挑戰(zhàn)296
15.2 低資源神經(jīng)機(jī)器翻譯. . . . . 297
15.2.1 數(shù)據(jù)增強(qiáng). . . . . . . . . . 299
15.2.2 基于樞紐語(yǔ)言. . . . . . . 300
15.2.3 利用單語(yǔ)數(shù)據(jù). . . . . . . 303
15.3 無(wú)監(jiān)督機(jī)器翻譯. . . . . . . . . 304
15.3.1 無(wú)監(jiān)督跨語(yǔ)言詞嵌入. . . 305
15.3.2 無(wú)監(jiān)督神經(jīng)機(jī)器翻譯. . . 307
15.4 未來(lái)方向. . . . . . . . . . . . . . 310
15.5 閱讀材料. . . . . . . . . . . . . . 311
15.6 短評(píng)：無(wú)監(jiān)督機(jī)器翻譯之美及挑戰(zhàn). . . . . . . . . . . . . . 311
第16 章融合知識(shí)的神經(jīng)機(jī)器翻譯314
16.1 知識(shí)與機(jī)器翻譯. . . . . . . . . 315
16.1.1 內(nèi)部知識(shí). . . . . . . . . . 315
16.1.2 外部知識(shí). . . . . . . . . . 316
16.2 語(yǔ)言學(xué)知識(shí)融合. . . . . . . . . 317
16.2.1 句法知識(shí)融合. . . . . . . 317
16.2.2 語(yǔ)義角色知識(shí)融合. . . . 319
16.2.3 指稱(chēng)知識(shí)融合. . . . . . . 321
16.3 非語(yǔ)言學(xué)知識(shí)融合. . . . . . . 323
16.3.1 常識(shí)知識(shí). . . . . . . . . . 323
16.3.2 知識(shí)圖譜融合. . . . . . . 325
16.4 雙語(yǔ)知識(shí)融合. . . . . . . . . . 327
16.4.1 雙語(yǔ)詞典融合. . . . . . . 327
記憶庫(kù)融合. . . . . . 328
16.5 內(nèi)部知識(shí)遷移. . . . . . . . . . 331
16.5.1 知識(shí)蒸餾. . . . . . . . . . 331
16.5.2 預(yù)訓(xùn)練模型知識(shí)遷移. . . 333
16.6 未來(lái)方向. . . . . . . . . . . . . . 336
16.7 閱讀材料. . . . . . . . . . . . . . 336
16.8 短評(píng)：淺談基于知識(shí)的機(jī)器翻譯. . . . . . . . . . . . . . . . 337
第17 章魯棒神經(jīng)機(jī)器翻譯341
17.1 魯棒性概述. . . . . . . . . . . . 342
17.2 對(duì)抗魯棒性. . . . . . . . . . . . 345
17.3 對(duì)抗樣本生成. . . . . . . . . . 346
17.3.1 白盒攻擊. . . . . . . . . . 347
17.3.2 黑盒攻擊. . . . . . . . . . 350
17.4 對(duì)抗訓(xùn)練. . . . . . . . . . . . . . 354
17.5 數(shù)據(jù)集. . . . . . . . . . . . . . . . 355
17.5.1 自然噪聲數(shù)據(jù)集. . . . . . 356
17.5.2 人工噪聲數(shù)據(jù)集. . . . . . 356
17.6 未來(lái)方向. . . . . . . . . . . . . . 357
17.6.1 對(duì)抗攻擊. . . . . . . . . . 357
17.6.2 對(duì)抗訓(xùn)練. . . . . . . . . . 357
17.6.3 后門(mén)攻擊與數(shù)據(jù)投毒. . . 358
17.6.4 分布之外魯棒性. . . . . . 358
17.7 閱讀材料. . . . . . . . . . . . . . 358
17.8 短評(píng)：神經(jīng)機(jī)器翻譯是瘋子嗎？兼談其“幻想” . . . . 360
第18 章多語(yǔ)言神經(jīng)機(jī)器
翻譯362
18.1 基本思想與形式化定義. . . 363
18.2 多語(yǔ)言機(jī)器翻譯vs. 雙語(yǔ)機(jī)器翻譯. . . . . . . . . . . . . . 364
18.2.1 雙語(yǔ)機(jī)器翻譯面臨的挑戰(zhàn)364
18.2.2 多語(yǔ)言神經(jīng)機(jī)器翻譯的優(yōu)勢(shì). . . . . . . . . . . . . . 365
18.3 多語(yǔ)言神經(jīng)機(jī)器翻譯模型. . 366
18.3.1 共享. . . . . . . . . . . . . 366
18.3.2 部分共享方法. . . . . . . 368
18.3.3 完全共享方法. . . . . . . 373
18.4 訓(xùn)練數(shù)據(jù)采樣方法. . . . . . . 374
18.5 大規(guī)模多語(yǔ)言神經(jīng)機(jī)器翻譯375
18.5.1 大規(guī)模平行語(yǔ)料數(shù)據(jù)獲取376
18.5.2 模型設(shè)計(jì). . . . . . . . . . 378
18.5.3 模型訓(xùn)練. . . . . . . . . . 380
18.6 多語(yǔ)言神經(jīng)機(jī)器翻譯向雙語(yǔ)神經(jīng)機(jī)器翻譯遷移. . . . . 383
18.7 未來(lái)方向. . . . . . . . . . . . . . 385
18.7.1 如何處理數(shù)據(jù)不平衡問(wèn)題385
18.7.2 如何建模不同語(yǔ)言之間的關(guān)系. . . . . . . . . . . . 386
18.7.3 如何在不同語(yǔ)言間有效共享模型參數(shù). . . . . . . . 387
18.7.4 如何有效構(gòu)建多語(yǔ)言神經(jīng)機(jī)器翻譯大模型. . . . . 387
18.8 閱讀材料. . . . . . . . . . . . . . 388
18.9 短評(píng)：多語(yǔ)言機(jī)器翻譯之美389
第19 章語(yǔ)音與視覺(jué)多模態(tài)神經(jīng)機(jī)器翻譯392
19.1 文本模態(tài)之外的機(jī)器翻譯. . 393
19.2 端到端語(yǔ)音翻譯. . . . . . . . . 394
19.2.1 面臨的挑戰(zhàn). . . . . . . . . 397
19.2.2 模型與方法. . . . . . . . . 397
19.2.3 數(shù)據(jù)集. . . . . . . . . . . . 405
19.2.4 未來(lái)方向. . . . . . . . . . 406
19.3 視覺(jué)引導(dǎo)的多模態(tài)神經(jīng)機(jī)器翻譯. . . . . . . . . . . . . . . . 406
19.3.1 面臨的挑戰(zhàn). . . . . . . . . 408
19.3.2 模型與方法. . . . . . . . . 409
19.3.3 數(shù)據(jù)集. . . . . . . . . . . . 414
19.3.4 未來(lái)方向. . . . . . . . . . 415
19.4 閱讀材料. . . . . . . . . . . . . . 416
19.4.1 端到端語(yǔ)音翻譯額外閱讀材料. . . . . . . . . . . . 416
19.4.2 視覺(jué)引導(dǎo)的多模態(tài)神經(jīng)機(jī)器翻譯額外閱讀材料. . 417
19.5 短評(píng)：預(yù)訓(xùn)練技術(shù)爭(zhēng)議與符號(hào)奠基問(wèn)題. . . . . . . . . . . 418
第20 章發(fā)展趨勢(shì)與展望427
20.1 展望. . . . . . . . . . . . . . . . . . 428
20.2 本書(shū)未覆蓋內(nèi)容. . . . . . . . . 429
20.2.1 數(shù)據(jù)倫理與安全. . . . . . 429
20.2.2 偏差. . . . . . . . . . . . . 431
20.2.3 翻譯風(fēng)格. . . . . . . . . . 431
20.2.4 翻譯腔. . . . . . . . . . . . 431
20.2.5 音譯. . . . . . . . . . . . . 431
20.2.6 對(duì)話翻譯. . . . . . . . . . 432
20.2.7 非參數(shù)與半?yún)��?shù)機(jī)器翻譯432
20.3 短評(píng)：科幻中的機(jī)器翻譯與未來(lái)機(jī)器翻譯. . . . . . . . . 432
參考文獻(xiàn)439
索引499