第1章 緒論 1
1.1 研究背景及意義 1
1.2 基本定義及問題描述 3
第2章 語義表示學習的基礎信息 6
2.1 發(fā)展歷史 6
2.2 實際應用 8
第3章 分布表示方法 12
3.1 概述 12
3.2 基于矩陣分解的方法 15
3.3 基于神經(jīng)網(wǎng)絡的方法 19
3.4 方法總結與對比 26
第4章 預訓練語言模型 27
4.1 ELMo模型 27
4.2 GPT模型 28
4.3 BERT模型 29
4.4 RoBERTa模型 31
4.5 XLNet模型 32
4.6 方法總結與對比 33
第5章 增強關聯(lián)模式的語義表示方法 35
5.1 引言 35
5.2 相關工作 37
5.3 預備知識 39
5.3.1 基于上下文信息的語義表示模型 39
5.3.2 關聯(lián)模式挖掘 40
5.4 增強關聯(lián)模式的語義表示模型 41
5.4.1 基于CBOW的APWE模型 42
5.4.2 基于Skip-gram的APWE模型 43
5.5 實驗 44
5.5.1 對比方法 45
5.5.2 實驗I：文本分類 45
5.5.3 實驗II：查詢詞擴展 48
5.5.4 參數(shù)分析 51
5.5.5 實例分析 52
5.6 本章小結 53
第6章 基于知識的語義向量化表示 55
6.1 引言 55
6.2 相關工作 57
6.2.1 知識庫表示 57
6.2.2 知識與文本聯(lián)合表示 59
6.3 基于語義結構的語義表示模型 60
6.3.1 語義結構定義 60
6.3.2 SENSE模型 61
6.4 實驗 63
6.4.1 對比方法 64
6.4.2 參數(shù)設置 65
6.4.3 任務I：詞相似度測量 66
6.4.4 任務II：詞匯類比推理 67
6.4.5 任務III：文本分類 69
6.4.6 任務IV：查詢詞擴展 71
6.5 本章小結 73
第7章 文本分類中任務導向的語義表示方法 74
7.1 引言 74
7.2 相關工作 76
7.3 任務導向的語義表示模型 78
7.3.1 語義特征表示 78
7.3.2 任務特征表示 78
7.3.3 聯(lián)合表示模型及優(yōu)化 80
7.4 實驗 80
7.4.1 數(shù)據(jù)集 80
7.4.2 對比方法 82
7.4.3 實驗參數(shù)設置 82
7.4.4 整體評測效果 84
7.5 實例分析 87
7.6 本章小結 89
第8章 文本語義向量化表示在機器閱讀理解任務中的應用 90
8.1 引言 90
8.2 機器閱讀理解 93
8.3 機器閱讀理解基礎方法 95
8.4 多粒度語義匹配的MGRC模型 96
8.4.1 多粒度語義表示 96
8.4.2 多粒度語義匹配 99
8.4.3 聯(lián)合模型及其優(yōu)化 103
8.5 實驗 103
8.5.1 數(shù)據(jù)集 104
8.5.2 評測指標及對比方法 105
8.5.3 整體性能評測 106
8.5.4 參數(shù)分析 109
8.5.5 模塊有效性驗證 109
8.5.6 實例分析 113
8.6 本章小結 115
第9章 總結與展望 116
9.1 本書總結 116
9.2 未來研究方向展望 117
參考文獻 119