01 基礎(chǔ)知識(shí) 1
1.1 大模型相關(guān)資源 1
1.1.1 可用的模型及API 1
1.1.2 數(shù)據(jù)資源 3
1.1.3 軟件資源 5
1.1.4 硬件資源 5
1.2 大模型預(yù)訓(xùn)練 5
1.2.1 數(shù)據(jù)收集與預(yù)處理 5
1.2.2 確定模型架構(gòu) 7
1.2.3 確定目標(biāo)函數(shù)及預(yù)訓(xùn)練 9
1.2.4 解碼策略 10
1.3 大模型微調(diào) 13
1.3.1 微調(diào)原理 13
1.3.2 指令微調(diào) 14
1.3.3 對(duì)齊微調(diào) 17
1.4 大模型在線學(xué)習(xí) 21
1.4.1 提示詞 21
1.4.2 上下文學(xué)習(xí) 23
1.4.3 思維鏈提示詞 24
1.4.4 規(guī)劃 26
1.5 大模型推理 27
1.5.1 高效推理技術(shù) 28
1.5.2 高效推理軟件工具 29
1.6 總結(jié) 30
02 數(shù)據(jù)準(zhǔn)備與開發(fā)環(huán)境準(zhǔn)備 31
2.1 MIND數(shù)據(jù)集介紹 31
2.2 Amazon電商數(shù)據(jù)集介紹 34
2.3 開發(fā)環(huán)境準(zhǔn)備 36
2.3.1 搭建CUDA開發(fā)環(huán)境 37
2.3.2 搭建MacBook 開發(fā)環(huán)境 40
2.4 總結(jié) 42
03 大模型推薦系統(tǒng)的數(shù)據(jù)來(lái)源、一般思路和4種范式 43
3.1 大模型推薦系統(tǒng)的數(shù)據(jù)來(lái)源 43
3.1.1 大模型相關(guān)的數(shù)據(jù) 44
3.1.2 新聞推薦系統(tǒng)相關(guān)的數(shù)據(jù) 44
3.1.3 將推薦數(shù)據(jù)編碼為大模型可用數(shù)據(jù) 45
3.2 將大模型用于推薦的一般思路 46
3.3 將大模型應(yīng)用于推薦的4種范式 46
3.3.1 基于大模型的生成范式 47
3.3.2 基于PLM的預(yù)訓(xùn)練范式 47
3.3.3 基于大模型的微調(diào)范式 48
3.3.4 基于大模型的直接推薦范式 49
3.4 總結(jié) 50
04 生成范式：大模型生成特征、訓(xùn)練數(shù)據(jù)與物品 51
4.1 大模型生成嵌入特征 51
4.1.1 嵌入的價(jià)值 51
4.1.2 嵌入方法介紹 52
4.2 大模型生成文本特征 57
4.2.1 生成文本特征 57
4.2.2 生成文本特征的其他方法 63
4.3 大模型生成訓(xùn)練數(shù)據(jù) 66
4.3.1 大模型直接生成表格類數(shù)據(jù) 66
4.3.2 大模型生成監(jiān)督樣本數(shù)據(jù) 67
4.4 大模型生成待推薦物品 69
4.4.1 為用戶生成個(gè)性化新聞 69
4.4.2 生成個(gè)性化的視頻 74
4.5 總結(jié) 77
05 預(yù)訓(xùn)練范式：通過(guò)大模型預(yù)訓(xùn)練進(jìn)行推薦 78
5.1 預(yù)訓(xùn)練的一般思路和方法 78
5.1.1 預(yù)訓(xùn)練數(shù)據(jù)準(zhǔn)備 78
5.1.2 大模型架構(gòu)選擇 79
5.1.3 大模型預(yù)訓(xùn)練 81
5.1.4 大模型推理（用于推薦） 82
5.2 案例講解 84
5.2.1 基于PTUM架構(gòu)的預(yù)訓(xùn)練推薦系統(tǒng) 84
5.2.2 基于P5的預(yù)訓(xùn)練推薦系統(tǒng) 86
5.3 基于MIND數(shù)據(jù)集的代碼實(shí)戰(zhàn) 91
5.3.1 預(yù)訓(xùn)練數(shù)據(jù)集準(zhǔn)備 91
5.3.2 模型預(yù)訓(xùn)練 98
5.3.3 模型推理與驗(yàn)證 102
5.4 總結(jié) 104
06 微調(diào)范式：微調(diào)大模型進(jìn)行個(gè)性化推薦 106
6.1 微調(diào)的方法 106
6.1.1 微調(diào)的價(jià)值 106
6.1.2 微調(diào)的步驟 107
6.1.3 微調(diào)的方法 111
6.1.4 微調(diào)的困難與挑戰(zhàn) 113
6.2 案例講解 114
6.2.1 TALLRec微調(diào)框架 114
6.2.2 GIRL：基于人類反饋的微調(diào)框架 117
6.3 基于MIND數(shù)據(jù)集實(shí)現(xiàn)微調(diào) 120
6.3.1 微調(diào)數(shù)據(jù)準(zhǔn)備 120
6.3.2 模型微調(diào) 122
6.3.3 模型推斷 130
6.4 總結(jié) 134
07 直接推薦范式：利用大模型的上下文學(xué)習(xí)進(jìn)行推薦 135
7.1 上下文學(xué)習(xí)推薦基本原理 135
7.2 案例講解 136
7.2.1 LLMRank實(shí)現(xiàn)案例 137
7.2.2 多任務(wù)實(shí)現(xiàn)案例 139
7.2.3 NIR實(shí)現(xiàn)案例 141
7.3 上下文學(xué)習(xí)推薦代碼實(shí)現(xiàn) 142
7.3.1 數(shù)據(jù)準(zhǔn)備 142
7.3.2 代碼實(shí)現(xiàn) 145
7.4 總結(jié) 157
08 實(shí)戰(zhàn)案例：大模型在電商推薦中的應(yīng)用 158
8.1 大模型賦能電商推薦系統(tǒng) 158
8.2 新的交互式推薦范式 161
8.2.1 交互式智能體的架構(gòu) 161
8.2.2 淘寶問(wèn)問(wèn)簡(jiǎn)介 162
8.3 大模型生成用戶興趣畫像 164
8.3.1 基礎(chǔ)原理與步驟介紹 164
8.3.2 數(shù)據(jù)預(yù)處理 165
8.3.3 代碼實(shí)現(xiàn) 168
8.4 大模型生成個(gè)性化商品描述信息 178
8.4.1 基礎(chǔ)原理與步驟介紹 178
8.4.2 數(shù)據(jù)預(yù)處理 179
8.4.3 代碼實(shí)現(xiàn) 184
8.5 大模型應(yīng)用于電商猜你喜歡推薦 196
8.5.1 數(shù)據(jù)預(yù)處理 196
8.5.2 模型微調(diào) 199
8.5.3 模型效果評(píng)估 205
8.6 大模型應(yīng)用于電商關(guān)聯(lián)推薦 209
8.6.1 數(shù)據(jù)預(yù)處理 209
8.6.2 多路召回實(shí)現(xiàn) 214
8.6.3 相似度排序?qū)崿F(xiàn) 216
8.6.4 排序模型效果評(píng)估 219
8.7 大模型如何解決電商冷啟動(dòng)問(wèn)題 221
8.7.1 數(shù)據(jù)準(zhǔn)備 221
8.7.2 利用大模型生成冷啟動(dòng)商品的行為樣本 226
8.7.3 利用大模型上下文學(xué)習(xí)能力推薦冷啟動(dòng)商品 228
8.7.4 模型微調(diào) 232
8.7.5 模型效果評(píng)估 232
8.8 利用大模型進(jìn)行推薦解釋，提升推薦說(shuō)服力 237
8.8.1 數(shù)據(jù)準(zhǔn)備 237
8.8.2 利用大模型上下文學(xué)習(xí)能力進(jìn)行推薦解釋 244
8.8.3 模型微調(diào) 248
8.8.4 模型效果評(píng)估 256
8.9 利用大模型進(jìn)行對(duì)話式推薦 257
8.9.1 對(duì)話式大模型推薦系統(tǒng)的架構(gòu) 257
8.9.2 數(shù)據(jù)準(zhǔn)備 258
8.9.3 代碼實(shí)現(xiàn) 260
8.9.4 對(duì)話式推薦案例 268
8.10 總結(jié) 269
09 工程實(shí)踐：大模型落地真實(shí)業(yè)務(wù)場(chǎng)景 271
9.1 大模型推薦系統(tǒng)如何進(jìn)行高效預(yù)訓(xùn)練和推理 271
9.1.1 模型高效訓(xùn)練 272
9.1.2 模型高效推理 273
9.1.3 模型服務(wù)部署 274
9.1.4 硬件選擇建議 275
9.2 大模型落地企業(yè)級(jí)推薦系統(tǒng)的思考 275
9.2.1 如何將推薦算法嵌入大模型框架 275
9.2.2 大模型特性給落地推薦系統(tǒng)帶來(lái)的挑戰(zhàn) 276
9.2.3 大模型相關(guān)的技術(shù)人才匱乏 276
9.2.4 大模型推薦系統(tǒng)與傳統(tǒng)推薦系統(tǒng)的關(guān)系 277
9.2.5 大模型推薦系統(tǒng)的投資回報(bào)率分析 277
9.2.6 大模型落地推薦場(chǎng)景的建議 277
9.3 總結(jié) 278
后記 279