第1篇 基礎(chǔ)
第1章 從人工智能的起源到大語(yǔ)言模型 2
1.1 人工智能的起源 2
1.1.1 機(jī)器能思考嗎 2
1.1.2 達(dá)特茅斯會(huì)議 3
1.2 什么是機(jī)器學(xué)習(xí) 4
1.2.1 演繹推理與歸納推理 4
1.2.2 人工編程與自動(dòng)編程 5
1.2.3 機(jī)器學(xué)習(xí)的過(guò)程 5
1.2.4 機(jī)器學(xué)習(xí)的分類(lèi) 8
1.3 什么是神經(jīng)網(wǎng)絡(luò) 9
1.3.1 還原論與涌現(xiàn)性 9
1.3.2 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史 10
1.3.3 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 11
1.3.4 神經(jīng)網(wǎng)絡(luò)的三要素 13
1.4 自然語(yǔ)言處理的發(fā)展歷程 17
1.4.1 什么是自然語(yǔ)言處理 17
1.4.2 文本的向量化 18
1.4.3 神經(jīng)網(wǎng)絡(luò)中的自監(jiān)督學(xué)習(xí) 21
1.5 大語(yǔ)言模型 24
1.5.1 什么是大語(yǔ)言模型 24
1.5.2 語(yǔ)言模型中的token 25
1.5.3 自回歸模型與文本生成 33
1.5.4 統(tǒng)一自然語(yǔ)言任務(wù) 41
1.5.5 大語(yǔ)言模型的訓(xùn)練過(guò)程 44
1.5.6 大語(yǔ)言模型的局限性 46
第2篇 入門(mén)
第2章 交互格式 50
2.1 Completion交互格式 50
2.2 ChatML交互格式 52
2.3 Chat Completion交互格式 54
第3章 提示工程 57
3.1 什么是提示工程 57
3.2 提示的構(gòu)成 58
3.3 提示的基礎(chǔ)技巧 62
3.3.1 在提示的末尾重復(fù)關(guān)鍵指令 63
3.3.2 使用更清晰的語(yǔ)法 63
3.3.3 盡量使用示例 65
3.3.4 明確要求大語(yǔ)言模型回復(fù)高質(zhì)量的響應(yīng) 65
3.4 Chat Completion交互格式中的提示 65
3.5 提示模板與多輪對(duì)話 69
第4章 工作記憶與長(zhǎng)短期記憶 72
4.1 什么是工作記憶 72
4.2 減輕工作記憶的負(fù)擔(dān) 74
4.2.1 Chain-of-Thought 74
4.2.2 Self-Consistency 76
4.2.3 Least-to-Most 76
4.2.4 Tree-of-Tought和Graph -of-Tought 79
4.2.5 Algorithm-of-Tought 85
4.2.6 Chain-of-Density 88
4.3 關(guān)于大語(yǔ)言模型的思考能力 90
4.4 長(zhǎng)短期記憶 91
4.4.1 什么是記憶 91
4.4.2 短期記憶 92
4.4.3 長(zhǎng)期記憶 105
第5章 外部工具 122
5.1 為什么需要外部工具 122
5.2 什么是外部工具 122
5.3 使用外部工具的基本原理 124
5.4 基于提示的工具 126
5.4.1 Self-ask 框架 126
5.4.2 ReAct 框架 128
5.4.3 改進(jìn)ReAct框架 134
5.5 基于微調(diào)的工具 137
5.5.1 Toolformer 137
5.5.2 Gorilla 140
5.5.3 function calling 141
第6章 ChatGPT接口與擴(kuò)展功能詳解 149
6.1 OpenAI大語(yǔ)言模型簡(jiǎn)介 149
6.2 ChatGPT擴(kuò)展功能原理 151
6.2.1 網(wǎng)頁(yè)實(shí)時(shí)瀏覽 152
6.2.2 執(zhí)行Python代碼 153
6.2.3 圖像生成 154
6.2.4 本地文件瀏覽 157
6.3 Chat Completion接口參數(shù)詳解 158
6.3.1 模型響應(yīng)返回的參數(shù) 158
6.3.2 向模型發(fā)起請(qǐng)求的參數(shù) 159
6.4 Assistants API 162
6.4.1 工具 162
6.4.2 線程 163
6.4.3 運(yùn)行 163
6.4.4 Assistants API整體執(zhí)行過(guò)程 164
6.5 GPTs與GPT商店 164
6.5.1 GPTs功能詳解 165
6.5.2 GPT商店介紹 172
6.5.3 案例：私人郵件助手 174
第3篇 進(jìn)階
第7章 無(wú)梯度優(yōu)化 184
7.1 單步優(yōu)化 184
7.2 強(qiáng)化學(xué)習(xí)入門(mén) 188
7.3 多步優(yōu)化中的預(yù)測(cè) 191
7.4 多步優(yōu)化中的訓(xùn)練 194
7.5 多步優(yōu)化中的訓(xùn)練和預(yù)測(cè) 201
第8章 自主Agent系統(tǒng) 210
8.1 自主Agent系統(tǒng)簡(jiǎn)介 210
8.2 自主Agent系統(tǒng)的基本組成 211
8.3 自主Agent系統(tǒng)案例分析（一） 213
8.3.1 BabyAGI 213
8.3.2 AutoGPT 216
8.3.3 BeeBot 221
8.3.4 Open Interpreter 228
8.3.5 MemGPT 232
8.4 自主Agent系統(tǒng)案例分析（二） 243
8.4.1 CAMEL 243
8.4.2 ChatEval 246
8.4.3 Generative Agents 250
第9章 微調(diào) 262
9.1 三類(lèi)微調(diào)方法 262
9.2 Transformer解碼器詳解 264
9.2.1 Transformer的原始輸入 264
9.2.2 靜態(tài)編碼和位置編碼 264
9.2.3 Transformer層 265
9.3 高效參數(shù)微調(diào) 268
9.3.1 Adapter高效微調(diào) 268
9.3.2 Prompt高效微調(diào) 269
9.3.3 LoRA高效微調(diào) 272
9.3.4 高效微調(diào)總結(jié) 274
9.4 微調(diào)RAG框架 275
9.4.1 RAG框架微調(diào)概述 275
9.4.2 數(shù)據(jù)準(zhǔn)備和參數(shù)微調(diào) 276
9.4.3 效果評(píng)估 276
第10章 大語(yǔ)言模型的安全技術(shù) 280
10.1 提示注入攻擊 280
10.1.1 攻擊策略 281
10.1.2 防御策略 284
10.2 越獄攻擊與數(shù)據(jù)投毒 285
10.2.1 沖突的目標(biāo)與不匹配的泛化 285
10.2.2 對(duì)抗樣本 286
10.2.3 數(shù)據(jù)投毒 289
10.3 幻覺(jué)和偏見(jiàn)問(wèn)題 292
10.4 為大語(yǔ)言模型添加水印 294
第4篇 展望
第11章 大語(yǔ)言模型的生態(tài)與未來(lái) 298
11.1 多模態(tài)大語(yǔ)言模型 298
11.1.1 什么是多模態(tài) 298
11.1.2 GPT-4V簡(jiǎn)介 300
11.1.3 Gemini簡(jiǎn)介 303
11.2 大語(yǔ)言模型的生態(tài)系統(tǒng) 308
11.3 大語(yǔ)言模型的第一性原理：尺度定律 311
11.3.1 什么是尺度定律 312
11.3.2 尺度定律的性質(zhì) 313
11.3.3 尺度定律的未來(lái) 320
11.4 通向通用人工智能：壓縮即智能 321
11.4.1 編碼與無(wú)損壓縮 322
11.4.2 自回歸與無(wú)損壓縮 331
11.4.3 無(wú)損壓縮的極限 336
11.5 圖靈機(jī)與大語(yǔ)言模型：可計(jì)算性與時(shí)間復(fù)雜度 342
11.5.1 圖靈機(jī)與神經(jīng)網(wǎng)絡(luò) 342
11.5.2 智能的可計(jì)算性 346
11.5.3 邏輯推理的時(shí)間復(fù)雜度 349
參考文獻(xiàn) 352