隨著ChatGPT 的出現(xiàn)，大語言模型的能力得到了業(yè)內(nèi)外的認(rèn)可，新的商業(yè)模式不斷涌現(xiàn)，舊的設(shè)計和實現(xiàn)都將重構(gòu)。本書主要介紹基于ChatGPT 開發(fā)算法相關(guān)的應(yīng)用或服務(wù)，側(cè)重于介紹與自然語言處理相關(guān)的常見任務(wù)和應(yīng)用，以及如何使用類似ChatGPT 的大語言模型服務(wù)來實現(xiàn)以前只有算法工程師才能完成的工作。
全書共8 章內(nèi)容，第1 章介紹與ChatGPT 相關(guān)的基礎(chǔ)知識，第2～5 章分別介紹相似匹配、句詞分類、文本生成和復(fù)雜推理方面的任務(wù)，第6～8 章分別介紹ChatGPT 的工程實踐、局限與不足，以及商業(yè)應(yīng)用，以幫助讀者更好地構(gòu)建自己的應(yīng)用。
本書以實踐為主，尤其注重任務(wù)的講解和設(shè)計，但同時也對自然語言處理相關(guān)算法的基本原理和基礎(chǔ)知識進(jìn)行科普性介紹，適合所有對大語言模型感興趣的開發(fā)者閱讀。
1. Di一本基于大語言模型進(jìn)行商業(yè)應(yīng)用開發(fā)的書；
2. 以任務(wù)（相似匹配、句詞分類、文本生成、復(fù)雜推理）為中心，內(nèi)容不僅可用于ChatGPT，也適用于其他大語言模型；
3. 側(cè)重于任務(wù)的講解與設(shè)計，思路可用于任何項目；
4. 有詳細(xì)的示例代碼，大部分的代碼稍作修改后可用于生產(chǎn)環(huán)境，還有Datawhale的HuggingLLM開源教程、B站視頻課程，書-課-代碼倉庫全方位助力學(xué)習(xí)與實踐；
5. Datawhale開源社區(qū)又一力作，五位人工智能領(lǐng)域?qū)W者吳飛、周明、朱信忠、金耀輝、張俊林親筆推薦！
郝少春
某AI大語言模型公司的算法工程師，開源組織Datawhale成員；擁有7 年算法和工程架構(gòu)經(jīng)驗及豐富的項目和產(chǎn)品經(jīng)歷，涉及文本、音頻、視頻、圖像等多種模態(tài)。
黃玉琳
上海財經(jīng)大學(xué)碩士，京東算法工程師，開源組織Datawhale成員；從事智能供應(yīng)鏈領(lǐng)域的算法研究及應(yīng)用工作；主要研究方向為機器學(xué)習(xí)、自然語言處理、運籌優(yōu)化。
易華揮
四川大學(xué)華西醫(yī)院生物大數(shù)據(jù)中心的科研助理，開源組織Datawhale成員；主要研究方向為多模態(tài)表征學(xué)習(xí)及其在醫(yī)學(xué)影像分析中的應(yīng)用；發(fā)表頂會論文3篇。
第 1 章 基礎(chǔ)知識——大語言模型背后 1
1.1 自然語言背景 1
1.1.1 語言是智能的標(biāo)志 1
1.1.2 從圖靈測試到ChatGPT 2
1.2 語言模型基礎(chǔ) 6
1.2.1 最小語義單位Token 與Embedding 6
1.2.2 語言模型是怎么回事 8
1.3 ChatGPT基礎(chǔ) 14
1.3.1 最強表示架構(gòu)Transformer設(shè)計與演變 14
1.3.2 生成語言模型GPT進(jìn)化與逆襲 18
1.3.3 利器強化學(xué)習(xí)RLHF流程與思想 25
1.4 本章小結(jié) 30
第 2 章 相似匹配——萬物皆可Embedding 31
2.1 相似匹配基礎(chǔ) 31
2.1.1 更好的Embedding表示 31
2.1.2 如何度量Embedding相似度 36
2.2 ChatGPT接口使用 37
2.2.1 Embedding接口 37
2.2.2 ChatGPT+提示詞 40
2.3 相關(guān)任務(wù)與應(yīng)用 41
2.3.1 簡單問答：以問題找問題 42
2.3.2 聚類任務(wù)：物以類聚也以群分 50
2.3.3 推薦應(yīng)用：一切都是Embedding 55
2.4 本章小結(jié) 64
第3 章 句詞分類——句子Token都是類別 65
3.1 句詞分類基礎(chǔ) 65
3.1.1 如何對一句話進(jìn)行分類 68
3.1.2 從句子分類到Token分類 71
3.2 ChatGPT接口使用 72
3.2.1 基礎(chǔ)版GPT續(xù)寫 72
3.2.2 進(jìn)階版ChatGPT指令 77
3.3 相關(guān)任務(wù)與應(yīng)用 82
3.3.1 文檔問答：給定文檔問問題 82
3.3.2 模型微調(diào)：滿足個性化需要 94
3.3.3 智能對話：大語言模型=自主控制的機器人 106
3.4 本章小結(jié) 117
第4 章 文本生成——超越理解更智能 119
4.1 文本生成任務(wù)基礎(chǔ) 119
4.2 文本摘要 121
4.2.1 什么是文本摘要 121
4.2.2 常見的文本摘要技術(shù) 121
4.2.3 基于OpenAI接口的文本摘要實驗 123
4.3 文本糾錯 131
4.3.1 什么是文本糾錯 131
4.3.2 常見的文本糾錯技術(shù) 132
4.3.3 基于OpenAI接口的文本糾錯實驗 135
4.4 機器翻譯 136
4.4.1 什么是機器翻譯 136
4.4.2 常見的機器翻譯技術(shù) 137
4.4.3 基于OpenAI接口的機器翻譯實驗 138
4.5 本章小結(jié) 144
第5 章 復(fù)雜推理——更加像人一樣思考 145
5.1 什么是復(fù)雜推理 145
5.2 復(fù)雜推理能力的激活和改善 147
5.2.1 初步評估ChatGPT的推理能力 147
5.2.2 復(fù)雜推理能力的激活 150
5.2.3 大語言模型復(fù)雜推理能力的改善 156
5.3 大語言模型復(fù)雜推理能力的探討 168
5.4 本章小結(jié) 170
第6 章 工程實踐——真實場景大不同 172
6.1 評測：決定是否上線的標(biāo)準(zhǔn) 172
6.1.1 為什么評測 172
6.1.2 NLU常用評測指標(biāo) 173
6.1.3 NLG常用評測指標(biāo) 175
6.2 安全：必須認(rèn)真對待的話題 178
6.2.1 前/ 后處理 178
6.2.2 提示詞 179
6.2.3 可控文本生成 179
6.3 網(wǎng)絡(luò)：接口調(diào)用并不總是成功 180
6.3.1 失敗 181
6.3.2 延遲 182
6.3.3 擴展 183
6.4 本章小結(jié) 185
第7 章 局限與不足——工具不是萬能的 186
7.1 事實性錯誤 186
7.1.1 錯誤示例 186
7.1.2 原因分析 188
7.1.3 解決方法 189
7.2 實時更新 190
7.2.1 問題示例 190
7.2.2 原因分析 191
7.2.3 解決方法 192
7.3 性能瓶頸 193
7.3.1 背景描述 193
7.3.2 原因分析 193
7.3.3 解決方法 194
7.4 本章小結(jié) 194
第8 章 商業(yè)應(yīng)用——LLM是星辰大海 196
8.1 相關(guān)背景 196
8.2 影響分析 197
8.3 商業(yè)賦能 198
8.4 本章小結(jié) 204
書單推薦
