讓計(jì)算機(jī)自動(dòng)處理文字一直以來(lái)都是我們工作中的重要訴求，而文字的表現(xiàn)形式是多樣的，目前，單純使用自然語(yǔ)言處理技術(shù)已無(wú)法滿(mǎn)足復(fù)雜的實(shí)際工作場(chǎng)景的需求。本書(shū)詳細(xì)介紹了達(dá)觀(guān)數(shù)據(jù)多年來(lái)在智能文本處理領(lǐng)域的實(shí)戰(zhàn)經(jīng)驗(yàn)，從核心技術(shù)、相關(guān)產(chǎn)品、行業(yè)場(chǎng)景案例等多角度出發(fā)，幫助讀者全面理解智能文本處理技術(shù)的意義和價(jià)值。全書(shū)分為三大部分：第一部分介紹智能文本處理的基礎(chǔ)知識(shí)、意義和相關(guān)核心技術(shù)；第二部分介紹智能文本處理項(xiàng)目實(shí)施經(jīng)驗(yàn)以及在不同場(chǎng)景和產(chǎn)品中的應(yīng)用；第三部分總結(jié)達(dá)觀(guān)智能文本處理技術(shù)與不同行業(yè)場(chǎng)景的結(jié)合，供各行業(yè)有智能文本處理需求的讀者參考。
1.全面介紹智能文本處理相關(guān)技術(shù)場(chǎng)景。理論部分除傳統(tǒng)NLP技術(shù)外，詳細(xì)講解多個(gè)關(guān)于文檔智能處理的特色技術(shù)。
2.實(shí)踐部分以包括達(dá)觀(guān)數(shù)據(jù)在內(nèi)多個(gè)專(zhuān)業(yè)企業(yè)的相關(guān)產(chǎn)品項(xiàng)目經(jīng)驗(yàn)為基礎(chǔ)，介紹了眾多行業(yè)、場(chǎng)景中的技術(shù)產(chǎn)品落地工作，具有很高的參考價(jià)值。
3.本書(shū)匯集了達(dá)觀(guān)數(shù)據(jù)在智能文本處理領(lǐng)域深耕多年的經(jīng)驗(yàn)結(jié)晶，為廣大人工智能領(lǐng)域的從業(yè)者提供豐富詳實(shí)的理論與實(shí)踐支持。
達(dá)觀(guān)數(shù)據(jù)專(zhuān)注于智能文本處理技術(shù)，是行業(yè)內(nèi)專(zhuān)精特新“小巨人”企業(yè)，也曾榮獲中國(guó)人工智能領(lǐng)域獎(jiǎng)項(xiàng)“吳文俊人工智能獎(jiǎng)”。達(dá)觀(guān)數(shù)據(jù)開(kāi)發(fā)的“曹植”大語(yǔ)言模型基于該企業(yè)長(zhǎng)期積累的技術(shù)和經(jīng)驗(yàn)，能夠?yàn)榇笮推髽I(yè)和機(jī)構(gòu)提供文檔智能審閱、智能知識(shí)管理、知識(shí)搜索與問(wèn)答、文檔智能寫(xiě)作、智能推薦、辦公流程自動(dòng)化等服務(wù)。目前，達(dá)觀(guān)數(shù)據(jù)在行業(yè)內(nèi)市場(chǎng)占有率排名靠前，案例數(shù)量眾多，已幫助數(shù)百家企業(yè)提高生成效率、降低成本、提升業(yè)務(wù)合規(guī)性，助力企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型，提升競(jìng)爭(zhēng)力和創(chuàng)新能力。
第 一部 基礎(chǔ)知識(shí)
第 1章 智能文本處理概覽 2
1.1 什么是智能文本處理 2
1.1.1 智能文本處理概念 2
1.1.2 智能文本處理技術(shù) 5
1.1.3 智能文本處理的價(jià)值 7
1.2 NLP技術(shù)簡(jiǎn)介 8
1.2.1 基本概念 9
1.2.2 文本自動(dòng)處理層次劃分 11
1.2.3 研究現(xiàn)狀及主要方法 15
1.3 書(shū)面文本處理和短文本處理 17
1.3.1 不同處理類(lèi)型 17
1.3.2 書(shū)面文本應(yīng)用舉例 19
1.3.3 短文本應(yīng)用舉例 22
1.3.4 處理差異比較 26
1.4 機(jī)器學(xué)習(xí)與NLP 28
1.4.1 機(jī)器學(xué)習(xí)的基本概念與歷史 28
1.4.2 常見(jiàn)的機(jī)器學(xué)習(xí)任務(wù)與方法 33
1.4.3 常見(jiàn)機(jī)器學(xué)習(xí)問(wèn)題與NLP 34
1.4.4 實(shí)戰(zhàn)：如何使用機(jī)器學(xué)習(xí)方法檢測(cè)垃圾郵件 39
1.5 深度學(xué)習(xí)與NLP 44
1.5.1 深度學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)的差別 44
1.5.2 深度學(xué)習(xí)對(duì)NLP的推進(jìn) 51
1.5.3 深度學(xué)習(xí)研究在NLP中的局限性 54
第 2章 NLP技術(shù)概覽 59
2.1 語(yǔ)言模型 59
2.1.1 語(yǔ)言模型基本概念 59
2.1.2 N-gram語(yǔ)言模型 61
2.1.3 神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型 63
2.1.4 大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型 68
2.2 分詞與詞性標(biāo)注 71
2.2.1 概述 71
2.2.2 分詞技術(shù)詳解 73
2.2.3 詞性識(shí)別詳解 76
2.3 NER 78
2.3.1 基本概念 78
2.3.2 基于規(guī)則的NER 81
2.3.3 基于序列標(biāo)注的NER 83
2.3.4 數(shù)據(jù)增強(qiáng)方法 86
2.4 文本分類(lèi)概述 88
2.4.1 文本分類(lèi)任務(wù)的基本定義 88
2.4.2 基于機(jī)器學(xué)習(xí)的文本分類(lèi) 89
2.4.3 基于深度學(xué)習(xí)的文本分類(lèi) 92
2.4.4 文本分類(lèi)算法評(píng)估 98
2.4.5 實(shí)踐經(jīng)驗(yàn)與技術(shù)進(jìn)階 100
2.5 指代消解 102
2.5.1 基本概念 102
2.5.2 指代消解技術(shù)發(fā)展 104
2.5.3 基于二元分類(lèi)的機(jī)器學(xué)習(xí)方法 107
2.5.4 基于端到端的神經(jīng)網(wǎng)絡(luò)方法 108
2.5.5 基于自注意力機(jī)制的無(wú)監(jiān)督方法 111
2.6 NLG 113
2.6.1 應(yīng)用場(chǎng)景 113
2.6.2 文本摘要 114
2.6.3 機(jī)器翻譯 118
2.6.4 圖像生成文本 120
2.6.5 NLG評(píng)估方法 123
第3章 書(shū)面文本處理關(guān)鍵技術(shù) 124
3.1 文檔格式解析技術(shù) 124
3.1.1 Word格式解析 124
3.1.2 PDF格式解析 126
3.1.3 其他格式解析 131
3.2 文檔版面分析技術(shù) 132
3.2.1 版面分析簡(jiǎn)介及發(fā)展歷程 133
3.2.2 基于啟發(fā)式規(guī)則的版面分析技術(shù) 134
3.2.3 基于機(jī)器學(xué)習(xí)的版面分析技術(shù) 136
3.2.4 基于深度學(xué)習(xí)的版面分析技術(shù) 136
3.2.5 版面分析最佳實(shí)踐 142
3.3 文檔表格解析技術(shù) 145
3.3.1 表格解析技術(shù)背景介紹 145
3.3.2 表格類(lèi)型劃分 148
3.3.3 區(qū)域檢測(cè)技術(shù) 148
3.3.4 表格結(jié)構(gòu)識(shí)別 150
3.3.5 表格解析最佳實(shí)踐分享 153
3.4 光學(xué)字符識(shí)別技術(shù) 155
3.4.1 OCR技術(shù)簡(jiǎn)介及發(fā)展歷程 156
3.4.2 OCR核心技術(shù) 157
3.4.3 文檔處理中的應(yīng)用和實(shí)踐 167
3.5 文檔多模態(tài)技術(shù) 171
3.5.1 多模態(tài)介紹 171
3.5.2 多模態(tài)的主要任務(wù) 173
3.5.3 文檔多模態(tài)的主要應(yīng)用 178
第二部分 項(xiàng)目覆蓋場(chǎng)景
第4章 產(chǎn)品技術(shù)實(shí)踐落地 184
4.1 項(xiàng)目團(tuán)隊(duì)搭建 184
4.2 AI項(xiàng)目技術(shù)實(shí)現(xiàn)路徑 187
4.2.1 歸一化處理 188
4.2.2 字段分析處理 188
4.2.3 序列標(biāo)注抽取 188
4.2.4 深度學(xué)習(xí)抽取 189
4.2.5 表格抽取 189
4.2.6 策略合并 189
4.2.7 人工規(guī)則 189
4.3 AI項(xiàng)目模型交付步驟 190
4.3.1 數(shù)據(jù)準(zhǔn)備 190
4.3.2 模型訓(xùn)練與調(diào)試 193
4.4 項(xiàng)目實(shí)施管理 195
4.4.1 項(xiàng)目實(shí)施階段分解 195
4.4.2 項(xiàng)目規(guī)劃階段 196
4.4.3 項(xiàng)目執(zhí)行階段 196
4.4.4 項(xiàng)目驗(yàn)收階段 198
4.4.5 項(xiàng)目監(jiān)控 199
第5章 聊天機(jī)器人場(chǎng)景 200
5.1 聊天機(jī)器人概述 200
5.1.1 聊天機(jī)器人基本概念 200
5.1.2 聊天機(jī)器人類(lèi)型 201
5.2 核心技術(shù)詳解 201
5.2.1 常見(jiàn)系統(tǒng)架構(gòu) 201
5.2.2 對(duì)話(huà)引擎 204
5.3 應(yīng)用場(chǎng)景 206
5.3.1 知識(shí)助手 206
5.3.2 智能客服 209
第6章 智能文檔處理場(chǎng)景 211
6.1 智能文檔處理場(chǎng)景概覽 211
6.1.1 智能文檔處理的內(nèi)容 211
6.1.2 智能文檔產(chǎn)品的類(lèi)型 212
6.2 智能文檔抽取產(chǎn)品 212
6.2.1 文檔識(shí)別與解析 213
6.2.2 圖像結(jié)構(gòu)化抽取 215
6.2.3 文檔結(jié)構(gòu)化抽取 219
6.2.4 智能文檔抽取場(chǎng)景介紹 222
6.3 智能文檔審核產(chǎn)品 225
6.3.1 文檔風(fēng)險(xiǎn)審核 225
6.3.2 智能文檔比對(duì) 229
6.3.3 智能文檔審核場(chǎng)景 232
6.4 智能文檔寫(xiě)作產(chǎn)品 234
6.4.1 智能文檔寫(xiě)作產(chǎn)品介紹 235
6.4.2 智能文檔寫(xiě)作場(chǎng)景介紹 238
第7章 知識(shí)圖譜場(chǎng)景 239
7.1 知識(shí)圖譜概念 239
7.1.1 知識(shí)圖譜介紹 239
7.1.2 知識(shí)圖譜類(lèi)型 242
7.1.3 系統(tǒng)架構(gòu)實(shí)踐 243
7.2 知識(shí)圖譜核心技術(shù) 246
7.2.1 知識(shí)圖譜表示 246
7.2.2 知識(shí)圖譜存儲(chǔ)與構(gòu)建 248
7.2.3 知識(shí)融合和知識(shí)推理 251
7.3 知識(shí)圖譜應(yīng)用 253
7.3.1 知識(shí)圖譜問(wèn)答 253
7.3.2 故障分析 256
7.3.3 語(yǔ)義檢索和智能決策 258
第8章 用戶(hù)體驗(yàn)管理場(chǎng)景 260
8.1 為什么要做用戶(hù)體驗(yàn)管理 260
8.1.1 為什么要做好用戶(hù)體驗(yàn)管理 260
8.1.2 用戶(hù)體驗(yàn)管理亟須革新調(diào)研方式 261
8.2 什么是用戶(hù)體驗(yàn)管理 261
8.2.1 用戶(hù)體驗(yàn)管理的概念 262
8.2.2 用戶(hù)體驗(yàn)管理涉及的數(shù)據(jù)來(lái)源 263
8.2.3 用戶(hù)體驗(yàn)管理涉及的關(guān)鍵技術(shù) 265
8.3 用戶(hù)體驗(yàn)管理的典型應(yīng)用場(chǎng)景 269
8.3.1 賦能產(chǎn)品企劃設(shè)計(jì) 269
8.3.2 促進(jìn)客戶(hù)關(guān)系維系 273
8.3.3 助力品牌傳播 274
8.4 用戶(hù)體驗(yàn)管理產(chǎn)業(yè)實(shí)踐——以某制造業(yè)客戶(hù)為例 279
8.4.1 案例項(xiàng)目背景 279
8.4.2 用戶(hù)體驗(yàn)管理解決方案 279
8.4.3 用戶(hù)體驗(yàn)管理關(guān)鍵能力 285
8.4.4 業(yè)務(wù)價(jià)值 286
第9章 搜索推薦場(chǎng)景 288
9.1 文本處理技術(shù)在智能搜索中的應(yīng)用 288
9.1.1 智能搜索概述 288
9.1.2 智能搜索系統(tǒng)架構(gòu) 290
9.1.3 智能搜索中的文本挖掘算法 293
9.2 文本處理技術(shù)在智能推薦中的應(yīng)用 296
9.2.1 智能推薦概述 296
9.2.2 智能推薦系統(tǒng)架構(gòu) 298
9.2.3 智能推薦中的文本挖掘算法 301
第 10章 辦公機(jī)器人場(chǎng)景 304
10.1 辦公機(jī)器人介紹 304
10.1.1 什么是辦公機(jī)器人 304
10.1.2 辦公機(jī)器人的組成 305
10.2 智能文本處理技術(shù)與辦公機(jī)器人的結(jié)合 306
10.2.1 智能文本處理拓展了辦公機(jī)器人的能力邊界 306
10.2.2 辦公機(jī)器人中的智能文本處理技術(shù) 307
10.3 智能文本處理機(jī)器人應(yīng)用場(chǎng)景示例 307
10.3.1 供應(yīng)商準(zhǔn)入管理場(chǎng)景 307
10.3.2 企業(yè)招聘場(chǎng)景 309
10.3.3 企業(yè)文檔管理場(chǎng)景 311
10.3.4 證券業(yè)文檔審核場(chǎng)景 313
10.3.5 文檔寫(xiě)作場(chǎng)景 315
第 11章 AIGC與智能寫(xiě)作場(chǎng)景 317
11.1 智能寫(xiě)作任務(wù) 317
11.1.1 智能寫(xiě)作應(yīng)用場(chǎng)景 317
11.1.2 智能寫(xiě)作技術(shù)發(fā)展脈絡(luò) 317
11.2 基于RNN Seq2Seq的文本生成 318
11.3 文本生成前沿技術(shù) 319
11.3.1 UniLM 319
11.3.2 T5 321
11.3.3 BART 322
11.3.4 GPT 324
11.3.5 GPT-2 325
11.3.6 GPT-3 325
11.3.7 InstructGPT和ChatGPT 325
11.4 智能寫(xiě)作算法評(píng)估 327
11.4.1 基于詞匯 328
11.4.2 基于語(yǔ)義 328
11.4.3 公開(kāi)數(shù)據(jù)集 329
11.5 技術(shù)挑戰(zhàn)與展望 329
第三部分 行業(yè)案例經(jīng)驗(yàn)
第 12章 銀行業(yè)與智能文本處理 332
12.1 銀行業(yè)務(wù)場(chǎng)景介紹 332
12.2 銀行業(yè)數(shù)字化轉(zhuǎn)型 333
12.2.1 銀行業(yè)數(shù)字化轉(zhuǎn)型現(xiàn)狀 333
12.2.2 銀行業(yè)數(shù)字化轉(zhuǎn)型思路 333
12.3 銀行業(yè)落地項(xiàng)目案例介紹 334
12.3.1 智慧信貸案例介紹 334
12.3.2 國(guó)際業(yè)務(wù)中的智能審單案例介紹 339
12.3.3 智能審貸案例介紹 342
12.3.4 RPA+IDP在銀行業(yè)中的應(yīng)用案例介紹 344
第 13章 證券業(yè)與智能文本處理 347
13.1 證券業(yè)數(shù)字化轉(zhuǎn)型現(xiàn)狀 347
13.1.1 IT投入不足 347
13.1.2 人才支撐不足 349
13.1.3 業(yè)務(wù)與技術(shù)的融合不足 350
13.1.4 證券業(yè)數(shù)字化轉(zhuǎn)型思路 350
13.2 證券業(yè)的文本處理應(yīng)用場(chǎng)景 350
13.2.1 經(jīng)紀(jì)業(yè)務(wù)：智能資訊 350
13.2.2 資產(chǎn)托管業(yè)務(wù)：智能文檔處理 352
13.2.3 投資銀行業(yè)務(wù)：智能底稿系統(tǒng) 353
13.2.4 投資銀行業(yè)務(wù)：銀行流水智能核查 356
13.2.5 投資銀行業(yè)務(wù)：申報(bào)材料智能審核 358
13.2.6 投研業(yè)務(wù)：智能投研一體化管理平臺(tái) 360
第 14章 保險(xiǎn)業(yè)與智能文本處理 366
14.1 行業(yè)背景與現(xiàn)狀 366
14.2 數(shù)字化建設(shè)思路 367
14.2.1 科技與保險(xiǎn)深度融合 367
14.2.2 開(kāi)展全域數(shù)字化建設(shè) 367
14.3 智能解決方案 369
14.3.1 智慧營(yíng)銷(xiāo) 369
14.3.2 醫(yī)療票據(jù)識(shí)別 372
14.3.3 智慧運(yùn)營(yíng)管理 375
14.3.4 客服語(yǔ)義分析 376
14.3.5 智能知識(shí)管理 377
第 15章 大型企業(yè)創(chuàng)新應(yīng)用實(shí)戰(zhàn) 383
15.1 大型企業(yè)科技創(chuàng)新前景與挑戰(zhàn) 383
15.1.1 創(chuàng)新應(yīng)用背景 383
15.1.2 數(shù)字化轉(zhuǎn)型難點(diǎn) 384
15.1.3 如何做好人工智能項(xiàng)目 385
15.2 人工智能技術(shù)與業(yè)務(wù)融合場(chǎng)景 386
15.2.1 法務(wù)智能輔助審核 386
15.2.2 智能報(bào)關(guān)票據(jù)審核 391
15.2.3 商務(wù)智能詢(xún)報(bào)價(jià) 393
15.3 行業(yè)落地案例分享 394
15.3.1 某頭部安防企業(yè)智能文本審閱系統(tǒng)項(xiàng)目 394
15.3.2 某大型報(bào)關(guān)行智能數(shù)據(jù)處理系統(tǒng) 395
15.3.3 某大型工業(yè)品超市智能詢(xún)報(bào)價(jià)系統(tǒng) 397
第 16章 智能制造與智能文本處理 399
16.1 智能制造中的質(zhì)量與可靠性工程 399
16.1.1 智能制造 399
16.1.2 質(zhì)量與可靠性工程 400
16.1.3 FMEA 401
16.2 FMEA知識(shí)圖譜 404
16.2.1 FMEA知識(shí)圖譜的定義與價(jià)值 404
16.2.2 FMEA知識(shí)圖譜模式 405
16.2.3 構(gòu)建FMEA知識(shí)圖譜 406
16.3 FMEA知識(shí)圖譜應(yīng)用示范 407
16.3.1 FMEA應(yīng)用功能介紹 407
16.3.2 具體應(yīng)用案例分析 413
第 17章 建工行業(yè)與智能文本處理 417
17.1 數(shù)字化建設(shè)思路 417
17.1.1 從一線(xiàn)業(yè)務(wù)角度思考 417
17.1.2 從高層管理角度思考 418
17.2 智能解決方案 419
17.2.1 智慧建工項(xiàng)目管理 419
17.2.2 智慧工程圖紙應(yīng)用 423
17.2.3 智慧建工標(biāo)準(zhǔn)圖譜 426
17.2.4 智慧建工城市背調(diào) 428
第 18章 互聯(lián)網(wǎng)及傳媒與智能文本處理 431
18.1 行業(yè)現(xiàn)狀與背景 431
18.2 互聯(lián)網(wǎng)及傳媒行業(yè)數(shù)字化轉(zhuǎn)型思路 431
18.2.1 充分挖掘信息，發(fā)揮數(shù)據(jù)價(jià)值 432
18.2.2 構(gòu)建關(guān)系網(wǎng)絡(luò)，信息處理更智能 432
18.2.3 立足用戶(hù)需求，展現(xiàn)個(gè)性化內(nèi)容 432
18.3 互聯(lián)網(wǎng)及傳媒行業(yè)應(yīng)用場(chǎng)景 434
18.3.1 基于廣電行業(yè)分析文本解析的應(yīng)用價(jià)值 434
18.3.2 基于社交行業(yè)分析知識(shí)圖譜的應(yīng)用價(jià)值 437
18.3.3 基于資訊行業(yè)分析智能推薦的應(yīng)用價(jià)值 440
18.3.4 基于電商行業(yè)分析智能.搜索的應(yīng)用價(jià)值 441
書(shū)單推薦
