情感分析研究屬于自然語言處理領域的一個重要分支。在信息全球化背景下,情感分析研究從單語言逐步擴展到多語言場景。本書分為上下兩篇,上篇為單語言情感分析,下篇為多語言情感分析,嘗試講清楚情感分析是什么,單語言和多語言情感分析應該怎么做,情感分析需要具備哪些理論基礎、技術基礎和模型基礎,多語言情感分析有哪些可用的語言資源,多語言情感分析未來的發(fā)展等問題。 本書能夠為多語言自然語言處理和情感分析等領域的科研人員、從業(yè)者、在讀研究生提供入門理論指導和技術參考。
本書多語言情感分析的主題和內容具有明顯的特色,內容包括多語言情感分析領域的技術基礎、語言資源、以及作者針對多語言情感分析所提出的方法和模型等。能夠為多語言情感分析、情感計算等領域的科研人員、從業(yè)者和在讀研究生提供入門理論指導和技術參考。
很高興看到《多語言情感分析及其應用》出版。
當前,新一輪技術變革正深刻影響并改變著人們的生產與生活方式。全球化背景下的信息呈現(xiàn)多語言信息模態(tài),微博、Twitter、Facebook等社交媒體上不同國家、不同語言的互聯(lián)網用戶發(fā)布的多語言信息交織在一起,構成龐大的多語言信息。多語言情感分析可以挖掘多語言信息背后蘊含的用戶觀點、態(tài)度立場和情感傾向,對于實現(xiàn)跨語言媒體智能、構建多語言認知智能體系有著舉足輕重的作用。
多語言情感分析從多語言信息中挖掘出人們的觀點和態(tài)度,因而有著鮮明的時代特色和廣闊的應用前景,在網絡輿論監(jiān)測引導、網際空間安全研究、在線醫(yī)療健康、跨境電商等領域均有著迫切的應用需求。2017年國務院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》,特別提出,要重點突破自然語言處理中的跨語言文本挖掘技術和認知智能的語義理解技術,實現(xiàn)多風格、多領域的自然語言智能理解。
多語言情感分析乃至多語言信息處理研究也是目前自然語言處理領域的一大難點。相比單語言情感分析,多語言情感分析研究主要受限于多語言信息的語法和語用差異,以及低資源語言的標注數據匱乏等難題,F(xiàn)有的情感分析研究主要在英語等高資源語言開展,在低資源語言甚至中等資源語言中開展情感分析研究仍是一項挑戰(zhàn)。因此,本書通過梳理多語言情感分析及其應用涉及的理論基礎、技術基礎、語言資源以及典型應用,能夠幫助本領域的入門者快速了解領域全貌。
本專著包括上下兩篇,共10章,上篇為單語言情感分析,下篇為多語言情感分析,順應情感分析的發(fā)展脈絡和研究路線,內容結構合理、循序漸進。本專著的一大特色是兼具技術性和綜述性,一方面涵蓋了多語言情感分析研究所需的文本表示學習基礎、機器學習和深度學習模型基礎,另一方面梳理了現(xiàn)有的多語言情感語料資源、多語言情感分析綜述以及作者在多語言情感分析領域所做的探索性研究。
隨著國際化進程加快和國際交流趨繁,多語言情感分析研究將會在越來越多的跨學科應用領域發(fā)揮作用。希望本書可以幫助廣大讀者快速掌握多語言情感分析研究相關的技術和理論。
2023年7月10日
著名語言學家諾姆·喬姆斯基指出,研究人類的語言,就是探討所謂人類的本質,探討迄今所知為人類獨有的心智特征。情感是人類的一種主觀意識,人們會有喜怒哀樂不同的情緒,并通過語言文字的方式進行表達;與此同時,人們也會對客觀的事情或者事物進行主觀評價,表達傾向性的意見。情感分析研究,是利用可計算的手段對人類的主觀情感進行客觀感知、表征和處理,從中挖掘出有用的信息。
情感分析研究屬于自然語言處理領域的一個分支,自誕生之日起就有著蓬勃的生命力。利用計算機的手段進行情感分析,最早可追溯到美國MIT媒體實驗室皮卡德教授于1995年提出的情感計算概念。情感分析研究需要解決的關鍵問題,是如何借助已知的有限情感資源信息對大量未知的信息進行情感識別、情感表示以及情感因素度量,使得計算機擁有類似于人類的觀察、理解、生成情感的能力,實現(xiàn)更高層次的人機交互。
在信息全球化的背景下,從單語言場景下的情感分析擴展到多語言場景下的情感分析是研究發(fā)展的必然趨勢。然而,在全球現(xiàn)有的7000多種語言里,已開展計算語言學研究的語言數量可能少于30種,大多數語言缺少進行情感分析研究所需的計算資源和語言學資源。多語言情感分析研究存在嚴重的資源分布不均衡問題: 在英語等少數語言積累了豐富的語言資源和方法模型的同時,其他語種、尤其是一些小語種的情感分析研究進展緩慢,缺少可用的語言資源和方法模型。北京外國語大學現(xiàn)已開設了101種外語專業(yè),已開齊與中國建交國家的官方用語,給本領域的研究提供了豐富的語言資源和背景。因此,本書選擇從多語言的視角闡述情感分析這一頗具跨學科應用特色的研究方向,嘗試講清楚情感分析是什么,單語言和多語言情感分析應該怎么做,情感分析需要具備哪些理論基礎、技術基礎和模型基礎,多語言情感分析有哪些可用的語言資源,多語言情感分析未來的發(fā)展等問題。
本書分為上下兩篇共10章,從計算機科學、語言學以及社會學等多學科交叉融合角度,闡述多語言情感分析研究涉及的理論基礎、技術基礎以及典型應用。
第1章是緒論部分,介紹多語言信息的研究背景以及情感分析任務的概念定義,便于讀者理解多語言情感分析的任務分類,以及所面臨的主要問題和挑戰(zhàn)。
上篇單語語言情感分析包括第2~5章。第2章為單語言情感分析的背景知識,闡述單語言情感分析的研究背景、應用場景以及實現(xiàn)步驟。第3章講解文本表示的相關方法和模型。情感分析離不開文本的語義表示,因此第3章從傳統(tǒng)的向量空間模型談起,到LDA等主題模型,再到Word2vec等詞向量表示模型。第4章講解單語言情感分析所需的技術基礎學習模型講起。情感分析任務依賴于機器學習模型或者深度學習模型,這一章從樸素貝葉斯、支持向量機等傳統(tǒng)機器學習模型講起,再到卷積神經網絡、長短期記憶等淺層神經網絡模型,最后到Transformer、BERT等深度學習預訓練模型。第5章是單語言情感分析的應用案例,是筆者在情感分析領域的研究成果,包括情感分析在股票預測中的應用、情感分析在微博轉發(fā)規(guī)模預測中的應用,以及情感分析在新聞輿情傾向預測中的應用。
目錄多語言情感分析及其應用下篇多語語言情感分析包括第6~10章。第6章為多語言情感分析的背景知識,闡述多語言情感分析的研究背景、應用場景以及實現(xiàn)步驟。第7章講解多語言情感分析所需的技術基礎跨語言文本表示?缯Z言文本表示能夠實現(xiàn)多語言信息在同一語義空間的表示,是多語言情感分析乃至多語言自然語言處理的基礎。第8章闡述多語言情感分析的語言資源情感詞典的構建。情感詞典是情感分析研究的重要輔助工具。這一章首先概述現(xiàn)有單語言情感詞典和多語言情感詞典構建的相關研究,然后闡述筆者在領域自適應單語情感詞典構建方面的研究工作。第9章為跨語言情感分析方面研究綜述。跨語言情感分析研究對于低資源語言的情感分析有著重要的現(xiàn)實意義。該章首先對高、中、低資源語言進行定義,然后總結歸納現(xiàn)有跨語言情感分析研究的相關工作。第10章是多語言情感分析的2個具體實現(xiàn)模型,是筆者在跨語言情感分析方面的研究成果。本書的最后就大語言模型對多語言相關研究的未來發(fā)展和啟示進行探討剖析,并提出對未來的展望。
談一下寫這本專著的初衷。我到北京外國語大學從教后開始接觸自然語言處理研究,這個過程走過一些彎路,很多地方都是從零開始慢慢摸索,一路跌跌撞撞,深切感受到這個過程如果能有系統(tǒng)性的著作或者教材引路,會走得更快更穩(wěn)一些。因此,這本書的寫作視角是站在情感分析研究入門者的角度,把我多年來在多語言情感分析研究的經驗教訓和思考總結出來,幫助后來者更好地開展相關研究。一方面,我閱讀和整理了多語言以及跨語言情感分析領域的相關文獻,并撰寫了綜述性的分析總結,希望能夠給多語言情感分析入門者提供背景知識;另一方面,我整理和完善了近年來我和我?guī)У膶W生在多語言情感分析領域所做的一些探索性的研究工作,借此機會對現(xiàn)有工作總結,并對未來工作提出展望。得益于北京外國語大學豐富的多語言語料資源和濃厚的人文學術研究氛圍,我有幸接觸到許多非計算機專業(yè)、但是對情感分析研究很感興趣的研究學者和學生,他們希望能夠將情感分析技術或者多語言信息處理技術應用到所學領域,產生跨學科的火花碰撞。這本書在整理個人研究工作的同時,也梳理了多語言情感分析研究所需掌握的語言表示技術基礎、機器學習理論基礎以及深度學習模型基礎等知識,力所能及地提供一些理論參考和學習經驗指導。
感謝我所在的信息科學技術學院,特別感謝蔡連僑院長和郭華偉書記,給我們青年教師提供了非常寬松和良好的科學研究環(huán)境和土壤,并鼓勵我們將個人科研興趣融入學院和學校的發(fā)展中,選擇做自己感興趣的方向。
感謝一起撰寫這本書的學生,她們是胡玲、王文清和杜宛澤。感謝編輯袁勤勇和蘇東方老師對書稿的精心校對與寶貴意見,清華大學出版社其他人員也為本書付出了大量努力,在此也一并表示誠摯的感謝!
因作者水平有限,書中難免有疏漏或錯誤之處,敬請廣大讀者批評指正。
最后,謹以此書獻給我最敬愛的父親。父親陪伴了我三十多年的時光,我在他的教導和影響下成長。在撰寫這本書的時間里,我都非常想念他。每每只有坐在書桌前寫書碼字時,對父親的思念才得以排解。父愛如山、父愛無私,難忘父親教誨。
徐月梅
2023年8月
第1章緒論1
1.1多語言信息的研究背景1
1.2情感分析概述3
1.2.1情感分析的定義3
1.2.2情感分析的分類4
1.2.3情感分析的任務6
1.3情感分析的挑戰(zhàn)9
1.4參考文獻10
上篇單語語言情感分析
第2章單語情感分析任務15
2.1單語情感分析的研究背景15
2.2單語情感分析的應用場景16
2.2.1商業(yè)智能16
2.2.2推薦系統(tǒng)17
2.2.3互聯(lián)網輿情20
2.2.4醫(yī)療健康領域21
2.3單語情感分析的實現(xiàn)步驟23
2.4本章小結24
2.5參考文獻24
第3章情感分析的技術基礎文本表示27
3.1傳統(tǒng)向量空間模型27
3.1.1基本概念27
3.1.2Onehot模型27
3.1.3TFIDF模型28
3.2文本主題模型29
3.2.1基本概念29
3.2.2PLSA模型30
3.2.3LDA模型33
3.2.4主題模型示例37
目錄多語言情感分析及其應用3.3詞向量分布式表示模型38
3.3.1Word2vec模型39
3.3.2GloVe模型42
3.3.3詞向量模型示例43
3.4本章小結45
3.5參考文獻46
第4章情感分析的技術基礎學習模型47
4.1傳統(tǒng)機器學習模型47
4.1.1樸素貝葉斯法47
4.1.2k最近鄰法49
4.1.3決策樹法50
4.1.4支持向量機法55
4.1.5邏輯回歸法58
4.2淺層神經網絡模型60
4.2.1卷積神經網絡模型60
4.2.2長短期記憶模型63
4.3深度預訓練神經網絡模型66
4.3.1Transformer模型66
4.3.2BERT模型73
4.3.3MultiBERT模型78
4.3.4ELECTRA模型82
4.3.5T5模型87
4.4本章小結90
4.5參考文獻91
第5章情感分析的應用93
5.1情感分析在股票預測中的應用93
5.1.1股票走勢預測研究背景93
5.1.2相關研究工作94
5.1.3基于新聞事件和情感特征的股票預測模型95
5.1.4實驗分析100
5.1.5結論106
5.2情感分析在微博轉發(fā)規(guī)模預測中的應用107
5.2.1微博轉發(fā)規(guī)模預測研究背景107
5.2.2相關研究工作108
5.2.3基于深度融合特征的政務微博轉發(fā)規(guī)模預測模型109
5.2.4實驗分析113
5.2.5結語120
5.3情感分析在新聞輿情傾向預測中的應用120
5.3.1新聞輿情傾向預測研究背景121
5.3.2相關研究工作122
5.3.3結合卷積神經網絡和Topic2vec的主題演變模型123
5.3.4實驗分析127
5.3.5結語133
5.4本章小結133
5.5參考文獻133
下篇多語語言情感分析
第6章多語言情感分析任務1416.1多語言情感分析的研究背景141
6.2多語言情感分析的應用場景144
6.2.1商業(yè)智能和推薦系統(tǒng)144
6.2.2多語言互聯(lián)網輿情146
6.2.3多語言情感資源建設146
6.3多語言情感分析的實現(xiàn)步驟147
6.4本章小結149
6.5參考文獻150
第7章多語言情感分析的技術基礎跨語言文本表示152
7.1跨語言詞向量的定義152
7.2跨語言詞向量模型概述153
7.2.1有監(jiān)督的跨語言詞向量模型154
7.2.2半監(jiān)督的跨語言詞向量模型157
7.2.3無監(jiān)督的跨語言詞向量模型160
7.3語義和情感聯(lián)合學習的跨語言詞向量模型研究163
7.3.1單語詞向量矩陣標準化165
7.3.2初始跨語言映射矩陣生成166
7.3.3先驗情感信息嵌入167
7.3.4跨語言情感詞向量映射168
7.3.5實驗分析168
7.4本章小結177
7.5參考文獻178
第8章多語言情感分析的語言資源情感詞典構建181
8.1情感詞典構建181
8.1.1情感詞典的定義181
8.1.2情感詞典的研究意義182
8.2多語言情感詞典資源184
8.2.1情感詞典的格式184
8.2.2英文情感詞典資源185
8.2.3中文情感詞典資源186
8.2.4其他語言情感詞典資源188
8.3單語情感詞典的構建方法概述191
8.3.1基于PMI相似度的單語情感詞典構建193
8.3.2基于關系圖傳播的單語情感詞典構建195
8.3.3基于詞向量表示的單語情感詞典構建197
8.4多語情感詞典的構建方法概述198
8.4.1早期的雙語情感詞典構建198
8.4.2基于跨語言詞向量的雙語情感詞典構建199
8.5基于領域自適應的單語情感詞典構建研究200
8.5.1模型構建流程201
8.5.2情感表示學習202
8.5.3種子詞典擴充203
8.5.4情感詞典構建204
8.5.5實驗與結果分析204
8.6本章小結207
8.7參考文獻208
第9章跨語言情感分析213
9.1高、中、低資源語言213
9.1.1高、中、低資源語言的定義213
9.1.2低資源語言的研究意義214
9.2早期跨語言情感分析研究概述215
9.2.1基于機器翻譯及其改進的方法216
9.2.2基于平行語料庫的方法219
9.2.3基于雙語情感詞典的方法220
9.3結合詞向量表示的跨語言情感分析研究概述222
9.3.1基于跨語言詞向量的方法222
9.3.2基于生成對抗網絡的方法223
9.3.3基于多語言預訓練模型的方法225
9.4跨語言情感分析研究前沿探討228
9.5本章小結230
9.6參考文獻230
第10章多語言情感分析的應用案例236
10.1基于情感特征表示的跨語言文本情感分析研究236
10.1.1模型背景236
10.1.2相關研究工作238
10.1.3基于情感感知的跨語言情感分析模型239
10.1.4實驗結果242
10.1.5結論251
10.2基于持續(xù)學習的多語言情感分析研究251
10.2.1模型背景252
10.2.2持續(xù)學習理論及相關研究253
10.2.3基于持續(xù)學習的多語言情感分析模型255
10.2.4實驗結果257
10.2.5結論260
10.3大語言模型對多語言智能研究的發(fā)展與啟示261
10.3.1大語言模型的發(fā)展脈絡261
10.3.2大語言模型的多語言探索264
10.3.3大語言模型的多語言局限和改進265
10.3.4大語言模型的多語言應用場景266
10.3.5結論267
10.4本章小結267
10.5參考文獻268