這是一本全面講解圖計(jì)算、知識(shí)圖譜及其在推薦系統(tǒng)領(lǐng)域應(yīng)用的專著,為讀者基于神經(jīng)網(wǎng)絡(luò)構(gòu)建推薦系統(tǒng)提供了詳細(xì)指導(dǎo),是作者在相關(guān)領(lǐng)域10余年經(jīng)驗(yàn)的總結(jié)。掌握本書內(nèi)容,讀者可開發(fā)出能處理多模態(tài)數(shù)據(jù)的推薦算法系統(tǒng),提供更豐富和準(zhǔn)確的推薦體驗(yàn)。
本書主要內(nèi)容分為兩篇。
第一篇 圖數(shù)據(jù)以及圖模型(第1-3章)
對(duì)圖數(shù)據(jù)、圖神經(jīng)網(wǎng)絡(luò)、知識(shí)圖譜的基礎(chǔ)知識(shí)進(jìn)行了梳理,幫助讀者掌握著3項(xiàng)技術(shù)的關(guān)鍵原理與算法,為后面的學(xué)習(xí)打下基礎(chǔ)。
第二篇 推薦系統(tǒng)(第4-9章)
首先介紹了推薦系統(tǒng)的架構(gòu),包括邏輯架構(gòu)、技術(shù)架構(gòu)和數(shù)據(jù)建模,以及基于GNN的推薦系統(tǒng)架構(gòu);然后詳細(xì)講解了如何基于GNN構(gòu)建推薦系統(tǒng),以及基于圖的推薦算法;再接著講解了知識(shí)圖譜在推薦系統(tǒng)中的應(yīng)用以及相關(guān)的算法模型;最后,探討了推薦系統(tǒng)領(lǐng)域當(dāng)前的熱點(diǎn)問題、研究方向以及工業(yè)級(jí)推薦系統(tǒng)領(lǐng)域的核心難題
本書注重實(shí)戰(zhàn),故理論知識(shí)簡(jiǎn)練且極具針對(duì)性,包含大量實(shí)戰(zhàn)案例,圖文并茂,易于閱讀。
(1)作者背景資深:作者是資深的人工智能技術(shù)專家、搜索與推薦系統(tǒng)技術(shù)專家,在多加企業(yè)擔(dān)任算法專家、技術(shù)總監(jiān)、CTO等職。
(2)作者經(jīng)驗(yàn)豐富:作者在人工智能(NLP方向)、搜索與推薦領(lǐng)域工作10余年,主導(dǎo)了多個(gè)推薦系統(tǒng)項(xiàng)目,實(shí)戰(zhàn)經(jīng)驗(yàn)豐富。
(3)緊跟技術(shù)前沿:講解圖計(jì)算、圖神經(jīng)網(wǎng)絡(luò)、知識(shí)圖譜在推薦系統(tǒng)領(lǐng)域的最新應(yīng)用,以及推薦系統(tǒng)的熱點(diǎn)問題和研究方向。
(4)解決工程難題:講解工業(yè)級(jí)推薦系統(tǒng)的架構(gòu)、面臨的難題以及解決方案,以及工業(yè)級(jí)推薦系統(tǒng)的增長(zhǎng)方案。
(5)注重實(shí)戰(zhàn)、案例詳細(xì):本書注重實(shí)戰(zhàn),旨在解決工程實(shí)踐中的具體問題,包含大量案例且講解詳細(xì)。
(6)圖文并茂、通俗易懂:書中包含大量圖、表,以可視化方式呈現(xiàn),語言通俗易懂,閱讀體驗(yàn)好,讓讀者事半功倍。
前 言 Preface
為什么要寫本書
2023年各大會(huì)議的投稿統(tǒng)計(jì)顯示,圖神經(jīng)網(wǎng)絡(luò)仍然是一個(gè)熱點(diǎn)方向。實(shí)際上,圖在任何領(lǐng)域都是一種復(fù)雜的數(shù)據(jù)結(jié)構(gòu)。正是由于復(fù)雜,才吸引了眾多專家進(jìn)行研究。推薦系統(tǒng)是頗具應(yīng)用前景的人工智能方向之一,它與圖神經(jīng)網(wǎng)絡(luò)的結(jié)合必將產(chǎn)生巨大價(jià)值。
2003年,我開始接觸知識(shí)圖譜。知識(shí)圖譜符合人類的學(xué)習(xí)和認(rèn)知習(xí)慣,其出現(xiàn)大大提高了信息檢索能力。人類能夠處理復(fù)雜信號(hào),從中學(xué)到有用的信息,是因?yàn)槿说拇竽X已將這部分復(fù)雜信號(hào)處理成相互影響、有聯(lián)系的信息,甚至提煉成有價(jià)值的知識(shí)。2012年,我因項(xiàng)亮等編寫的《推薦系統(tǒng)實(shí)踐》一書開始接觸檢索系統(tǒng)并特別關(guān)注推薦系統(tǒng),當(dāng)時(shí)腦海中有很多奇怪的想法。首先,用戶怎么才能得到最好的檢索結(jié)果?其次,系統(tǒng)推薦的物品到底是不是用戶真正想要的?最后,系統(tǒng)如果一直推送用戶喜歡的物品,它到底是怎么做到的?我?guī)е@些疑問進(jìn)一步學(xué)習(xí)。后來,我在工作中將深度學(xué)習(xí)和信息檢索聯(lián)系起來,在實(shí)踐中取得了不錯(cuò)的效果,于是就有了將深度學(xué)習(xí)、推薦系統(tǒng)以及知識(shí)圖譜結(jié)合起來的想法,并申請(qǐng)了一些專利。
2023年,ChatGPT橫空出世。ChatGPT的出現(xiàn)讓人們看到了人工智能的曙光,它的發(fā)展也讓我們這些技術(shù)人員有了隱隱的擔(dān)憂:它有可能改變信息檢索的業(yè)態(tài)嗎?但是,從另一個(gè)角度來看,人類進(jìn)化了這么長(zhǎng)時(shí)間,思考事物的底層邏輯仍然是不可取代的。
因此,當(dāng)神經(jīng)網(wǎng)絡(luò)再次流行,當(dāng)知識(shí)圖譜概念盛行,當(dāng)基于圖數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)流行起來時(shí),我有了將十幾年的工作經(jīng)驗(yàn)總結(jié)出來的想法,于是有了這本書。希望本書能讓更多的技術(shù)人員在學(xué)習(xí)和前行的道路上不惶恐、不焦慮。
讀者對(duì)象
本書是一本介紹圖計(jì)算、建模以及基于圖的推薦原理與實(shí)踐的書籍,適合以下人群閱讀。
.推薦系統(tǒng)研發(fā)中高級(jí)工程師
.自然語言處理中高級(jí)工程師
.圖神經(jīng)網(wǎng)絡(luò)中高級(jí)工程師
.深度學(xué)習(xí)中高級(jí)工程師
.人工智能中高級(jí)工程師
如何閱讀本書
本書分為兩篇。
第一篇:圖數(shù)據(jù)與圖模型(第1~3章)
第1章主要介紹圖數(shù)據(jù)的基礎(chǔ)知識(shí),幫助讀者理解數(shù)據(jù)結(jié)構(gòu)中圖的概念以及圖數(shù)據(jù)結(jié)構(gòu)的表示。
第2章主要介紹圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識(shí)。
第3章主要介紹知識(shí)圖譜的基礎(chǔ)知識(shí)。
第二篇:推薦系統(tǒng)(第4~9章)
第4章主要介紹推薦系統(tǒng)的架構(gòu)。推薦系統(tǒng)是一種信息過濾技術(shù),旨在為用戶提供個(gè)性化的推薦內(nèi)容,幫助用戶發(fā)現(xiàn)感興趣的物品或資源。推薦系統(tǒng)的核心目標(biāo)是根據(jù)用戶的偏好和行為,預(yù)測(cè)和推薦用戶可能感興趣的物品。
第5章和第6章主要介紹基于GNN的推薦系統(tǒng)的構(gòu)建基礎(chǔ)知識(shí),以及利用圖數(shù)據(jù)進(jìn)行推薦的算法。
第7章對(duì)知識(shí)圖譜在推薦系統(tǒng)中的應(yīng)用展開講解。
第8章和第9章介紹推薦系統(tǒng)的熱點(diǎn)問題和研究方向以及實(shí)踐案例。研究人員致力于開發(fā)可解釋的推薦模型,以提高用戶對(duì)推薦結(jié)果的信任度和滿意度。
勘誤和支持
由于作者水平有限,書中難免會(huì)有一些錯(cuò)誤或者不準(zhǔn)確的地方,懇請(qǐng)讀者批評(píng)指正。如果你有更多的寶貴意見,也歡迎發(fā)送郵件至郵箱841412988@qq.com,期待得到你的真摯反饋。
致謝
感謝董文興博士、鄧宇博士認(rèn)真細(xì)致地審稿并提供寶貴的意見。
感謝我的妻子和兩個(gè)可愛的女兒,她們時(shí)時(shí)刻刻給予我信心和力量!
謹(jǐn)以此書獻(xiàn)給我最親愛的家人,以及眾多熱愛人工智能和機(jī)器學(xué)習(xí)的朋友們!
Contents..目 錄
推薦序一
推薦序二
推薦序三
前言
第一篇 圖數(shù)據(jù)與圖模型
第1章 圖數(shù)據(jù)基礎(chǔ) ··························2
1.1 數(shù)學(xué)基礎(chǔ) ·····································2
1.2 圖的基本知識(shí) ······························4
1.2.1.什么是圖 ·························4
1.2.2.圖中基本元素及定義 ·········5
1.3 圖的表示方法 ····························10
1.3.1.圖的代數(shù)表示 ················11
1.3.2.圖的遍歷 ·······················13
1.4 圖數(shù)據(jù)及圖神經(jīng)網(wǎng)絡(luò) ··················14
1.4.1.圖數(shù)據(jù)的性質(zhì) ················14
1.4.2.圖數(shù)據(jù)應(yīng)用 ···················15
1.4.3.圖神經(jīng)網(wǎng)絡(luò)的發(fā)展史 ·······16
1.5 本章小結(jié) ···································17
第2章 圖神經(jīng)網(wǎng)絡(luò)基礎(chǔ) ·················18
2.1 神經(jīng)網(wǎng)絡(luò)的基本知識(shí) ··················18
2.1.1.神經(jīng)元 ··························19
2.1.2.前饋神經(jīng)網(wǎng)絡(luò) ················22
2.1.3.反向傳播 ·······················23
2.2 卷積神經(jīng)網(wǎng)絡(luò) ····························24
2.2.1.卷積神經(jīng)網(wǎng)絡(luò)基本概念
和特點(diǎn) ··························25
2.2.2.卷積神經(jīng)網(wǎng)絡(luò)模型 ··········29
2.3 循環(huán)神經(jīng)網(wǎng)絡(luò) ····························30
2.3.1.循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和
特點(diǎn) ·····························31
2.3.2.循環(huán)神經(jīng)網(wǎng)絡(luò)模型 ··········35
2.4 圖神經(jīng)網(wǎng)絡(luò) ································36
2.4.1.圖神經(jīng)網(wǎng)絡(luò)綜述 ·············36
2.4.2.卷積圖神經(jīng)網(wǎng)絡(luò) ·············41
2.4.3.循環(huán)圖神經(jīng)網(wǎng)絡(luò) ·············42
2.5 本章小結(jié) ···································44
第3章 知識(shí)圖譜基礎(chǔ) ·····················46
3.1 知識(shí)圖譜的定義和模型 ···············46
3.1.1.知識(shí)圖譜定義 ················47
3.1.2.知識(shí)圖譜嵌入 ················48
3.1.3.距離變換模型 ················51
3.1.4.語義匹配模型 ················53
3.2 知識(shí)圖譜上的神經(jīng)網(wǎng)絡(luò) ···············55
3.2.1.關(guān)系圖卷積網(wǎng)絡(luò) ·············55
3.2.2.知識(shí)圖譜與注意力模型 ·····55
3.3 本章小結(jié) ···································59
第二篇 推薦系統(tǒng)
第4章 推薦系統(tǒng)架構(gòu) ·····················62
4.1 推薦系統(tǒng)的邏輯架構(gòu) ··················62
4.2 推薦系統(tǒng)的技術(shù)架構(gòu) ··················67
4.3 推薦系統(tǒng)的數(shù)據(jù)和模型部分 ········69
4.3.1.推薦系統(tǒng)中的數(shù)據(jù)平臺(tái)
建設(shè) ·····························69
4.3.2.推薦系統(tǒng)中的數(shù)據(jù)挖掘
方法 ·····························73
4.3.3.推薦系統(tǒng)模型 ················76
4.4 推薦系統(tǒng)的評(píng)估 ·························81
4.4.1.推薦系統(tǒng)的評(píng)估實(shí)驗(yàn)
方法 ·····························89
4.4.2.離線評(píng)估 ·······················89
4.4.3.在線評(píng)估 ·······················92
4.5 基于GNN的推薦系統(tǒng)架構(gòu) ·········94
4.6 本章小結(jié) ···································96
第5章 基于GNN的推薦系統(tǒng)構(gòu)
建基礎(chǔ) ·······························97
5.1 關(guān)于嵌入 ···································97
5.2 Word2Vec ·································102
5.2.1.哈夫曼樹與哈夫曼編