推薦序

近年來(lái)，隨著大數(shù)據(jù)的出現(xiàn)和計(jì)算資源的飛速發(fā)展，深度學(xué)習(xí)成為人工智能領(lǐng)域一個(gè)重要的研究熱點(diǎn)，各種深度學(xué)習(xí)的模型、算法層出不窮，深度學(xué)習(xí)也在圖像、聲音和文本等應(yīng)用領(lǐng)域取得了眾多革命性的突破與進(jìn)展。圖數(shù)據(jù)是一種具有強(qiáng)大表達(dá)能力的數(shù)據(jù)類型，其應(yīng)用范圍十分廣泛，小至納米級(jí)別的蛋白質(zhì)分子，大到數(shù)億級(jí)別的社交網(wǎng)絡(luò)，都可以很自然地用圖數(shù)據(jù)表示。然而，由于圖數(shù)據(jù)的結(jié)構(gòu)特殊性，給各大應(yīng)用領(lǐng)域帶來(lái)深刻變革的深度學(xué)習(xí)技術(shù)并不能直接應(yīng)用到圖數(shù)據(jù)領(lǐng)域，為了解決這一問(wèn)題，圖深度學(xué)習(xí)應(yīng)運(yùn)而生。

圖深度學(xué)習(xí)旨在研究如何在圖上應(yīng)用深度學(xué)習(xí)技術(shù)，學(xué)習(xí)優(yōu)質(zhì)的圖表示，以較好地完成圖上的各類任務(wù)。到目前為止，圖深度學(xué)習(xí)的研究已經(jīng)取得了不少重大突破，這些研究成果給圖上的任務(wù)解決模式帶來(lái)了巨大變革，并極大地推進(jìn)了圖表示學(xué)習(xí)和圖機(jī)器學(xué)習(xí)的發(fā)展。在圖深度學(xué)習(xí)中，各類圖神經(jīng)網(wǎng)絡(luò)模型在各大計(jì)算機(jī)相關(guān)領(lǐng)域的應(yīng)用都取得了巨大成功，比如數(shù)據(jù)挖掘領(lǐng)域中的社交網(wǎng)絡(luò)分析任務(wù)、交通網(wǎng)絡(luò)預(yù)測(cè)任務(wù)，以及計(jì)算機(jī)科學(xué)領(lǐng)域的程序分析任務(wù)等。除此之外，圖神經(jīng)網(wǎng)絡(luò)模型還為各類跨學(xué)科領(lǐng)域的研究帶來(lái)了革命性的突破，比如生物化學(xué)領(lǐng)域的蛋白質(zhì)性質(zhì)分析和藥物發(fā)現(xiàn)任務(wù)，以及物理科學(xué)領(lǐng)域的系統(tǒng)狀態(tài)預(yù)測(cè)任務(wù)等。

本書對(duì)圖深度學(xué)習(xí)進(jìn)行了全面系統(tǒng)的介紹，結(jié)構(gòu)清晰，內(nèi)容豐富，深入淺出。本書共4 篇，包括基礎(chǔ)理論、模型方法、實(shí)際應(yīng)用和前沿進(jìn)展，構(gòu)成了一個(gè)非常全面、系統(tǒng)的知識(shí)框架。其內(nèi)容涵蓋了學(xué)習(xí)圖深度學(xué)習(xí)必須了解的基礎(chǔ)知識(shí)，圖深度學(xué)習(xí)中經(jīng)典的模型方法，圖深度學(xué)習(xí)在實(shí)際中的應(yīng)用方法，以及圖深度學(xué)習(xí)的研究熱點(diǎn)和前沿進(jìn)展。同時(shí)，本書各章的結(jié)構(gòu)也都非常優(yōu)美，從背景介紹、理論細(xì)節(jié)，到實(shí)際應(yīng)用，再到總結(jié)與拓展，深入淺出，引人入勝。本書的作者在圖深度學(xué)習(xí)領(lǐng)域耕耘多年，擁有豐富的一線教學(xué)和研究經(jīng)驗(yàn)。本書凝結(jié)了作者團(tuán)隊(duì)多年的教學(xué)及研究心得，極具閱讀和學(xué)習(xí)價(jià)值。

本書適合計(jì)算機(jī)科學(xué)、人工智能和機(jī)器學(xué)習(xí)等相關(guān)專業(yè)各個(gè)階段的學(xué)生學(xué)習(xí)，也可供信息領(lǐng)域相關(guān)從業(yè)者，包括工程師和研究人員閱讀。本書還適合跨學(xué)科研究者閱讀，可為其領(lǐng)域研究提供有價(jià)值的參考。

俞士綸

伊利諾大學(xué)芝加哥分校（UIC）計(jì)算機(jī)科學(xué)系特聘教授，國(guó)際計(jì)算機(jī)領(lǐng)域著名學(xué)者，ACM/IEEE 會(huì)士

前言

圖（Graph）經(jīng)常用來(lái)表示包括社會(huì)科學(xué)、語(yǔ)言學(xué)、化學(xué)、生物學(xué)和物理學(xué)在內(nèi)的很多不同領(lǐng)域的數(shù)據(jù)。同時(shí)，許多現(xiàn)實(shí)世界的應(yīng)用都可以視為圖上的計(jì)算任務(wù)，例如特定地點(diǎn)的空氣質(zhì)量預(yù)測(cè)可以視為節(jié)點(diǎn)分類任務(wù)，社交網(wǎng)絡(luò)中的朋友推薦可以視為鏈接預(yù)測(cè)任務(wù)，蛋白質(zhì)性質(zhì)預(yù)測(cè)可以視為圖分類任務(wù)。為了更好地利用現(xiàn)代機(jī)器學(xué)習(xí)模型完成圖上的計(jì)算任務(wù)，有效地學(xué)習(xí)圖的表示至關(guān)重要。表示圖的特征提取方法一般可分為兩種——特征工程和表示學(xué)習(xí)。特征工程依賴于手工設(shè)計(jì)的特征，這個(gè)過(guò)程很費(fèi)時(shí)，而且手工設(shè)計(jì)的特征對(duì)于給定的下游任務(wù)通常不是最佳的。相對(duì)而言，表示學(xué)習(xí)可以自動(dòng)地從圖上學(xué)習(xí)特征，這個(gè)過(guò)程需要最少的人力并可以靈活適用于給定的下游任務(wù)。因此，圖上的表示學(xué)習(xí)被大家廣泛研究。

在過(guò)去的幾十年中，圖表示學(xué)習(xí)領(lǐng)域取得了巨大的進(jìn)展。這些進(jìn)展大致可以劃分為圖表示學(xué)習(xí)的三個(gè)時(shí)代，即傳統(tǒng)圖嵌入、現(xiàn)代圖嵌入和圖深度學(xué)習(xí)。傳統(tǒng)圖嵌入作為第一代圖表示學(xué)習(xí)，是在經(jīng)典的基于圖的降維技術(shù)的背景下研究的。傳統(tǒng)圖嵌入包括IsoMap、LLE 和eigenmap 等方法。Word2vec 是從大量文本中學(xué)習(xí)詞的表示的一種方法，這些生成的詞表示已推進(jìn)了許多自然語(yǔ)言處理任務(wù)的進(jìn)展。Word2vec 在圖域的成功擴(kuò)展開啟了第二代圖表示學(xué)習(xí)——現(xiàn)代圖嵌入。鑒于深度學(xué)習(xí)技術(shù)在圖像和文本領(lǐng)域表示學(xué)習(xí)中取得的巨大成功，研究者已努力地將其推廣到圖域，從而開啟了圖表示學(xué)習(xí)的新篇章——圖深度學(xué)習(xí)。

越來(lái)越多的證據(jù)表明，第三代圖表示學(xué)習(xí)，尤其是圖神經(jīng)網(wǎng)絡(luò)（GNN），極大地促進(jìn)了包括側(cè)重于節(jié)點(diǎn)和側(cè)重于圖的各種圖上計(jì)算任務(wù)的發(fā)展。GNN 帶來(lái)的革命性進(jìn)展也極大地促進(jìn)了圖表示學(xué)習(xí)在現(xiàn)實(shí)場(chǎng)景中的廣泛應(yīng)用。在推薦系統(tǒng)和社交網(wǎng)絡(luò)分析等經(jīng)典領(lǐng)域中，GNN 帶來(lái)了最好的性能并為它們帶來(lái)新的研究課題。同時(shí)，GNN也不斷地應(yīng)用到新的領(lǐng)域，例如組合優(yōu)化、物理和醫(yī)療健康。GNN 的這些廣泛應(yīng)用為研究者提供了不同學(xué)科的多種貢獻(xiàn)和觀點(diǎn)，并使該研究領(lǐng)域真正成為跨學(xué)科領(lǐng)域。

圖表示學(xué)習(xí)是一個(gè)快速發(fā)展的領(lǐng)域，它吸引了來(lái)自不同領(lǐng)域研究者的大量關(guān)注，并已經(jīng)積累了大量的文獻(xiàn)。因此，現(xiàn)在是系統(tǒng)地調(diào)查和總結(jié)該領(lǐng)域的好時(shí)機(jī)，本書的寫作動(dòng)機(jī)就是實(shí)現(xiàn)這一目標(biāo)。本書基于筆者在該領(lǐng)域多年的教學(xué)和研究經(jīng)驗(yàn)，旨在幫助研究人員了解圖表示學(xué)習(xí)的基本知識(shí)、進(jìn)展、廣泛的應(yīng)用及研究前沿成果。

全書概要

本書全面介紹了圖表示學(xué)習(xí)，重點(diǎn)講解圖深度學(xué)習(xí)尤其是GNN。本書由4 篇組成：基礎(chǔ)理論、模型方法、實(shí)際應(yīng)用和前沿進(jìn)展�；�礎(chǔ)理論篇介紹了圖和深度學(xué)習(xí)的歷史背景和基本概念。模型方法篇涵蓋的主題包括現(xiàn)代圖嵌入、用于簡(jiǎn)單圖和復(fù)雜圖的GNN、GNN 的健壯性和可擴(kuò)展性及GNN 之外的圖深度模型。其中，每個(gè)主題都用一章介紹，內(nèi)容包括有關(guān)該主題的基本概念和代表性算法的技術(shù)細(xì)節(jié)。實(shí)際應(yīng)用篇介紹了GNN 在典型領(lǐng)域的應(yīng)用，包括自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、數(shù)據(jù)挖掘、生物化學(xué)和醫(yī)療健康，每個(gè)應(yīng)用領(lǐng)域?qū)⒂靡徽陆榻B。前沿進(jìn)展篇討論了涌現(xiàn)的新方法和新的應(yīng)用領(lǐng)域，每一章最后都包括針對(duì)更高級(jí)主題和新趨勢(shì)的擴(kuò)展閱讀，感興趣的讀者可以進(jìn)一步閱讀相關(guān)參考文獻(xiàn)。

目標(biāo)讀者

盡管圖論、微積分、線性代數(shù)、概率論和統(tǒng)計(jì)學(xué)的基本背景可以幫助讀者更好地理解書中的技術(shù)細(xì)節(jié)，但本書的目的是盡可能地做到自成體系。因此，本書廣泛地適用于具有不同背景和不同閱讀目的的讀者。本書可以作為學(xué)習(xí)工具和參考書，供相關(guān)研究領(lǐng)域的高年級(jí)本科生或研究生學(xué)習(xí)。希望從事該領(lǐng)域研究的研究人員可以將本書作為起點(diǎn)。項(xiàng)目經(jīng)理和從業(yè)人員可以從本書中學(xué)習(xí)如何在產(chǎn)品和平臺(tái)中應(yīng)用GNN。計(jì)算機(jī)科學(xué)領(lǐng)域以外的研究人員可以從本書中找到大量將GNN 應(yīng)用于不同學(xué)科的示例。

由于編者水平有限，書中不足之處在所難免，肯請(qǐng)廣大讀者批評(píng)指正。

馬耀

湯繼良

東蘭辛，密歇根州

2021 年4 月

致謝

本書在翻譯、校對(duì)和出版過(guò)程中，得到國(guó)內(nèi)外眾多專家學(xué)者和出版人員的大力支持和幫助，我們衷心地感謝為本書做出了卓越貢獻(xiàn)的各位朋友：

感謝為本書撰寫推薦序的伊利諾伊大學(xué)芝加哥分校的俞士綸教授。

感謝為本書撰寫推薦語(yǔ)的多位專家學(xué)者，他們是（按照姓氏拼音排序）：清華大學(xué)崔鵬副教授、國(guó)防科技大學(xué)劉新旺教授、得克薩斯農(nóng)工大學(xué)姬水旺教授、西蒙弗雷澤大學(xué)裴健教授、蒙特利爾大學(xué)唐建助理教授、清華大學(xué)唐杰教授、康奈爾大學(xué)王飛副教授、萬(wàn)人計(jì)劃國(guó)家教學(xué)名師殷建平教授、悉尼科技大學(xué)張成奇教授、南京大學(xué)周志華教授和國(guó)防科技大學(xué)祝恩教授。

感謝為本書的校對(duì)和修改提出寶貴意見的各位老師和同學(xué)們，他們是（按照姓氏拼音排序）：桂林電子科技大學(xué)蔡國(guó)永教授及其團(tuán)隊(duì)、重慶大學(xué)高旻副教授及其團(tuán)隊(duì)、中國(guó)科技大學(xué)何向南教授及其團(tuán)隊(duì)、南寧師范大學(xué)黃江濤副研究員及其團(tuán)隊(duì)、北京理工大學(xué)禮欣副教授及其團(tuán)隊(duì)、解放軍理工大學(xué)潘志松教授及其團(tuán)隊(duì)、吉林大學(xué)王鑫副研究員及其團(tuán)隊(duì)、山東大學(xué)余國(guó)先教授及其團(tuán)隊(duì)、南京航空航天大學(xué)袁偉偉教授及其團(tuán)隊(duì)、國(guó)防科技大學(xué)周思航老師及博士生涂文軒。

感謝為本書付出巨大努力的電子工業(yè)出版社的宋亞?wèn)|編輯以及全體工作人員。

感謝一直以來(lái)關(guān)注本書出版進(jìn)展的熱心人士。

感謝正在閱讀此書的你。

最后，衷心地感謝我們的親人摯友，感謝你們一路溫暖的相伴、真摯的理解和堅(jiān)強(qiáng)的支持。

祝大家學(xué)有所得，心想事成！

王怡琦，金衛(wèi)，馬耀，湯繼良

2021年4月