內(nèi)容上，本書力求系統(tǒng)地介紹基于深度學(xué)習(xí)的圖文多模態(tài)信息處理技術(shù)，側(cè)重介紹最通用、最基礎(chǔ)的技術(shù)，覆蓋了多模態(tài)表示、對(duì)齊、融合和轉(zhuǎn)換等四大關(guān)鍵技術(shù)。同時(shí)也介紹了多模態(tài)信息處理領(lǐng)域的**發(fā)展前沿——多模態(tài)預(yù)訓(xùn)練模型。此外，為了讓讀者可以實(shí)踐這些多模態(tài)深度學(xué)習(xí)技術(shù)，本書提供了四個(gè)完整的實(shí)戰(zhàn)案例，分別對(duì)應(yīng)多模態(tài)表示、對(duì)齊、融合和轉(zhuǎn)換這四個(gè)關(guān)鍵技術(shù)。

具體而言，本書的內(nèi)容分為四個(gè)部分：初識(shí)多模態(tài)信息處理、單模態(tài)表示、多模態(tài)信息處理的關(guān)鍵技術(shù)、多模態(tài)預(yù)訓(xùn)練模型。

第一部分包括兩個(gè)章節(jié)：第1章介紹多模態(tài)信息的基本概念、難點(diǎn)、使用深度學(xué)習(xí)方法的動(dòng)機(jī)、多模態(tài)信息處理的關(guān)鍵技術(shù)以及這些技術(shù)的發(fā)展歷史，第2章介紹若干同時(shí)涉及圖像和文本的多模態(tài)熱門研究任務(wù)。

第二部分包括兩個(gè)章節(jié)：第3和4章分別介紹了多模態(tài)信息處理中常用的文本表示和圖像表示方法。

第三部分包括四個(gè)章節(jié)：第5、6、7、8章分別介紹面向特定任務(wù)的多模態(tài)表示、對(duì)齊、融合和轉(zhuǎn)換這四個(gè)關(guān)鍵技術(shù)，且每一章都提供了一個(gè)可運(yùn)行的完整的實(shí)戰(zhàn)案例。

第四部分包括一個(gè)章節(jié)：第9章介紹綜合使用上述關(guān)鍵技術(shù)，并以學(xué)習(xí)通用多模態(tài)表示為目標(biāo)的多模態(tài)預(yù)訓(xùn)練模型。