立體成像技術(shù)的迅速發(fā)展使得立體視覺信號成為人們生活中重要的多媒體數(shù)據(jù)，立體成像技術(shù)也給人們的日常生活帶來了巨大的變化。多媒體立體視覺技術(shù)在服務(wù)人們?nèi)粘Ｉ�活及提升生活質(zhì)量的同時，也帶來了多媒體信息管理的難題。比如，海量的立體視覺信號的質(zhì)量參差不齊，如何準(zhǔn)確地預(yù)測立體視覺信號的質(zhì)量并篩選出低質(zhì)量立體視覺信號是十分必要的，該操作可以有效地節(jié)約存儲空間并提高多媒體資源的利用率。另外，隨著人們對多媒體立體視覺技術(shù)帶來的視覺體驗要求逐漸增加，如何提升多媒體立體視覺技術(shù)成為學(xué)術(shù)界和工業(yè)界追求的目標(biāo)。立體視覺信號質(zhì)量評價旨在準(zhǔn)確地預(yù)測立體視覺信號的質(zhì)量，是海量立體視覺信號篩選的重要手段。同時，它可為立體視覺信號處理算法優(yōu)化和立體視覺系統(tǒng)優(yōu)化提供直接的優(yōu)化目標(biāo)。因此，立體視覺信號質(zhì)量評價在多媒體信息管理中不可或缺，具有重要的研究價值和應(yīng)用價值。 本書面向三維圖像、合成圖像和自由視點視頻三種立體視覺信號，論述立體視覺信號質(zhì)量評價研究工作，旨在讓讀者了解新式媒體應(yīng)用中的視覺質(zhì)量度量問題，從而進(jìn)一步了解當(dāng)前科技發(fā)展的前沿，如虛擬現(xiàn)實、增強現(xiàn)實、人機交互等。本書的主要內(nèi)容如下： （1）針對大部分現(xiàn)有三維圖像質(zhì)量評價模型僅考慮高級語義特征融合問題，本書提出融合多層級語義特征的三維圖像質(zhì)量評價模型，它包含一個權(quán)值共享的特征提取模塊、一個特征融合模塊和一個質(zhì)量回歸模塊。首先，受多層級視覺感知機制啟發(fā)，使用一個權(quán)值共享的深度卷積神經(jīng)網(wǎng)絡(luò)，提取左右視圖低級、中級和高級語義特征。其次，考慮到雙目視覺特性，構(gòu)建特征融合模塊。該模塊先分別融合左右視圖的不同層級語義特征，再通過兩個卷積操作進(jìn)一步融合多層級語義特征。最后，構(gòu)建包含多個全連接網(wǎng)絡(luò)的質(zhì)量回歸模塊，輸出三維圖像的質(zhì)量分?jǐn)?shù)。本書在兩個常用的三維圖像質(zhì)量評價數(shù)據(jù)集上進(jìn)行實驗，實驗結(jié)果表明所提出的模型性能超過了其他對比的模型。 （2）針對當(dāng)前公開的三維圖像質(zhì)量評價數(shù)據(jù)集規(guī)模過小導(dǎo)致模型性能比較可信度不足的問題，本書開展基于弱監(jiān)督學(xué)習(xí)的三維圖像質(zhì)量評價研究。首先，構(gòu)建首個大規(guī)模三維圖像質(zhì)量評價數(shù)據(jù)集，并自動生成三維圖像對的相對質(zhì)量作為粗粒度標(biāo)簽，生成單一視圖質(zhì)量作為偽標(biāo)簽。其次，利用構(gòu)建的三維圖像質(zhì)量評價數(shù)據(jù)集，重新訓(xùn)練當(dāng)前主流的三維圖像質(zhì)量評價模型，以更加公平的方式比較不同的模型，并探索網(wǎng)絡(luò)框架、輸入尺寸和額外的監(jiān)督信號對模型性能的影響。所有的測試模型均在當(dāng)前公開的數(shù)據(jù)集上測試，實驗結(jié)果證明了本書構(gòu)建的三維圖像數(shù)據(jù)集的必要性，并獲得了關(guān)于三維圖像質(zhì)量評價模型多維度的比較。 （3）針對DIBR過程引入的非均勻失真難度量問題，本書提出結(jié)合局部變化感知和全局自然性建模的合成圖像質(zhì)量評價方法。首先，使用局部高斯導(dǎo)數(shù)計算圖像的局部泰勒展開，用于表征圖像局部結(jié)構(gòu)信息。進(jìn)一步地，使用局部二值模式表示初始結(jié)構(gòu)特征，并使用局部結(jié)構(gòu)特征幅值對初始結(jié)構(gòu)特征進(jìn)行加權(quán)，得到最終的結(jié)構(gòu)特征。同時，計算圖像的色度信息和顏色角度信息。類似地，計算得到顏色特征。結(jié)構(gòu)特征和顏色特征共同用于感知局部變化。其次，使用全局自然性度量全局變化，包括亮度自然性和結(jié)構(gòu)自然性。其中，亮度圖通過局部歸一化操作獲得；結(jié)構(gòu)圖通過計算合成圖與其低通濾波圖的差異圖得到。最后，結(jié)合局部變化和全局自然性共同度量合成圖像質(zhì)量。實驗證明，本書提出的方法能夠有效地度量合成圖像的質(zhì)量。并且，通過剝離實驗證明了局部感知和全局建模在度量合成圖像質(zhì)量變化上的有效性和互補性。 （4）針對當(dāng)前自由視點視頻體驗質(zhì)量評價研究中內(nèi)容簡單、數(shù)據(jù)量少的問題，開展自由視點視頻體驗質(zhì)量評價研究。考慮到應(yīng)用場景僅有兩種（中國男子籃球聯(lián)賽和綜藝節(jié)目），本書提出有限場景內(nèi)的多樣化數(shù)據(jù)收集策略，構(gòu)建首個大規(guī)模自由視點視頻體驗質(zhì)量評價數(shù)據(jù)集。其次，提出從粗至細(xì)的兩階段主觀數(shù)據(jù)標(biāo)注法。第一階段為挑出確定的樣本，即受試者對此類樣本的評分一致性概率較高；第二階段則繼續(xù)為不確定的樣本打分。通過深入分析主觀數(shù)據(jù)，研究深度信息和人物聚集程度對自由視點視頻體驗的影響。另外，考慮到模型性能和效率的平衡，設(shè)計快速、有效的自由視點視頻體驗質(zhì)量預(yù)測基準(zhǔn)模型。率先探索幀稀疏采樣對模型性能的影響，測試多種稀疏采樣策略。實驗證明，僅使用自由視點視頻的部分幀，就可以準(zhǔn)確地預(yù)測整個自由視點視頻的體驗質(zhì)量。 本書各章之間的關(guān)系如圖1所示，內(nèi)容圍繞立體視覺信號展開，具體組織結(jié)構(gòu)如下。第1章是導(dǎo)論，首先介紹立體視覺信號質(zhì)量評價的作用，然后分別介紹二維圖像質(zhì)量評價、三維圖像質(zhì)量評價、合成圖像質(zhì)量評價、合成視頻質(zhì)量評價研究，最后詳細(xì)介紹立體視覺信號質(zhì)量評價方法性能度量。第2章提出融合多層級語義特征的三維圖像質(zhì)量評價框架�？紤]雙目視覺特性和多層級視覺感知特性，設(shè)計融合多層級語義特征的三維圖像質(zhì)量評價模型。該模型使用孿生網(wǎng)絡(luò)分別提取三維圖像左右視圖的低、中和高級語義特征，再分別融合不同層級語義特征，最后融合不同層級交互特征，通過非線性映射，得到三維圖像質(zhì)量分?jǐn)?shù)。第3章提出基于弱監(jiān)督學(xué)習(xí)的三維圖像質(zhì)量評價框架。針對有限訓(xùn)練集容易造成模型過擬合問題，進(jìn)而降低模型的可擴展能力，且難以確定不同模型真正的優(yōu)劣，提出基于弱監(jiān)督學(xué)習(xí)的三維圖像質(zhì)量評價框架。為了解決數(shù)據(jù)量少的問題，構(gòu)建大型三維圖像質(zhì)量評價數(shù)據(jù)集（僅包含粗粒度標(biāo)簽和偽標(biāo)簽），并在該數(shù)據(jù)集上使用排序?qū)W習(xí)訓(xùn)練不同的基準(zhǔn)模型，探究當(dāng)前主流三維圖像質(zhì)量評價模型性能優(yōu)劣。進(jìn)一步地，研究輸入大小對模型的影響，以及三維圖像對之間的視覺偏好約束和單視圖預(yù)測約束對模型性能的影響。第4章提出融合局部感知和全局建模的合成圖像質(zhì)量評價方法。針對虛擬合成圖像非均勻失真度量難問題，分別使用局部感知度量局部失真引起的質(zhì)量變化和全局建模度量全局質(zhì)量變化。其中，使用局部二值模式表征結(jié)構(gòu)信息和顏色信息，感知局部變化；使用全局自然性度量全局變化；結(jié)合局部和全局變化度量，計算虛擬合成圖像質(zhì)量分?jǐn)?shù)。第5章開展體驗質(zhì)量研究。本書考慮有限應(yīng)用場景內(nèi)的數(shù)據(jù)多樣性，收集多視角合成視頻數(shù)據(jù)，構(gòu)建一個大規(guī)模真實場景下的體驗質(zhì)量評價數(shù)據(jù)集；提出從粗至細(xì)的兩階段主觀數(shù)據(jù)標(biāo)注法，節(jié)省約17%標(biāo)注人力；結(jié)合多種稀疏采樣策略，設(shè)計快速、有效的體驗質(zhì)量預(yù)測基準(zhǔn)模型。其中，第2、3章的研究對象是三維圖像，第4章的研究對象是合成圖像，第5章的研究對象是自由視點視頻。第6章提出方法總結(jié)與潛在的研究方向，總結(jié)本書的研究工作，并指出未來潛在的發(fā)展方向。 在本書編寫過程中，參考了國內(nèi)外眾多研究者的工作，在此衷心感謝他們對立體視覺信號質(zhì)量評價工作的貢獻(xiàn)。 衷心希望本書能夠給讀者帶來啟發(fā)，引發(fā)更多有意義的研究工作。著者相信，立體視覺技術(shù)將得到進(jìn)一步的發(fā)展，造福社會。由于著者水平有限，書中不妥和疏漏之處在所難免，歡迎廣大讀者批評指正。 著者 2023年6月