第1 章走進(jìn)圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1
1.1 什么是圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 圖像融合的發(fā)展歷史與研究現(xiàn)狀. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2
1.3 圖像融合分類. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.1 按融合層次分類. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3.2 按融合圖像源分類. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
第2 章遙感圖像融合基礎(chǔ)知識(shí). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1 遙感圖像融合的研究背景與意義. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1 高分辨率遙感技術(shù)的發(fā)展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.2 遙感衛(wèi)星圖像的特點(diǎn). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.3 遙感圖像融合的研究意義. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2 全色銳化的主流方法及研究現(xiàn)狀. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.1 分量替換（CS）. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19
2.2.2 多分辨率分析（MRA） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2.3 模型求解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.4 深度學(xué)習(xí). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 全色銳化評(píng)價(jià)體系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.1 降分辨率評(píng)估. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.2 原分辨率評(píng)估. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
第3 章基于金字塔變換的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37
3.2 常見(jiàn)圖像金字塔變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.1 高斯金字塔變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.2 拉普拉斯金字塔變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2.3 比率低通金字塔變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.4 對(duì)比度金字塔變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.5 梯度金字塔變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3 基于金字塔變換的圖像融合方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3.1 基于拉普拉斯金字塔變換的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . .43
3.3.2 基于比率低通金字塔變換的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . .44
3.3.3 基于對(duì)比度金字塔變換的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .45
3.3.4 基于梯度金字塔變換的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4 實(shí)驗(yàn)結(jié)果與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.1 降分辨率分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.4.2 原分辨率分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.5 本章小結(jié). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
第4 章基于小波族的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49
4.2 小波變換的基本理論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.2.1 小波族. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.2.2 小波函數(shù)與子函數(shù). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.2.3 尺度函數(shù)與子函數(shù). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.2.4 多分辨率分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2.5 信號(hào)分解與重構(gòu). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3 基于小波變換的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.3.1 圖像的二維離散小波變換. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.3.2 圖像融合過(guò)程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4 小波選擇. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4.1 多小波. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4.2 輪廓波. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.4.3 剪切波. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.5 實(shí)驗(yàn)結(jié)果與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.5.1 降分辨率分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.5.2 原分辨率評(píng)估分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.6 本章小結(jié). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
第5 章基于智能優(yōu)化算法的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67
5.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67
5.2 智能優(yōu)化算法簡(jiǎn)介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.2.1 智能優(yōu)化算法分類. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.2.2 進(jìn)化算法概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.3 基于貝葉斯網(wǎng)絡(luò)及進(jìn)化算法的全色銳化融合模型. . . . . . . . . . . . . . . . 77
5.3.1 模型構(gòu)建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.3.2 參數(shù)優(yōu)化. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5.3.3 實(shí)驗(yàn)對(duì)比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
5.4 基于進(jìn)化算法的IHS 全色銳化融合模型. . . . . . . . . . . . . . . . . . . . . . . . . 86
5.4.1 IHS 融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5.4.2 EA-IHS 融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5.4.3 組合差分進(jìn)化優(yōu)化. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.4.4 實(shí)驗(yàn)對(duì)比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.5 基于多目標(biāo)優(yōu)化的IHS 全色銳化融合模型. . . . . . . . . . . . . . . . . . . . . . .97
5.5.1 目標(biāo)函數(shù). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.5.2 NSGA-II 優(yōu)化. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.5.3 MO-IHS 基本流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.5.4 實(shí)驗(yàn)對(duì)比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.6 本章小結(jié). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
第6 章基于能量模型的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
6.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .108
6.2 變分法預(yù)備知識(shí). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
6.2.1 泛函定義及性質(zhì). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
6.2.2 BV 空間定義及性質(zhì). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.2.3 Bregman 迭代和分裂Bregman 迭代. . . . . . . . . . . . . . . . . . . . . . . . . . 111
6.3 變分全色銳化融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.3.1 VP 模型構(gòu)建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.3.2 能量極小值存在性分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
6.3.3 數(shù)值算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
6.3.4 實(shí)驗(yàn)結(jié)果與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
6.4 基于Framelet 的全色銳化融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
6.4.1 Framelet 及其圖像表示. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .137
6.4.2 基于Framelet 的全色銳化融合模型. . . . . . . . . . . . . . . . . . . . . . . . . . . 142
6.4.3 基于變分法和Framelet 的全色銳化融合模型. . . . . . . . . . . . . . . . . . . 144
6.4.4 實(shí)驗(yàn)結(jié)果及分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
6.4.5 VFP 模型與VP 模型的比較. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
6.5 基于貝葉斯后驗(yàn)概率估計(jì)的全色銳化融合模型. . . . . . . . . . . . . . . . . .159
6.5.1 模型構(gòu)建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.5.2 模型求解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
6.5.3 實(shí)驗(yàn)對(duì)比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
6.6 本章小結(jié). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
第7 章基于深度學(xué)習(xí)的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
7.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .179
7.2 深度學(xué)習(xí)基礎(chǔ)理論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.2.1 數(shù)據(jù)輸入層. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.2.2 卷積計(jì)算層. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.2.3 激勵(lì)層. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
7.2.4 池化層. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
7.2.5 全連接層. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.2.6 經(jīng)典架構(gòu). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
7.3 小波系數(shù)指導(dǎo)的全色銳化融合網(wǎng)絡(luò). . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.3.1 網(wǎng)絡(luò)構(gòu)建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.3.2 實(shí)驗(yàn)對(duì)比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
7.3.3 消融實(shí)驗(yàn). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
7.4 基于Framelet 的全色銳化融合網(wǎng)絡(luò). . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
7.4.1 模型構(gòu)建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
7.4.2 實(shí)驗(yàn)對(duì)比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
7.4.3 消融分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
7.5 基于深度展開網(wǎng)絡(luò)的全色銳化融合網(wǎng)絡(luò). . . . . . . . . . . . . . . . . . . . . . . . 211
7.5.1 網(wǎng)絡(luò)構(gòu)建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
7.5.2 實(shí)驗(yàn)對(duì)比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
7.5.3 消融分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
7.6 本章小結(jié). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
第8 章基于顏色遷移的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
8.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .226
8.2 研究背景與研究現(xiàn)狀. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .227
8.2.1 基于涂鴉點(diǎn)的著色. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
8.2.2 基于參考圖像的著色. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
8.2.3 基于深度學(xué)習(xí)的著色. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
8.3 基于超像素的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
8.3.1 模型構(gòu)建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
8.3.2 模型求解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
8.3.3 模型分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
8.3.4 實(shí)驗(yàn)對(duì)比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
8.4 基于風(fēng)格遷移的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
8.4.1 網(wǎng)絡(luò)構(gòu)建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
8.4.2 消融實(shí)驗(yàn). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
8.4.3 實(shí)驗(yàn)對(duì)比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
8.5 基于生成對(duì)抗網(wǎng)絡(luò)的圖像融合. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .274
8.5.1 網(wǎng)絡(luò)構(gòu)建. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
8.5.2 實(shí)驗(yàn)對(duì)比與分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
8.6 本章小結(jié). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
第9 章圖像融合的應(yīng)用與發(fā)展趨勢(shì). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .281
9.1 引言. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .281
9.2 圖像融合的落地應(yīng)用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .281
9.2.1 遙感圖像融合應(yīng)用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
9.2.2 圖像融合的其他應(yīng)用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
9.3 圖像融合的未來(lái)發(fā)展展望. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
參考文獻(xiàn). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
縮略詞表. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299