本書由近幾年發(fā)表在各類頂 級期刊和國際會議/研討會上的論文集結而成,囊括國內(nèi)外深度學習研究者的成果。本書關注經(jīng)典的稀疏/低秩模型與強調(diào)問題特定的先驗性和可解釋性的深度網(wǎng)絡模型的集成,從而提高模型的學習能力和可解釋性,同時更有效地利用大數(shù)據(jù)。書中展示了深度學習工具箱與稀疏/低秩模型和算法的緊密聯(lián)系,并介紹了這些技術在維度約簡、動作識別、風格識別、親屬關系理解、圖像除霧以及生物醫(yī)學圖像分析等方面的成功應用。本書適合有一定基礎的讀者閱讀,可擴展關于理論和分析工具的研究思路,并為深度模型的架構和解釋提供有益的指導。
深度學習在機器學習、數(shù)據(jù)分析和計算機視覺的各種應用中取得了巨大的成功。它易于并行化,推理復雜度較低,可以端到端聯(lián)合調(diào)優(yōu)。然而,通用的深度架構——通常被稱為“黑盒”方法,在很大程度上忽略了問題特定的公式表示和領域知識。這些架構依賴于堆疊一些臨時的模塊,這使得解釋其工作機制變得非常困難。盡管可憑借一些假設和直覺,但人們普遍認為很難理解深度模型為什么會起作用,以及它們?nèi)绾闻c經(jīng)典機器學習模型相關聯(lián)。另一方面,稀疏性和低秩性是經(jīng)典機器學習中很容易被利用的正則化。通過利用高維數(shù)據(jù)的潛在低維子空間結構,這種方法在許多圖像處理和理解任務中取得了巨大成功。
本書概述了近期關于深度學習模型與稀疏模型和低秩模型集成的研究趨勢。本書適合具備深度學習和稀疏/低秩模型基礎知識的讀者閱讀,書中還特別強調(diào)概念和應用,希望能幫助更多的讀者。本書涵蓋的研究將經(jīng)典的稀疏模型和低秩模型與深度網(wǎng)絡模型進行銜接,其中,稀疏和低秩模型強調(diào)問題特定的先驗性和可解釋性,而深度網(wǎng)絡模型具有更強的學習能力,同時能更好地利用大數(shù)據(jù)。你將會看到,深度學習工具箱與稀疏/低秩模型和算法緊密相關。這樣的觀點有望推動各類理論和分析工具的研究工作,引導深度模型的架構設計和解釋。理論和建模的進展將與計算機視覺、機器學習、信號處理、數(shù)據(jù)挖掘等方面的諸多應用相輔相成。
致謝
感謝Elsevier團隊的Ana Claudia A Garcia、Tim Pitts、Kamesh Ramajogi等在本書出版過程中對我們的悉心指導。感謝UIUC圖像生成與處理(IFP)團隊的學生及畢業(yè)生,與他們的學術合作及討論令我們受益匪淺。還要感謝所有章節(jié)的作者對本書的辛勤付出。
編著者
---作者簡介---
王章陽(Zhangyang Wang) 得克薩斯農(nóng)工大學(TAMU)計算機科學與工程系助理教授,致力于利用先進的特征學習和優(yōu)化技術解決機器學習、計算機視覺和多媒體信號處理問題。他擁有伊利諾伊大學厄巴納-香檳分校電子與計算機工程博士學位,師從黃煦濤教授。
傅云(Yun Fu)
美國東北大學工程學院和計算機與信息科學學院的跨學科教師,研究方向為機器學習、計算智能、大數(shù)據(jù)挖掘、計算機視覺、模式識別和信息物理融合系統(tǒng)。他是IAPR和SPIE會士,曾獲得IEEE和IAPR等頒發(fā)的多項研究獎勵。
黃煦濤(Thomas S. Huang) 伊利諾伊大學厄巴納-香檳分校電子與計算機工程系教授,研究興趣包括計算機視覺、圖像壓縮和增強、模式識別和多模態(tài)信號處理等。他是美國國家工程院院士、IAPR會士,曾獲得包括IEEE Jack Kilby信號處理獎章、IAPR King-Sun Fu獎、國際計算機視覺會議Azriel Rosenfeld終身成就獎在內(nèi)的眾多獎項。他于2020年4月去世。
---譯者簡介---
黃智瀕 博士,北京郵電大學計算機學院講師。長期從事智能機器學習、超大規(guī)模并行計算、三維計算機視覺和深度學習架構方面的研究。
譯者序
前言
主要作者簡介
所有作者列表
第1章引言1
11深度學習基礎1
12稀疏與低秩模型基礎2
13連接深度學習與稀疏和低秩模型2
14本書章節(jié)結構3
15參考文獻4
第2章雙層稀疏編碼:高光譜圖像分類示例7
21引言7
22公式和算法9
221符號表示9
222聯(lián)合特征的提取和分類9
223雙層優(yōu)化公式11
224算法12
23實驗13
231對AVIRIS印第安納松樹數(shù)據(jù)的分類性能16
232對AVIRIS薩利納斯數(shù)據(jù)的分類性能17
233對帕維亞大學數(shù)據(jù)的分類性能18
24結論19
25附錄20
26參考文獻21
第3章深度0編碼器:模型展開示例23
31引言23
32相關工作24
321基于0和1的稀疏近似24
3221近似的網(wǎng)絡實現(xiàn)24
33深度0編碼器25
331深度0正則化編碼器25
332深度M稀疏0編碼器27
333理論屬性28
34任務驅動的優(yōu)化28
35實驗28
351實現(xiàn)28
3520稀疏近似的仿真29
353在分類上的應用30
354在聚類上的應用31
36結論和關于理論屬性的討論33
37參考文獻33
第4章單幅圖像超分辨率:從稀疏編碼到深度學習37
41通過具有稀疏先驗的深度網(wǎng)絡實現(xiàn)可靠的單幅圖像超分辨率37
411引言37
412相關研究38
413基于稀疏編碼網(wǎng)絡的圖像SR39
414用于可擴展SR的網(wǎng)絡級聯(lián)43
415真實場景下的魯棒SR45
416實現(xiàn)細節(jié)47
417實驗48
418主觀評價55
419結論和未來工作57
42學習單幅圖像超分辨率的混合深度網(wǎng)絡58
421引言58
422所提出的方法59
423實現(xiàn)細節(jié)61
424實驗結果61
425結論和未來工作65
43參考文獻66
第5章從雙層稀疏聚類到深度聚類69
51稀疏編碼和可判別聚類的聯(lián)合優(yōu)化框架69
511引言69
512模型表示70
513面向聚類的成本函數(shù)71
514實驗74
515結論79
516附錄79
52學習用于聚類的任務特定的深度架構80
521引言80
522相關研究81
523模型表示81
524深入觀察:DTAGnet的分層聚類84
525實驗結果85
526結論92
53參考文獻92
第6章信號處理95
61深度優(yōu)化的壓縮傳感技術95
611背景95
612壓縮傳感的端到端優(yōu)化模型96
613DOCS:前饋CS和聯(lián)合優(yōu)化CS97
614實驗99
615結論102
62用于語音去噪的深度學習103
621引言103
622用于光譜去噪的神經(jīng)網(wǎng)絡103
623實驗結果106
624結論和未來工作110
63參考文獻111
第7章維度約簡113
71帶有局部限制的邊緣化去噪字典學習113
711引言113
712相關研究114
713帶有局部限制的邊緣化去噪字典學習模型116
714實驗124
715結論131
716未來工作131
72學習用于哈希的深度∞編碼器131
721引言132
722ADMM算法133
723深度∞編碼器134
724用于哈希的深度∞連體網(wǎng)絡136
725圖像哈希實驗137
726結論142
73參考文獻142
第8章動作識別145
81跨視角動作識別的深度學習的視角不變特征145
811引言145
812相關工作146
813深度學習的視角不變特征147
814實驗152
82基于混合神經(jīng)網(wǎng)絡的深度攝像機動作識別157
821引言157
822相關工作158
823混合卷積遞歸神經(jīng)網(wǎng)絡159
824實驗163
83結論166
84參考文獻167
第9章風格識別和親屬關系理解171
91基于深度學習的風格分類171
911背景171
912棧式自編碼器的預備知識174
913風格中心化自編碼器174
914共識風格中心化自編碼器177
915實驗181
92可視化親屬關系理解185
921背景185
922相關工作186
923家族面部187
924正則化并行自編碼器188
925實驗結果192
93研究挑戰(zhàn)和未來工作198
94參考文獻198
第10章圖像除霧:改進技術203
101引言203
102回顧和任務描述204
1021霧建模和除霧方法204
1022RESIDE數(shù)據(jù)集205
103任務1:除霧恢復205
104任務2:用于檢測的除霧207
1041解決方案集1:增強級聯(lián)中的除霧和檢測模塊207
1042解決方案集2:域自適應MaskRCNN208
105結論210
106參考文獻211
第11章生物醫(yī)學圖像分析:自動肺癌診斷213
111引言213
112相關研究214
113方法論214
114實驗217
115結論219
116致謝220
117參考文獻220