目錄
前言
第1章 緒論 1
1.1 物體6D位姿估計(jì)的基本概念 1
1.2 物體6D位姿估計(jì)的研究現(xiàn)狀 2
1.2.1 傳統(tǒng)6D位姿估計(jì)方法 3
1.2.2 基于深度學(xué)習(xí)的6D位姿估計(jì)方法 4
1.3 反光低紋理物體位姿估計(jì)的挑戰(zhàn) 8
1.4 本書的主要內(nèi)容與結(jié)構(gòu) 9
參考文獻(xiàn) 12
第2章 視覺6D位姿估計(jì)基礎(chǔ) 15
2.1 空間幾何變換 15
2.1.1 齊次坐標(biāo) 15
2.1.2 射影變換 16
2.1.3 仿射變換 17
2.1.4 歐式空間剛體變換 17
2.2 相機(jī)模型 19
2.2.1 像素坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換 19
2.2.2 圖像坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換 20
2.2.3 相機(jī)坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換 22
2.3 相機(jī)標(biāo)定及校正 22
2.3.1 相機(jī)內(nèi)外參標(biāo)定 23
2.3.2 相機(jī)畸變校正 25
2.3.3 相機(jī)內(nèi)參標(biāo)定實(shí)例 26
2.4 “手眼”標(biāo)定及坐標(biāo)轉(zhuǎn)換 30
2.4.1 手眼標(biāo)定 30
2.4.2 坐標(biāo)轉(zhuǎn)換 31
2.5 PnP問題和RANSAC算法 32
2.5.1 PnP 問題 33
2.5.2 隨機(jī)采樣一致性 34
2.6 位姿估計(jì)方法的有效性評價(jià) 35
2.6.1 魯棒性評價(jià)指標(biāo)：正確率 35
2.6.2 精度評價(jià)指標(biāo)：旋轉(zhuǎn)與平移誤差 36
參考文獻(xiàn) 36
第3章 基于圖像特征點(diǎn)匹配的6D位姿估計(jì) 38
3.1 圖像特征與特征匹配 38
3.1.1 圖像特征(點(diǎn)） 38
3.1.2 圖像特征點(diǎn)提取——以SIFT和LIFT特征點(diǎn)為例 39
3.1.3 圖像特征點(diǎn)匹配 43
3.2 基于圖像特征點(diǎn)匹配的6D位姿估計(jì)方法 44
3.2.1 通過求解相對位姿計(jì)算絕對位姿 44
3.2.2 通過求解PnP問題直接求解絕對位姿 46
3.3 圖像特征點(diǎn)誤匹配剔除 47
3.3.1 誤匹配帶來的挑戰(zhàn) 47
3.3.2 傳統(tǒng)的誤匹配去除方法 48
3.3.3 基于三角拓?fù)渑c概率采樣的誤匹配去除方法 49
3.4 位姿估計(jì)實(shí)例 51
參考文獻(xiàn) 53
第4章 基于判別式網(wǎng)絡(luò)的低紋理物體6D位姿估計(jì) 54
4.1 基于多模態(tài)表征的6D位姿初始估計(jì)方法 54
4.1.1 單目提升融合網(wǎng)絡(luò)架構(gòu) 55
4.1.2 3D幾何表征回歸模塊 55
4.1.3 2D幾何表征回歸模塊 57
4.1.4 損失函數(shù)和2D-3D匹配 60
4.1.5 位姿估計(jì)實(shí)驗(yàn)分析 61
4.2 基于長短程感知配準(zhǔn)網(wǎng)絡(luò)的位姿精細(xì)估計(jì)方法 63
4.2.1 區(qū)域級關(guān)鍵點(diǎn)熱力圖構(gòu)建 64
4.2.2 目標(biāo)級初始位姿渲染圖構(gòu)建 65
4.2.3 全局級像素位置編碼 66
4.2.4 基于長短程感知配準(zhǔn)網(wǎng)絡(luò)的位姿精細(xì)估計(jì)網(wǎng)絡(luò)設(shè)計(jì) 66
4.2.5 分割引導(dǎo)的域特征自適應(yīng)編碼 68
4.2.6 基于偏移門控機(jī)制的域特征長程感知配準(zhǔn) 69
4.2.7 基于關(guān)鍵點(diǎn)潛在區(qū)域短程感知的位姿求解 71
4.2.8實(shí)驗(yàn)驗(yàn)證 72
參考文獻(xiàn) 77
第5章 基于低層幾何特征的反光低紋理物體6D位姿估計(jì) 79
5.1 基于空間圓錐求交的橢圓特征6D位姿估計(jì) 79
5.1.1 基于輪廓梯度分類的橢圓檢測 79
5.1.2 基于圓錐求交的橢圓位姿估計(jì) 85
5.1.3位姿估計(jì)實(shí)驗(yàn) 91
5.2 基于頻域相關(guān)性分析的一般平面特征位姿估計(jì) 96
5.2.1 基于先驗(yàn)水平集的平面圖形檢測 97
5.2.2 基于相關(guān)性分析的位姿初始估計(jì) 100
5.2.3 基于LM算法的位姿迭代求解 102
5.2.4位姿估計(jì)實(shí)驗(yàn) 104
參考文獻(xiàn) 106
第6章 基于高層幾何特征的反光低紋理物體6D位姿估計(jì) 108
6.1 基于直線族特征的6D位姿估計(jì) 108
6.1.1 基于規(guī)整化直線檢測子的無紋理零件特征提取 108
6.1.2 基于對比度不變線束描述子的無紋理零件邊緣輪廓匹配 113
6.1.3 基于直線族特征的零件位姿估計(jì) 121
6.1.4 位姿估計(jì)實(shí)驗(yàn) 123
6.2 基于虛擬幾何點(diǎn)匹配的6D位姿估計(jì) 133
6.2.1 基于區(qū)域融合的多光源幾何特征增強(qiáng) 133
6.2.2 基于虛擬幾何點(diǎn)匹配的位姿估計(jì) 138
6.2.3 位姿估計(jì)實(shí)驗(yàn) 142
參考文獻(xiàn) 148
第7章 基于生成式觀察空間的反光低紋理物體6D位姿估計(jì) 150
7.1 觀察空間——機(jī)器人視覺系統(tǒng)的構(gòu)型空間 151
7.1.1 觀察空間的定義 151
7.1.2 觀察空間的界定與估計(jì)方法 154
7.1.3 觀察空間的工業(yè)場景應(yīng)用 159
7.2 生成式觀察空間與“特征_圖像”模式識別方法 161
7.2.1 生成式觀察空間模型 162
7.2.2 “特征-圖像”模式識別方法 165
7.2.3 觀察空間的主觀位姿表達(dá)方式 167
7.3 基于VAE生成式觀察空間的單目標(biāo)6D位姿估計(jì)方法 172
7.3.1 面向6D位姿估計(jì)的變分自編碼器 173
7.3.2 基于VAE的反光低紋理物體生成式觀察空間 175
7.3.3 基于“特征-圖像”方法的6D位姿估計(jì) 183
7.3.4 實(shí)驗(yàn)驗(yàn)證 193
7.4 透視誤差與多目標(biāo)場景的6D位姿估計(jì) 199
7.4.1 “透視誤差”現(xiàn)象 200
7.4.2 局部觀察空間 211
7.4.3 基于“監(jiān)督式生成模型”的位姿估計(jì)算法 213
7.4.4 實(shí)驗(yàn)驗(yàn)證 217
參考文獻(xiàn) 223
第8章 反光低紋理金屬零件6D位姿估計(jì)數(shù)據(jù)集構(gòu)建 227
8.1 均勻化視角分布的全自動圖像采樣系統(tǒng) 228
8.1.1 基于黃金分割策略的均勻化圖像采樣方法 228
8.1.2 多設(shè)備聯(lián)動協(xié)同自動化拍攝控制系統(tǒng)設(shè)計(jì) 232
8.2 基于ArUco靶標(biāo)的快速全自動精確真值標(biāo)注方法 233
8.3 RT-Less數(shù)據(jù)集內(nèi)容及測試 237
8.3.1 RT-Less的訓(xùn)練集 238
8.3.2 RT-Less的測試集 239
8.3.3 數(shù)據(jù)集使用方法 240
8.3.4 RT-Less數(shù)據(jù)集測試實(shí)驗(yàn)及結(jié)果分析 241
參考文獻(xiàn) 244
彩圖