第 1篇 基礎(chǔ)篇 第　1章 機(jī)器視覺基礎(chǔ)　2
1.1 機(jī)器視覺基本概念　2 1.1.1　機(jī)器視覺與計(jì)算機(jī)視覺的關(guān)系　2 1.1.2　機(jī)器視覺的特點(diǎn)與優(yōu)勢(shì)　3 1.1.3　機(jī)器視覺系統(tǒng)　4
1.2 機(jī)器視覺系統(tǒng)分類　6 1.2.1　按操作方式分類　6 1.2.2　按性能分類　8
1.3 機(jī)器視覺發(fā)展史　10 1.3.1　國(guó)外機(jī)器視覺發(fā)展史　10 1.3.2　國(guó)內(nèi)機(jī)器視覺發(fā)展史　11
1.4 機(jī)器視覺市場(chǎng)分析　13 1.4.1　銷售額分析　13 1.4.2　專利分析　14 1.4.3　企業(yè)分析　14
1.5 機(jī)器視覺應(yīng)用場(chǎng)景　16 1.5.1　機(jī)器視覺典型應(yīng)用　16 1.5.2　機(jī)器視覺應(yīng)用行業(yè)　19
1.6 小結(jié)　23
習(xí)題與思考　23 第　2章 機(jī)器視覺算法基礎(chǔ)　25
2.1 圖像生成與表示　25 2.1.1　物體成像　25 2.1.2　圖像量化　26 2.1.3　數(shù)字圖像格式　27
2.2 圖像的基本變換　31 2.2.1　線性變換　31 2.2.2　灰度直方圖　32 2.2.3　圖像二值化　33 2.2.4　灰度的窗口變換　33 2.2.5　圖像的幾何變換　34
2.3 圖像濾波與增強(qiáng)　40 2.3.1　圖像灰度修正　40 2.3.2　圖像平滑　41 2.3.3　中值濾波　41 2.3.4　傅里葉變換　41 2.3.5　頻率域?yàn)V波　44
2.4 圖像形態(tài)學(xué)及常見的圖像處理工具　46 2.4.1　腐蝕與膨脹　46 2.4.2　開運(yùn)算與閉運(yùn)算　47 2.4.3　細(xì)化　47 2.4.4　其他常見的圖像處理工具　48
2.5 BLOB分析　54 2.5.1　BLOB分析的主要功能　54 2.5.2　BLOB分析其他基礎(chǔ)及結(jié)果　55
2.6 2D圖像匹配　61 2.6.1　圖像標(biāo)定　61 2.6.2　相關(guān)性分析方法　64 2.6.3　幾何特征匹配　66
2.7 3D感知與目標(biāo)識(shí)別　68 2.7.1　從2D圖像中得到3D信息　68 2.7.2　采用單目和透視縮放技術(shù)獲取深度信息　69 2.7.3　3D感知和匹配的理論基礎(chǔ)　74 2.7.4　3D模板和匹配　75
2.8 小結(jié)　78
習(xí)題與思考　78 第　2篇 機(jī)器視覺系統(tǒng)核心部件 第3章　工業(yè)相機(jī)　80
3.1 工業(yè)相機(jī)基礎(chǔ)知識(shí)　80 3.1.1　CCD和CMOS傳感器芯片　80 3.1.2　相機(jī)的靶面尺寸和分辨率　82 3.1.3　相機(jī)的幀率/行頻　82 3.1.4　相機(jī)的快門速度和曝光方式　82 3.1.5　相機(jī)的增益和白平衡　83 3.1.6　相機(jī)的觸發(fā)模式　83 3.1.7　相機(jī)的接口　83 3.1.8　相機(jī)的取圖協(xié)議　84 3.1.9　相機(jī)選型　85 3.1.10　不同品牌相機(jī)介紹　86 3.1.11　相機(jī)文檔/手冊(cè)解讀　86 3.1.12　圖像采集卡　88
3.2 面陣相機(jī)　88 3.2.1　面陣相機(jī)概述　89 3.2.2　面陣相機(jī)工作原理　89
3.3 線陣相機(jī)　90 3.3.1　線陣相機(jī)概述　90 3.3.2　線陣相機(jī)工作原理　90
3.4 三維視覺傳感器　93 3.4.1　三維視覺傳感器的分類　93 3.4.2　三維視覺傳感器產(chǎn)品介紹　94
3.5 小結(jié)　97
習(xí)題與思考　97 第4章　工業(yè)鏡頭　98
4.1 鏡頭的基礎(chǔ)知識(shí)　98 4.1.1　鏡頭的焦距　98 4.1.2　鏡頭的光圈　98 4.1.3　鏡頭的景深　99 4.1.4　鏡頭的工作距離和視野　99 4.1.5　視覺檢測(cè)像素精度的計(jì)算公式　100 4.1.6　鏡頭的畸變及畸變校正　100 4.1.7　鏡頭接口　100 4.1.8　鏡頭選型　101 4.1.9　鏡頭對(duì)照表　101
4.2 FA鏡頭　103
4.3 遠(yuǎn)心鏡頭　104 4.3.1　常見的遠(yuǎn)心鏡頭類型　104 4.3.2　遠(yuǎn)心鏡頭的應(yīng)用場(chǎng)合　105
4.4 線掃描鏡頭　106
4.5 特種鏡頭　107 4.5.1　短波紅外鏡頭　107 4.5.2　長(zhǎng)波紅外鏡頭　107 4.5.3　微距鏡頭　107 4.5.4　360°鏡頭　108 4.5.5　內(nèi)側(cè)360°鏡頭　108
4.6 小結(jié)　109
習(xí)題與思考　109 第5章　機(jī)器視覺光源　110
5.1 光源在視覺系統(tǒng)中的重要性　110
5.2 光源的基礎(chǔ)知識(shí)　110 5.2.1　LED光源特點(diǎn)　110 5.2.2　直射光和漫射光　111 5.2.3　鏡面反射和漫反射　111 5.2.4　明視野和暗視野　112 5.2.5　色彩的互補(bǔ)色和增強(qiáng)色　113
5.3 常用光源、定制光源及光源控制器　114 5.3.1　常用光源　114 5.3.2　定制光源　118 5.3.3　光源控制器　119
5.4 光源選型和照明方式　120 5.4.1　現(xiàn)場(chǎng)需求　120 5.4.2　實(shí)物測(cè)試　120
5.5 光源實(shí)驗(yàn)臺(tái)架　122
5.6 小結(jié)　122
習(xí)題與思考　123 第6章　視覺傳感器　124
6.1 視覺傳感器概述　124
6.2 視覺傳感器的特點(diǎn)　125 6.2.1　VDSR視覺傳感器介紹　125 6.2.2　功能特點(diǎn)　126 6.2.3　VDSR視覺傳感器的參數(shù)　126 6.2.4　VDSR視覺傳感器接口介紹　126
6.3 視覺傳感器軟件介紹　127 6.3.1　VDSR視覺傳感器軟件主界面　127 6.3.2　檢測(cè)工具介紹　128 6.4　視覺傳感器軟件的多工具聯(lián)合使用方法　136 6.4.1　VDSR視覺傳感器軟件的邏輯工具　137 6.4.2　VDSR視覺傳感器軟件脫機(jī)配置輸出　138 6.4.3　VDSR視覺傳感器通信　138
6.5 小結(jié)　139
習(xí)題與思考　139 第7章　智能相機(jī)　140
7.1 智能相機(jī)的系統(tǒng)組成　140 7.1.1　處理器及操作系統(tǒng)　141 7.1.2　相機(jī)　141 7.1.3　視覺軟件　141 7.1.4　系統(tǒng)連接　141
7.2 功能特點(diǎn)和系列介紹　141 7.2.1　功能特點(diǎn)　141 7.2.2　智能相機(jī)系列介紹　142
7.3 智能相機(jī)軟件介紹　142 7.3.1　配置保存　143 7.3.2　圖像管理　143 7.3.3　任務(wù)管理　144 7.3.4　工具管理　144
7.4 相機(jī)工具　145 7.4.1　相機(jī)設(shè)置工具　145 7.4.2　圖像保存工具　146 7.4.3　預(yù)處理工具　146
7.5 標(biāo)定校準(zhǔn)　147 7.5.1　相機(jī)標(biāo)定校準(zhǔn)　147 7.5.2　標(biāo)定校準(zhǔn)工具　147
7.6 視覺工具　148 7.6.1　幾何定位　149 7.6.2　斑塊定位　151 7.6.3　圓弧工具　155 7.6.4　直線工具　157 7.6.5　直線卡尺　159 7.6.6　顏色識(shí)別　161 7.6.7　輪廓缺陷　164
7.7 邏輯控制　165 7.7.1　條件執(zhí)行　165 7.7.2　條件分支　166 7.7.3　循環(huán)工具　167
7.8 系統(tǒng)工具　168 7.8.2　生成文本　169 7.8.3　保存數(shù)據(jù)　170 7.8.4　接收文本　171 7.8.5　輸出數(shù)據(jù)　171 7.8.6　I/O工具　172 7.8.7　ModbusTCP　174 7.8.8　TCP客戶端　174 7.8.9　串口通信　175 7.8.10　與華數(shù)機(jī)器人的接口　176 7.8.11　三菱MX通信　178
7.9 小結(jié)　180
習(xí)題與思考　180 第3篇　機(jī)器視覺高級(jí)技術(shù)與工業(yè)應(yīng)用案例 第8章　機(jī)器視覺系統(tǒng)設(shè)計(jì)方法　182
8.1 性能指標(biāo)定義與計(jì)算方法　182 8.1.1　相機(jī)分辨率　182 8.1.2　像素分辨率　182 8.1.3　缺陷分辨率　182 8.1.4　軟件測(cè)量分辨率　182 8.1.5　系統(tǒng)測(cè)量分辨率　183
8.2 精度分析方法　183 8.2.1　測(cè)量精度與重復(fù)精度　183 8.2.2　影響系統(tǒng)重復(fù)性的因素　185
8.3 機(jī)器視覺系統(tǒng)設(shè)計(jì)的難點(diǎn)　186
8.4 機(jī)器視覺系統(tǒng)設(shè)計(jì)流程　187
8.5 小結(jié)　190
習(xí)題與思考　190 第9章　視覺定位與對(duì)位　191
9.1 鋰電池視覺定位案例　191 9.1.1　案例背景　191 9.1.2　視覺定位需求　191 9.1.3　視覺系統(tǒng)總體實(shí)施方案　192 9.1.4　硬件選型與安裝　192 9.1.5　軟件實(shí)現(xiàn)　194 9.1.6　其他案例　197
9.2 手機(jī)攝像頭對(duì)位貼合案例　197 9.2.1　案例背景　197 9.2.2　視覺對(duì)位需求　197 9.2.3　視覺系統(tǒng)總體實(shí)施方案　198 9.2.4　硬件選型與安裝　198 9.2.5　軟件應(yīng)用　199 9.2.6　結(jié)果數(shù)據(jù)輸出　206 9.2.7　其他案例　206
9.3 小結(jié)　207
習(xí)題與思考　207 第　10章 機(jī)器人視覺引導(dǎo)　208
10.1 機(jī)器人視覺引導(dǎo)基礎(chǔ)　208 10.1.1　機(jī)器人2D視覺引導(dǎo)　208 10.1.2　機(jī)器人3D視覺引導(dǎo)　210
10.2 螺絲機(jī)視覺定位引導(dǎo)案例　215 10.2.1　案例背景　215 10.2.2　視覺檢測(cè)需求　215 10.2.3　視覺系統(tǒng)總體實(shí)施方案　215 10.2.4　硬件選型與安裝　216 10.2.5　軟件應(yīng)用　217 10.2.6　結(jié)果數(shù)據(jù)輸出　221 10.2.7　其他案例　223
10.3 金屬工件單目3D定位引導(dǎo)案例　224 10.3.1　案例背景　224 10.3.2　視覺檢測(cè)需求　224 10.3.3　硬件選型與安裝　224 10.3.4　軟件應(yīng)用　225 10.3.5　其他案例　230
10.4 小結(jié)　230
習(xí)題與思考　230 第　11章 視覺測(cè)量　231
11.1 測(cè)量算法　231 11.1.1　尺寸測(cè)量　231 11.1.2　形狀分析　232 11.2　手機(jī)攝像頭底座金屬框2D尺寸測(cè)量案例　233 11.2.1　案例背景　233 11.2.3　視覺系統(tǒng)總體實(shí)施方案　234 11.2.4　硬件選型與安裝　234 11.2.5　軟件應(yīng)用　235 11.2.6　結(jié)果數(shù)據(jù)輸出　239
11.3 金屬標(biāo)定塊平面度檢測(cè)案例　240 11.3.1　案例背景　240 11.3.2　視覺檢測(cè)需求　241 11.3.3　視覺系統(tǒng)總體實(shí)施方案　241 11.3.4　硬件選型　241 11.3.5　軟件應(yīng)用　241 11.3.6　結(jié)果數(shù)據(jù)輸出　248 11.3.7　其他案例　248
11.4 小結(jié)　248
習(xí)題與思考　248 第　12章 視覺讀碼與識(shí)別　249
12.1 電池視覺條碼讀取案例　249 12.1.1　案例背景　249 12.1.2　視覺檢測(cè)需求　249 12.1.3　硬件選型與安裝　249 12.1.4　軟件應(yīng)用　250 12.1.5　一維碼讀取案例配置　251 12.1.6　二維碼讀取案例配置　255 12.1.7　其他案例　258
12.2 小結(jié)　258
習(xí)題與思考　259 第　13章 視覺檢測(cè)　260
13.1 背光模組外觀缺陷檢測(cè)案例　260 13.1.1　案例背景　260 13.1.2　視覺檢測(cè)需求　260 13.1.3　視覺應(yīng)用優(yōu)勢(shì)　261 13.1.4　硬件選型　261 13.1.5　案例場(chǎng)景　261 13.1.6　方案檢測(cè)流程　262 13.1.7　結(jié)果數(shù)據(jù)輸出　265 13.1.8　其他案例　265
13.2 模具保護(hù)器案例　265 13.2.1　案例背景　265 13.2.2　視覺檢測(cè)需求　266 13.2.3　視覺應(yīng)用優(yōu)勢(shì)　266 13.2.4　硬件選型　267 13.2.5　軟件應(yīng)用　267 13.2.6　結(jié)果數(shù)據(jù)輸出　273 13.2.7　其他應(yīng)用案例　274
13.3 小結(jié)　274
習(xí)題與思考　274 第　14章 顏色分析　275
14.1 色彩系統(tǒng)　275 14.1.1　RGB色彩系統(tǒng)　275 14.1.2　CMY色彩系統(tǒng)　276 14.1.3　HIS色彩系統(tǒng)　277 14.1.4　電視信號(hào)的YIQ與YUV系統(tǒng)　279 14.1.5　普通機(jī)器視覺系統(tǒng)的顏色支持和功能　279
14.2 色差測(cè)量的原理　284 14.2.1　色差定義　285 14.2.2　顏色的混色系統(tǒng)表示　285 14.2.3　CIE1931顏色空間　285 14.2.4　CIE1976均勻顏色空間　285 14.2.5　色差公式　286
14.3 圓餅玩具色差檢測(cè)案例　288 14.3.1　案例背景　288 14.3.2　視覺檢測(cè)需求　289 14.3.3　硬件選型　289 14.3.4　軟件應(yīng)用　290 14.3.5　結(jié)果數(shù)據(jù)輸出　294
14.4 色度與亮度測(cè)量的原理　294
14.5 鍵盤色度與亮度檢測(cè)案例　296 14.5.1　視覺檢測(cè)需求　296 14.5.2　技術(shù)指標(biāo)　296 14.5.3　案例總體方案　296 14.5.4　其他案例　301
14.6 小結(jié)　301
習(xí)題與思考　301 第　15章 深度學(xué)習(xí)技術(shù)及應(yīng)用　302
15.1 引言　302 15.1.1　基本概念與相互關(guān)系　302 15.1.2　機(jī)器學(xué)習(xí)的步驟與模型評(píng)價(jià)指標(biāo)　303
15.2 深度學(xué)習(xí)模型介紹　305 15.2.1　深度學(xué)習(xí)的起源——生物神經(jīng)網(wǎng)絡(luò)　305 15.2.2　神經(jīng)元模型　306 15.2.3　人工神經(jīng)網(wǎng)絡(luò)　307 15.2.4　深度神經(jīng)網(wǎng)絡(luò)　309
15.3 BP神經(jīng)網(wǎng)絡(luò)與梯度下降法　310 15.3.1　手寫數(shù)字識(shí)別BP神經(jīng)網(wǎng)絡(luò)　310 15.3.2　前向傳播計(jì)算　312
15.4 卷積神經(jīng)網(wǎng)絡(luò)及LeNet-5網(wǎng)絡(luò)　314 15.4.1　卷積神經(jīng)網(wǎng)絡(luò)　314 15.4.2　手寫體數(shù)字識(shí)別模型LeNet-5網(wǎng)絡(luò)　315 15.4.3　網(wǎng)絡(luò)訓(xùn)練與測(cè)試　318
15.5 深度學(xué)習(xí)框架　319
15.6 深度學(xué)習(xí)在機(jī)器視覺中的應(yīng)用　319 15.6.1　視覺智能的任務(wù)與挑戰(zhàn)　319 15.6.2　深度學(xué)習(xí)與視覺智能　320 15.6.3　深度學(xué)習(xí)在機(jī)器視覺領(lǐng)域的應(yīng)用概述　321 15.7　基于深度學(xué)習(xí)的鋼管缺陷檢測(cè)案例　323 15.7.1　案例背景　323 15.7.2　鋼管外觀缺陷檢測(cè)需求　324 15.7.3　視覺系統(tǒng)總體實(shí)施方案　325 15.7.4　硬件選型　325 15.7.5　模型訓(xùn)練與控制軟件配置　326 15.7.6　結(jié)果數(shù)據(jù)輸出　333
15.8 小結(jié)　333
習(xí)題與思考　333 參考文獻(xiàn)　334