機(jī)器視覺的應(yīng)用越來越廣泛，目前已經(jīng)成功的被應(yīng)用到機(jī)器人、自動駕駛、成像和監(jiān)控、視頻分析等諸多領(lǐng)域，甚至已將跟蹤用于武器裝備等高精尖分析項目中。本教材為讀者提供了重要的機(jī)器視覺分析及實現(xiàn)工具，全書內(nèi)容共9章。第1章為基礎(chǔ)鋪墊，主要包括機(jī)器視覺的相關(guān)概念，機(jī)器視覺的發(fā)展、基本任務(wù)、應(yīng)用領(lǐng)域與困難以及Marr視覺理論等；第2章至第5章主要為機(jī)器視覺中對圖像處理的核心環(huán)節(jié)，內(nèi)容包括機(jī)器視覺圖像處理基礎(chǔ)知識、相機(jī)成像、相機(jī)標(biāo)定以及圖像恢復(fù)（Shape from X）；第6章至第8章則開始重點介紹三維空間中機(jī)器視覺關(guān)鍵技術(shù)，即雙目立體視覺、結(jié)構(gòu)光三維視覺以及深度相機(jī)；最后第9章為機(jī)器視覺領(lǐng)域的應(yīng)用，包括機(jī)器學(xué)習(xí)在模式識別、圖像超分辨率重建，以及基于飛槳的百度智能車道線檢測、大場景三維重建、人體三維視覺掃描案例、三維機(jī)器視覺引導(dǎo)機(jī)器人打磨拋光、自主焊接、垃圾識別與分揀等目前較受關(guān)注的應(yīng)用項目。本書配套資源齊全，可提供全部源代碼、課程PPT以及二維碼演示視頻。 本書可作為普通高等院校人工智能類、計算機(jī)類、自動化類、電氣類、電子信息類等專業(yè)的本科及研究生學(xué)習(xí)機(jī)器視覺及計算機(jī)視覺課程的教材，也可以供從事人工智能、機(jī)器視覺和圖像處理等研究與應(yīng)用的科技人員參考。
本書作者將多年的工程項目開發(fā)案例寫入教材，引導(dǎo)讀者進(jìn)行機(jī)器視覺技術(shù)實際工程能力的鍛煉，本書在講解機(jī)器視覺工程技術(shù)知識的同時，也弘揚(yáng)了社會主義核心價值觀，堅定文化自信，推進(jìn)工程技術(shù)的改革創(chuàng)新。
本書的內(nèi)容的編寫除了保證內(nèi)容的先進(jìn)性，還需要考慮講解內(nèi)容的經(jīng)典性，使讀者容易理解講解內(nèi)容的原理、理論知識。成像模型和透視投影模型中借鑒《Robot Vision》的思路和方法。使學(xué)生掌握攝像機(jī)標(biāo)定、空間坐標(biāo)系、相機(jī)坐標(biāo)系等基礎(chǔ)知識和內(nèi)容。在案列的程序設(shè)計方面，采用Matlab和OpenCV (C )語言同時實現(xiàn)，加強(qiáng)學(xué)生對程序的編寫、算法實現(xiàn)的能力，從而增強(qiáng)其在機(jī)器視覺方面的軟件開發(fā)能力。此外，本書還增加了微軟Kinect，以及Intel Real Sense產(chǎn)品在機(jī)器學(xué)習(xí)方面的具體應(yīng)用實例
隨著計算機(jī)技術(shù)、光電子技術(shù)、信號處理理論與技術(shù)、人工智能理論與技術(shù)的發(fā)展，機(jī)器視覺得到了飛速的發(fā)展和廣泛的應(yīng)用，在科研和實際生產(chǎn)中發(fā)揮了重要的作用。機(jī)器視覺作為人工智能的重要分支，很大程度上代表了人工智能的發(fā)展水平，在人工智能領(lǐng)域的地位不言而喻。當(dāng)前我國社會對從事機(jī)器視覺、人工智能領(lǐng)域的人才需求量日益增加。
機(jī)器視覺課程是國內(nèi)外高校本科生和研究生的重要專業(yè)課，涉及信號處理、數(shù)字圖像處理、模式識別、人工智能和光電子學(xué)等領(lǐng)域，是一門交叉性很強(qiáng)的課程。本書作者將多年的工程項目開發(fā)案例寫入教材，引導(dǎo)讀者進(jìn)行機(jī)器視覺技術(shù)實際工程能力的鍛煉，培養(yǎng)學(xué)生探索未知、追求真理、勇攀科學(xué)高峰的責(zé)任感和使命感以及精益求精的大國工匠精神。
黨的二十大報告指出，開辟發(fā)展新領(lǐng)域新賽道，不斷塑造發(fā)展新動能新優(yōu)勢。本書在講解機(jī)器視覺工程技術(shù)知識的同時，也弘揚(yáng)了社會主義核心價值觀，堅定文化自信，推進(jìn)工程技術(shù)的改革創(chuàng)新。本書共8章。第1章為緒論。第2章為相機(jī)成像與標(biāo)定，包括射影幾何與幾何變換、相機(jī)標(biāo)定基礎(chǔ)、相機(jī)標(biāo)定方法、相機(jī)標(biāo)定的MATLAB與OpenCV實現(xiàn)、圓形板標(biāo)定方法、單相機(jī)與光源系統(tǒng)標(biāo)定及機(jī)器人手眼標(biāo)定。第3章為雙目立體視覺，包括雙目立體視覺原理、圖像特征點、立體匹配等內(nèi)容。第4章為面結(jié)構(gòu)光三維視覺，包括單幅相位提取方法、多幅相位提取方法和相位展開方法等內(nèi)容。第5章為線結(jié)構(gòu)光三維測量，主要包括線結(jié)構(gòu)光提取、單目與雙目線結(jié)構(gòu)光測量原理、三維人體掃描等內(nèi)容。第6章為深度相機(jī)三維測量，主要包括飛行時間測量方法、散斑結(jié)構(gòu)光測量方法、激光雷達(dá)測量方法等內(nèi)容。第7章為三維形狀恢復(fù)方法，主要包括光度立體、從明暗恢復(fù)形狀、從運(yùn)動恢復(fù)形狀、NeRF技術(shù)等。第8章為機(jī)器視覺案例應(yīng)用。除第1章外，本書大部分章節(jié)都配有應(yīng)用案例，包括案例的分析過程，實驗數(shù)據(jù)或程序代碼及運(yùn)行結(jié)果。
本書積累了作者多年來在機(jī)器視覺和人工智能領(lǐng)域的科研和教學(xué)成果，是一本面向工程專業(yè)的本科生與研究生的教材。書中包含經(jīng)典和最新的機(jī)器視覺案例。通過講解案例背景與原理、設(shè)計思路、實驗步驟、開發(fā)環(huán)境與工具以及實驗結(jié)果，學(xué)生能夠根據(jù)案例理解相關(guān)理論知識和內(nèi)容，同時也為教學(xué)提供了豐富可靠的工程應(yīng)用經(jīng)驗，有利于加強(qiáng)工程實際應(yīng)用的理論和知識的學(xué)習(xí)。本教材對從事機(jī)器視覺的科研人員和工程師也具有一定的參考作用。
本書由天津工業(yè)大學(xué)宋麗梅、朱新軍、李云鵬等編著，天津工業(yè)大學(xué)路士坤、趙于霄龍、徐寶林、王洪立、于海渤、馬坤、陳一凡、夏志磊、張佳磊、蘭天陽、佟宇、張宗陽、劉夢雅、王爍鵬、韓志強(qiáng)等參與了編寫工作。第1章由朱新軍編寫，第2章由李云鵬、路士坤等編寫，第3章由宋麗梅、趙于霄龍、徐寶林等編寫，第4章由宋麗梅、馬坤、陳一凡等編寫，第5章由李云鵬、王洪立、于海渤等編寫，第6章由朱新軍、夏志磊、張宗陽等編寫，第7章由朱新軍、張佳磊、蘭天陽等編寫，第8章由宋麗梅、佟宇等編寫。深圳奧比中光科技有限公司為本書的撰寫也提供了幫助。另外，本書還附有相應(yīng)的程序代碼（電子資源）和二維碼資源，讀者可以掃碼觀看演示過程和效果。
本書的出版得到了天津市教育科學(xué)規(guī)劃課題重點課題（BIE210025）的資助，是天津市重大科技成果科普化示范項目（22KPXMRC00090）的支撐教材。此外，本書也得到了天津市高等學(xué)校創(chuàng)新團(tuán)隊培養(yǎng)計劃（TD13-5036）和中國學(xué)位與研究生教育學(xué)會研究課題（2020MS1019）的資助。
由于作者水平有限，書中難免存在不妥之處，敬請讀者批評指正。
2012年獲得香港桑麻獎教金； 2014年獲得天津市5.1勞動獎?wù)拢?2015年入選天津市131一層次人才，獲得天津工業(yè)大學(xué)教學(xué)質(zhì)量一等獎； 2016年獲得天津市三八紅旗手稱號； 2019年獲得天津市工程專業(yè)學(xué)位優(yōu)秀指導(dǎo)教師獎、天津市工程專業(yè)學(xué)位碩士研究生優(yōu)秀學(xué)位論文指導(dǎo)教師獎、天津市工程專業(yè)學(xué)位優(yōu)秀教學(xué)成果獎一等獎，主編的《數(shù)字圖像處理基礎(chǔ)及工程應(yīng)用》獲得天津市工程專業(yè)學(xué)位優(yōu)秀教材二等獎； 2021年，主講課程入選天津市一流課程，正在參加國家一流課程的評選。
前言
第1章緒論
1.1機(jī)器視覺
1.1.1機(jī)器視覺的發(fā)展
1.1.2機(jī)器視覺與其他領(lǐng)域的關(guān)系
1.2機(jī)器視覺研究的任務(wù)、基本內(nèi)容、
應(yīng)用領(lǐng)域與困難
1.2.1任務(wù)
1.2.2基本內(nèi)容
1.2.3應(yīng)用領(lǐng)域
1.2.4困難
1.2.5機(jī)器視覺與人的視覺關(guān)系
1.3馬爾視覺理論
1.3.1視覺信息加工過程
1.3.2視覺系統(tǒng)研究的三個層次
1.3.3視覺系統(tǒng)處理的三個階段
1.4機(jī)器視覺與計算成像
1.4.1單光子成像
1.4.2單像素成像
1.4.3偏振成像
1.4.4光場成像
1.4.5事件相機(jī)
【本章小結(jié)】
【課后習(xí)題】
第2章相機(jī)成像與標(biāo)定
2.1射影幾何與幾何變換
2.1.1空間幾何變換
2.1.2三維到二維投影
2.2相機(jī)標(biāo)定基礎(chǔ)
2.2.1線性模型
2.2.2非線性模型
2.2.3空間坐標(biāo)系及變換
2.3相機(jī)標(biāo)定方法
2.3.1Tsai相機(jī)標(biāo)定
2.3.2DLT標(biāo)定
2.3.3張正友標(biāo)定
2.3.4PNP標(biāo)定
2.4相機(jī)標(biāo)定的MATLAB與OpenCV
實現(xiàn)
2.4.1MATLAB棋盤格標(biāo)定
2.4.2OpenCV棋盤格標(biāo)定
2.5圓形板標(biāo)定方法
2.5.1單目相機(jī)標(biāo)定
2.5.2雙目相機(jī)標(biāo)定
2.6單相機(jī)與光源系統(tǒng)標(biāo)定
2.6.1背景
2.6.2原理與方法
2.7案例-機(jī)器人手眼標(biāo)定
2.7.1機(jī)械臂坐標(biāo)系
2.7.2手眼標(biāo)定
【本章小結(jié)】
【課后習(xí)題】
第3章雙目立體視覺
3.1雙目立體視覺原理
3.1.1雙目立體視覺測深原理
3.1.2極線約束
3.2雙目立體視覺系統(tǒng)
3.2.1雙目立體視覺系統(tǒng)分析
3.2.2平行光軸的系統(tǒng)結(jié)構(gòu)
3.2.3非平行光軸的系統(tǒng)結(jié)構(gòu)
3.2.4雙目立體視覺的精度分析
3.3圖像特征點
3.3.1SIFT特征點
3.3.2SURF特征點
3.3.3ORB特征點
3.3.4基于深度學(xué)習(xí)的特征點
3.4立體匹配
3.4.1稀疏匹配
3.4.2稠密匹配
3.5案例-雙目立體視覺實現(xiàn)深度
測量
3.5.1相機(jī)標(biāo)定
3.5.2實驗圖片采集和矯正
3.5.3圓心坐標(biāo)提取
3.5.4視差和深度計算
3.5.5計算三維坐標(biāo)并三維輸出空間
位置
3.6雙目立體成像
3.6.1立體攝相機(jī)原理
3.6.2立體攝相機(jī)拍攝技術(shù)
3.7案例-雙目立體視覺三維測量
3.7.1相機(jī)標(biāo)定
3.7.2立體匹配
3.7.3三維重建
3.8案例-基于深度網(wǎng)絡(luò)的自由雙目
三維重建
3.8.1實驗系統(tǒng)
3.8.2立體匹配實驗
3.8.3點云拼接
【本章小結(jié)】
【課后習(xí)題】
第4章面結(jié)構(gòu)光三維視覺
4.1單幅相位提取方法
4.1.1窗傅里葉變換法
4.1.2窗傅里葉脊法
4.1.3二維連續(xù)小波變換法
4.1.4BEMD法
4.1.5VMD法
4.1.6變分圖像分解法
4.2多幅相位提取方法
4.3相位展開方法
4.3.1格雷碼
4.3.2外差多頻
4.3.3三頻相位展開方法
4.3.4雙互補(bǔ)相位編碼
4.4案例-基于條紋投影結(jié)構(gòu)光
三維掃描儀的牙模掃描
4.5案例-鞋底打磨
【本章小結(jié)】
【課后習(xí)題】
第5章線結(jié)構(gòu)光三維測量
5.1線結(jié)構(gòu)光提取
5.1.1線結(jié)構(gòu)光特點
5.1.2線結(jié)構(gòu)光中心線提取方法
研究
5.2單目線結(jié)構(gòu)光測量原理
5.2.1激光三角法簡介
5.2.2單目線結(jié)構(gòu)光的光平面標(biāo)定
方法
5.2.3系統(tǒng)設(shè)計與搭建
5.2.4結(jié)果與分析
5.3雙目線結(jié)構(gòu)光測量原理
5.3.1外極線約束原理
5.3.2系統(tǒng)設(shè)計與搭建
5.4三維人體掃描
5.4.1激光三角法應(yīng)用于三維人體
掃描儀
5.4.2三維人體掃描儀的系統(tǒng)構(gòu)成
5.4.3系統(tǒng)設(shè)計與搭建
5.5結(jié)構(gòu)光引導(dǎo)的大型壓力容器
內(nèi)部焊接系統(tǒng)
5.5.1系統(tǒng)總體方案
5.5.2結(jié)構(gòu)光視覺傳感系統(tǒng)設(shè)計
5.5.3系統(tǒng)軟件設(shè)計與搭建
5.5.4結(jié)果與分析
【本章小結(jié)】
【課后習(xí)題】
第6章深度相機(jī)三維測量
6.1飛行時間測量方法
6.1.1深度相機(jī)基本原理
6.1.2相位解調(diào)技術(shù)
6.2散斑結(jié)構(gòu)光測量方法
6.2.1雙目測量方法
6.2.2單目測量方法
6.3激光雷達(dá)測量方法
6.3.1激光雷達(dá)測距原理
6.3.2激光雷達(dá)三維形貌測量原理
6.3.3車載激光雷達(dá)
6.3.4激光雷達(dá)生成點云
6.4視覺SLAM
6.4.1經(jīng)典視覺SLAM
6.4.2視覺SLAM方法
6.5案例-RGB-D視覺SLAM地圖
重建
6.5.1前端算法設(shè)計
6.5.2后端算法設(shè)計
6.5.3實驗設(shè)計與結(jié)果分析
6.6案例-大場景三維重建
6.6.1三維激光掃描技術(shù)原理
6.6.2法如三維激光掃描儀使用基本
流程
6.6.3測量試驗與結(jié)果
6.7案例-基于平面約束的三維
重建
6.7.1技術(shù)原理
6.7.2準(zhǔn)備工作
6.7.3實驗結(jié)果
【本章小結(jié)】
【課后習(xí)題】
第7章三維形狀恢復(fù)方法
7.1光度立體
7.1.1典型算法介紹
7.1.2典型算法實現(xiàn)
7.1.3算法實例
7.2從明暗恢復(fù)形狀
7.2.1SFS問題的起源
7.2.2SFS問題的解決方案
7.2.3最小值方法
7.2.4演化方法
7.2.5局部分析法
7.2.6線性化方法
7.3從運(yùn)動恢復(fù)形狀
7.3.1光流與運(yùn)動場
7.3.2多視圖恢復(fù)形狀
7.4NeRF技術(shù)
7.4.1神經(jīng)輻射場簡介
7.4.2體素渲染
7.4.3位置編碼
7.4.4網(wǎng)絡(luò)結(jié)構(gòu)
7.4.5對比效果
7.5案例-從陰影恢復(fù)形狀
7.5.1三維缺陷自動檢測
7.5.2氣泡大小的自動檢測
7.5.3對生活物品的三維恢復(fù)
【本章小結(jié)】
【課后習(xí)題】
第8章機(jī)器視覺案例應(yīng)用
8.1Open3D應(yīng)用案例
8.2智能車道線檢測
8.3三維機(jī)器視覺引導(dǎo)機(jī)器人打磨
拋光
8.3.1雙目視覺導(dǎo)引機(jī)器人自主打磨
系統(tǒng)
8.3.2系統(tǒng)標(biāo)定實驗
8.3.3機(jī)器人自主打磨實驗
8.3.4視覺引導(dǎo)機(jī)器人自主打磨性能
評價
8.4三維機(jī)器視覺引導(dǎo)機(jī)器人自主
焊接
8.4.1系統(tǒng)組成部分
8.4.2系統(tǒng)標(biāo)定
8.4.3焊接點位提取和姿態(tài)解算
8.5機(jī)器視覺引導(dǎo)機(jī)器人垃圾識別
與分揀
8.5.1智能垃圾分揀系統(tǒng)設(shè)計方案
8.5.2垃圾分揀系統(tǒng)的標(biāo)定
8.5.3垃圾分類中的定位與目標(biāo)
檢測
8.5.4垃圾姿態(tài)檢測算法
8.5.5智能垃圾分揀系統(tǒng)測試
8.6車軸檢測
8.6.1圖像分析法
8.6.2全站儀
8.6.3加權(quán)LM算法
8.6.4車軸測量系統(tǒng)實驗
8.7云臺視覺跟蹤
8.7.1云臺視覺跟蹤設(shè)計方法原理
8.7.2實驗與分析
8.7.3云臺跟蹤系統(tǒng)測試
【本章小結(jié)】
參考文獻(xiàn)
書單推薦
