增強現(xiàn)實（Augmented Reality，AR）技術能夠將計算機中的虛擬物體或信息融入到真實世界中，從而能夠極大地增強人對現(xiàn)實世界的體驗和認知。AR將為未來的信息系統(tǒng)和信息世界提供一種革命性的操作界面，必將改變諸如產品設計、設備操作與管理、培訓學習等過程中的人機交互方式。近年來，AR已成為當今具影響力的新興技術之一，受到學術界和產業(yè)界的廣泛關注，被廣泛應用于工業(yè)、醫(yī)療、社交、游戲娛樂、軍事、教育等多個領域。本書是廣東省虛擬現(xiàn)實及可視化工程技術研究中心課題組在增強現(xiàn)實領域多年研究成果的總結，特別總結了在國家自然科學基金委員會資助下取得的成果（增強現(xiàn)實裝配操作空間的深度感知理論與方法研究，編號：51275094）。本書從增強現(xiàn)實人機交互的特點出發(fā)，系統(tǒng)闡述了增強現(xiàn)實交互方法的基本原理、模型、主要技術與典型應用的實現(xiàn)。著重論述基于視覺、外設、體感及觸摸屏四種典型人機交互方式的原理、方法與具體實現(xiàn)技術。主要內容包括：增強現(xiàn)實的理論基礎與設備；基于標識、數(shù)據(jù)手套、機器視覺、移動終端的增強現(xiàn)實交互方法；增強現(xiàn)實應用系統(tǒng)開發(fā)案例。本書注重理論與實踐相結合，五個與工業(yè)應用相關的增強現(xiàn)實典型應用案例均來源于實際科研項目，讀者可從中全面了解與掌握增強現(xiàn)實系統(tǒng)人機交互的設計思路、軟硬件構成、建模方法、關鍵技術實現(xiàn)方法、編程開發(fā)要點等。本書可作為增強現(xiàn)實領域從事科研、技術開發(fā)人員的參考書和培訓教材，也可供相關專業(yè)的研究生或高年級本科生使用。
增強現(xiàn)實（augmented reality）技術旨在增強人類的感知能力。隨著相關技術（如圖像圖形處理技術、模式識別技術、多媒體技術、信息技術等）以及顯示與跟蹤設備的高速發(fā)展，增強現(xiàn)實技術開始邁出實驗室，在醫(yī)療、交通、教育培訓、航天、工業(yè)維修等領域得到初步的應用。樂觀者甚至預言，不久的將來增強現(xiàn)實終端有可能會取代智能手機等移動終端，成為下一代智能計算與顯示平臺，在各個專業(yè)領域得到大規(guī)模應用，并將以顛覆性的方式改變人對世界的認知手段，從而極大地改變我們的生活方式。
增強現(xiàn)實（augmented reality）技術旨在增強人類的感知能力。隨著相關技術（如圖像圖形處理技術、模式識別技術、多媒體技術、信息技術等）以及顯示與跟蹤設備的高速發(fā)展，增強現(xiàn)實技術開始邁出實驗室，在醫(yī)療、交通、教育培訓、航天、工業(yè)維修等領域得到初步的應用。樂觀者甚至預言，不久的將來增強現(xiàn)實終端有可能會取代智能手機等移動終端，成為下一代智能計算與顯示平臺，在各個專業(yè)領域得到大規(guī)模應用，并將以顛覆性的方式改變人對世界的認知手段，從而極大地改變我們的生活方式。誠然，科學需要幻想，但新技術的進步和應用更需要腳踏實地的探索和實踐。本書作者團隊自1999年開始涉足虛擬現(xiàn)實領域的探索，并一直將重點聚焦在增強現(xiàn)實交互方法、交互設備及增強現(xiàn)實應用系統(tǒng)的開發(fā)上面。近年來，先后承擔了與增強現(xiàn)實研究相關的國家自然科學基金項目、國家科技重點研究項目、國家質量監(jiān)督檢驗檢疫總局項目、廣東省科技計劃項目、廣州市科技計劃項目和企業(yè)委托開發(fā)項目等一批研究開發(fā)項目，積累了一些增強現(xiàn)實技術研究和增強現(xiàn)實應用系統(tǒng)開發(fā)的經(jīng)驗。本書作者所在課題組還在廣東工業(yè)大學開設了虛擬現(xiàn)實技術原理與應用的研究生課程及適應不同專業(yè)本科生選修的走進虛擬現(xiàn)實課程。為了便于正在從事增強現(xiàn)實相關研究工作的研究生和技術研發(fā)人員更加深入地了解增強現(xiàn)實、開發(fā)增強現(xiàn)實應用系統(tǒng)，遂產生了編撰此書的想法。本書著眼于增強現(xiàn)實交互理論及其實現(xiàn)方法，對制約增強現(xiàn)實交互性水平的核心技術的注冊技術進行了較為系統(tǒng)的介紹和研究，包括增強現(xiàn)實注冊的空間坐標體系架構、理論模型、關鍵參數(shù)、求解方法、注冊穩(wěn)定性的影響要素分析等。此舉的目的是為讀者呈現(xiàn)增強現(xiàn)實注冊的完整模型，并幫助其把握增強現(xiàn)實注冊的核心問題和內在本質，為研究新的注冊算法和開發(fā)增強現(xiàn)實應用系統(tǒng)打下基礎。至于對增強現(xiàn)實交互方法的研究，本書力圖既呈現(xiàn)相對傳統(tǒng)的交互方法（如基于標志的交互），又呈現(xiàn)新的研究成果（如基于自然特征點的注冊、視覺交互等）。理論聯(lián)系實際是編著本書遵循的一個基本原則，因此結合作者團隊的應用開發(fā)項目，本書較為系統(tǒng)地將增強現(xiàn)實應用系統(tǒng)開發(fā)的基本思路、基本流程，以及如何應用本書的理論模型與算法等都一一呈現(xiàn)給讀者。希望讀者能夠通過本書掌握基本原理、理論與方法，并能夠從中學習到實際工程應用系統(tǒng)的開發(fā)技術，共同推動增強現(xiàn)實技術的創(chuàng)新與應用。增強現(xiàn)實交互方法與實現(xiàn)多年來，本書作者及所在課題組在虛擬現(xiàn)實與增強現(xiàn)實研究中獲得了多項研究基金和研究計劃項目的資助，其中有國家自然科學基金、廣東省科技計劃項目、廣州市科技計劃項目、國家質量監(jiān)督檢驗檢疫總局項目等資助。作者對這些研究基金和研究計劃給予的資助表示衷心的感謝！本書的研究成果得益于作者所在的課題團隊，需要特別感謝李晉芳副教授、胡兆勇副教授、莫建清講師、韋宇煒講師、楊賢助理研究員為營造良好團隊氛圍所起的帶頭作用！二十多年來，大家彼此尊重，崇尚學術，無論在何種境況下都保持了對虛擬現(xiàn)實/增強現(xiàn)實研究的專注，并積極將技術付諸應用。此外，還要感謝為團隊研究做出貢獻的歷屆博士生、碩士生！武漢理工大學陳定方教授、華中科技大學孫容磊教授等專家審閱了本書，他們對書稿的完善提出了很多寶貴建議，在此表示誠摯的謝意！感謝課題組朱騰博士后、梁劍斌博士、陳永彬博士、鄒序焱博士等在本書撰寫過程中提供的支持與幫助！他們?yōu)楸緯母惰髯龀隽撕艽蟮呢暙I。增強現(xiàn)實內容十分廣泛，涉及諸多學科領域，在發(fā)展過程中有些概念和提法還不統(tǒng)一，加之作者水平有限，書中不妥之處在所難免，懇請讀者批評指正！
何漢武，博士，教授，博士生導師。現(xiàn)任廣東工貿職業(yè)技術學院院長，廣東省虛擬現(xiàn)實及可視化工程技術研究中心主任，廣東工業(yè)大學現(xiàn)代制造與智能裝備虛擬仿真實驗教學中心主任。中國高校制造自動化研究會理事，中國人工智能學會智能制造專業(yè)委員會副主任。廣東省千百十人才工程省級培養(yǎng)對象。2007年廣東省南粵優(yōu)秀教師。主要從事數(shù)字化設計與制造，計算機視覺處理、增強現(xiàn)實交互方法與技術研究。聯(lián)合主持國家863項目1項，主持國家自然科學基金2項，主持廣東省科技項目及企業(yè)委托項目20多項。參加的機器人離線編程系統(tǒng)HOLPS及應用項目獲1995年國家科技進步三等獎。
第1章緒論（1）
1.1增強現(xiàn)實概述（1）
1.1.1增強現(xiàn)實的內涵（1）
1.1.2增強現(xiàn)實與虛擬現(xiàn)實的區(qū)別（2）
1.1.3增強現(xiàn)實的特點（4）
1.2增強現(xiàn)實人機交互技術所面臨的挑戰(zhàn)（4）
1.3增強現(xiàn)實在各行業(yè)的應用（9）
1.3.1增強現(xiàn)實在工業(yè)上的應用（9）
1.3.2增強現(xiàn)實在醫(yī)療上的應用（12）
1.3.3增強現(xiàn)實在娛樂游戲行業(yè)中的應用（13）
1.3.4增強現(xiàn)實在教育行業(yè)上的應用（14）
1.4本書重要內容（15）
參考文獻（16）
第2章增強現(xiàn)實的理論基礎與設備（22）
2.1增強現(xiàn)實的空間坐標系（22）
2.1.1成像坐標系（23）
2.1.2觀察坐標系（攝像機坐標系）（24）
2.1.3世界坐標系（26）
2.1.4虛擬世界坐標系（26）
2.2攝像機成像模型及其標定方法（26）
2.2.1攝像機成像模型（27）
2.2.2攝像機的標定方法（30）
2.3攝像機位姿估算（35）
2.4增強現(xiàn)實常用設備（37）
2.4.1攝像機（37）
2.4.2跟蹤傳感器（39）
2.4.3體感交互設備（41）
2.4.4可穿戴增強顯示設備（42）
參考文獻（45）
增強現(xiàn)實交互方法與實現(xiàn)目錄第3章基于標識的增強現(xiàn)實交互方法（47）
3.1基于標識的注冊算法原理（47）
3.2基于正方形標識的增強現(xiàn)實系統(tǒng)基本算法原理（49）
3.2.1正方形標識的設計思路（49）
3.2.2基于正方形標識的增強現(xiàn)實系統(tǒng)的坐標系定義（51）
3.2.3正方形標識的注冊算法原理（52）
3.2.4正方形標識的編碼識別（54）
3.2.5基于標識注冊算法的影響因素討論（56）
3.3基于正方形標識的交互方法與基本算法原理（60）
3.3.1常見的基于正方形標識的交互方法（61）
3.3.2基于正方形標識的交互方法基本算法原理（62）
3.4基于ARToolKit開發(fā)包的增強現(xiàn)實系統(tǒng)實現(xiàn)流程（65）
3.4.1ARToolKit開發(fā)包的工作原理（65）
3.4.2ARToolKit開發(fā)包的開發(fā)前準備（65）
3.4.3ARToolKit開發(fā)包的開發(fā)框架（67）
參考文獻（68）
第4章基于數(shù)據(jù)手套的增強現(xiàn)實交互方法（70）
4.1數(shù)據(jù)手套的功能分析（70）
4.1.1數(shù)據(jù)手套的基本參數(shù)（70）
4.1.2數(shù)據(jù)手套的標定方法（72）
4.2數(shù)據(jù)手套的交互語義模型（75）
4.2.1交互場景設計（75）
4.2.2交互語義模型（76）
4.3基于數(shù)據(jù)手套的手勢識別算法（81）
4.3.1操作意圖判斷的基本思路（81）
4.3.2靜態(tài)手勢識別（82）
4.3.3動態(tài)手勢識別（86）
參考文獻（88）
第5章基于機器視覺的交互方法（89）
5.1基礎理論與方法（89）
5.1.1徒手交互的基本處理流程（89）
5.1.2雙手交互的操作意圖判斷方法［1］（90）
5.2基于普通攝像頭的徒手交互方法與實現(xiàn)（93）
5.2.1復雜背景下的手部分割算法（93）
5.2.2基于關鍵特征點的手勢識別算法（102）
5.3基于Kinect傳感器的體感交互方法與實現(xiàn)（112）
5.3.1Kinect傳感器介紹（112）
5.3.2Kinect傳感器應用交互場景要求（113）
5.3.3Kinect SDK輸出的傳感數(shù)據(jù)（113）
5.3.4Kinect傳感器觀察坐標系（116）
5.3.5Kinect傳感器體感交互方法（116）
參考文獻（119）
第6章基于移動終端的增強現(xiàn)實交互方法（120）
6.1移動增強現(xiàn)實的場景重構與處理（120）
6.1.1場景重構數(shù)學模型（121）
6.1.2場景重構流程與誤差分析（123）
6.1.3場景點云重構（124）
6.2移動增強現(xiàn)實中的攝像機跟蹤（131）
6.2.1攝像機跟蹤框架（131）
6.2.2基于稀疏光流的攝像機姿態(tài)估計（134）
6.2.3基于語義SLAM的攝像頭跟蹤優(yōu)化（140）
6.2.4攝像機跟蹤的應用（150）
6.3移動增強現(xiàn)實的交互方法與實現(xiàn)（153）
6.3.1基于觸摸屏的交互（153）
6.3.2移動增強現(xiàn)實中的視覺式交互 （163）
參考文獻（170）
第7章增強現(xiàn)實人機交互應用系統(tǒng)開發(fā)（172）
7.1基于移動端的油泵拆裝訓練系統(tǒng)的設計與實現(xiàn)（172）
7.1.1案例的背景與意義（172）
7.1.2系統(tǒng)的設計方案（173）
7.1.3算法原理（180）
7.1.4系統(tǒng)實現(xiàn)（183）
7.2基于數(shù)據(jù)手套的車間布局系統(tǒng)的設計與實現(xiàn)（185）
7.2.1案例的背景與意義（185）
7.2.2系統(tǒng)硬件平臺設計（186）
7.2.3系統(tǒng)軟件平臺設計（188）
7.2.4車間布局的交互語義模型（193）
7.2.5車間布局系統(tǒng)的實現(xiàn)（194）
7.3正方形標識工具車間布局系統(tǒng)的設計與實現(xiàn)（197）
7.3.1案例的意義與背景（197）
7.3.2系統(tǒng)的設計方案（198）
7.3.3算法原理（204）
7.3.4系統(tǒng)實現(xiàn)（206）
7.4體感交互技術在虛擬機器人示教中的應用（209）
7.4.1案例的背景與意義（209）
7.4.2系統(tǒng)設計方案（210）
7.4.3系統(tǒng)實現(xiàn)（212）
7.4.4程序實現(xiàn)原理與要點（219）
7.5基于Hololens的布線輔助系統(tǒng)的設計與實現(xiàn)（223）
7.5.1案例的意義與背景（223）
7.5.2系統(tǒng)的設計方案（224）
7.5.3系統(tǒng)實現(xiàn)（228）
書單推薦
