目　　錄 第 1章　AR Foundation入門(mén)　1 1.1　增強(qiáng)現(xiàn)實(shí)技術(shù)概述　1 1.1.1　AR概述　1 1.1.2　AR技術(shù)　2 1.1.3　AR技術(shù)應(yīng)用　4 1.2　AR技術(shù)原理　4 1.2.1　位置追蹤　4 1.2.2　視覺(jué)校準(zhǔn)　6 1.2.3　慣性校準(zhǔn)　7 1.2.4　3D重建　7 1.3　AR Foundation概述　8 1.3.1　AR Foundation與ARCore/ARKit　8 1.3.2　AR Foundation 支持的功能　9 1.3.3　AR Foundation 功能概述　10 1.3.4　AR Foundation體系 架構(gòu)概述　11 1.3.5　基本術(shù)語(yǔ)　11 1.4　開(kāi)發(fā)環(huán)境準(zhǔn)備　13 1.5　Android開(kāi)發(fā)環(huán)境配置　16 1.5.1　插件導(dǎo)入　16 1.5.2　設(shè)置開(kāi)發(fā)環(huán)境　17 1.5.3　搭建基礎(chǔ)框架　19 1.5.4　AppController　21 1.5.5　運(yùn)行Helloworld　22 1.6　連接設(shè)備調(diào)試應(yīng)用　24 1.6.1　打開(kāi)手機(jī)USB調(diào)試　24 1.6.2　設(shè)置手機(jī)Wi-Fi調(diào)試　25 1.6.3　調(diào)試AR應(yīng)用　26 1.7　iOS開(kāi)發(fā)環(huán)境配置　27 1.7.1　插件導(dǎo)入　27 1.7.2　設(shè)置開(kāi)發(fā)環(huán)境　29 1.7.3　搭建基礎(chǔ)框架　30 1.7.4　AppController　32 1.7.5　生成并配置XCode工程　34 1.7.6　運(yùn)行Helloworld　36 第 2章　AR Foundation基礎(chǔ)　39 2.1　AR Foundation體系架構(gòu)　39 2.1.1　AR子系統(tǒng)概念　40 2.1.2　AR子系統(tǒng)使用　40 2.1.3　跟蹤子系統(tǒng)　41 2.2　AR Session & AR Session Origin　42 2.2.1　AR Session　42 2.2.2　AR Session Origin　44 2.3　可跟蹤對(duì)象　46 2.3.1　可跟蹤對(duì)象管理器　47 2.3.2　可跟蹤對(duì)象事件　47 2.3.3　管理可跟蹤對(duì)象　48 2.4　Session管理　49 第3章　平面檢測(cè)與參考點(diǎn)管理　51 3.1　平面管理　51 3.1.1　平面檢測(cè)　51 3.1.2　可視化平面　52 3.1.3　個(gè)性化渲染平面　52 3.1.4　開(kāi)啟與關(guān)閉平面檢測(cè)　55 3.1.5　顯示與隱藏已檢測(cè)平面　57 3.2　射線(xiàn)檢測(cè)　58 3.2.1　射線(xiàn)檢測(cè)概念　59 3.2.2　射線(xiàn)檢測(cè)詳解　60 3.3　點(diǎn)云與參考點(diǎn)　61 3.3.1　點(diǎn)云　61 3.3.2　參考點(diǎn)　63 3.4　平面分類(lèi)　66 第4章　圖像與物體檢測(cè)跟蹤　69 4.1　2D圖像檢測(cè)跟蹤　69 4.1.1　圖像跟蹤基本操作　69 4.1.2　圖像跟蹤啟用與禁用　71 4.1.3　多圖像跟蹤　72 4.1.4　運(yùn)行時(shí)創(chuàng)建參考圖像庫(kù)　76 4.1.5　運(yùn)行時(shí)切換參考圖像庫(kù)　76 4.1.6　運(yùn)行時(shí)添加參考圖像　78 4.2　3D物體檢測(cè)跟蹤　80 4.2.1　獲取參考物體空間 特征信息　81 4.2.2　掃描獲取物體空間特征 信息的注意事項(xiàng)　83 4.2.3　AR Tracked Object Manager　84 4.2.4　3D物體識(shí)別跟蹤基本操作　85 4.2.5　3D物體跟蹤啟用與禁用　86 4.2.6　多物體識(shí)別跟蹤　87 第5章　人臉檢測(cè)跟蹤　90 5.1　人臉檢測(cè)基礎(chǔ)　90 5.1.1　人臉檢測(cè)概念　90 5.1.2　人臉檢測(cè)技術(shù)基礎(chǔ)　91 5.2　人臉姿態(tài)與網(wǎng)格　92 5.2.1　人臉姿態(tài)　92 5.2.2　人臉網(wǎng)格　94 5.3　人臉區(qū)域與多人臉檢測(cè)　97 5.3.1　人臉區(qū)域　97 5.3.2　多人臉檢測(cè)　100 5.4　BlendShapes　101 5.4.1　BlendShapes基礎(chǔ)　102 5.4.2　BlendShapes技術(shù)原理　103 5.4.3　BlendShapes的使用　105 第6章　光影效果　108 6.1　光照基礎(chǔ)　108 6.1.1　光源　108 6.1.2　光與材質(zhì)的交互　109 6.1.3　3D渲染　110 6.2　光照估計(jì)　111 6.2.1　3D光照　111 6.2.2　光照一致性　112 6.2.3　光照估計(jì)操作　112 6.3　環(huán)境光反射　115 6.3.1　Cubemap　115 6.3.2　PBR渲染　116 6.3.3　Reflection Probe　117 6.3.4　紋理采樣過(guò)濾　118 6.3.5　使用Environment Probe　119 6.3.6　AR Environment Probe　Manager　121 6.3.7　性能優(yōu)化　123 6.4　使用內(nèi)置實(shí)時(shí)陰影　124 6.4.1　ShadowMap技術(shù)原理　124 6.4.2　使用實(shí)時(shí)陰影　125 6.4.3　陰影參數(shù)詳解　129 6.5　Projector陰影　130 6.5.1　ProjectorShadow　131 6.5.2　BlobShadow　133 6.5.3　參數(shù)詳解　134 6.6　Planar陰影　134 6.6.1　數(shù)學(xué)原理　135 6.6.2　代碼實(shí)現(xiàn)　136 6.7　偽陰影　140 6.7.1　預(yù)先制作陰影　141 6.7.2　一種精確放置物體的方法　142 第7章　持久化存儲(chǔ)與多人共享　145 7.1　錨點(diǎn)　145 7.1.1　錨點(diǎn)概述　145 7.1.2　使用錨點(diǎn)　146 7.1.3　云錨點(diǎn)　146 7.2　ARWorldMap　148 7.2.1　ARWorldMap概述　148 7.2.2　ARWorldMap實(shí)例　149 7.3　協(xié)作Session　152 7.3.1　協(xié)作Session概述　153 7.3.2　協(xié)作Session實(shí)例　156 7.3.3　使用協(xié)作Session的 注意事項(xiàng)　160 第8章　攝像機(jī)圖像獲取與 自定義渲染管線(xiàn)　162 8.1　獲取GPU圖像　162 8.1.1　獲取攝像頭原始圖像　162 8.1.2　獲取屏幕顯示圖像　163 8.2　獲取CPU圖像　165 8.2.1　AR攝像機(jī)圖像數(shù)據(jù)流　166 8.2.2　從CPU中獲取攝像頭圖像　166 8.3　邊緣檢測(cè)原理　173 8.3.1　卷積　173 8.3.2　Sobel算子　174 8.4　CPU圖像邊緣檢測(cè)實(shí)例　175 8.5　可編程渲染管線(xiàn)　178 第9章　肢體動(dòng)捕與遮擋　181 9.1　2D人體姿態(tài)估計(jì)　181 9.1.1　人體骨骼關(guān)鍵點(diǎn)檢測(cè)　181 9.1.2　使用2D人體姿態(tài)估計(jì)　182 9.2　3D人體姿態(tài)估計(jì)　185 9.2.1　使用3D人體姿態(tài) 估計(jì)的方法　185 9.2.2　使用3D人體姿態(tài) 估計(jì)實(shí)例　194 9.3　人形遮擋　195 9.3.1　人形遮擋原理　196 9.3.2　人形遮擋實(shí)現(xiàn)　198 第 10章　攝像機(jī)與手勢(shì)操作　202 10.1　場(chǎng)景操作　202 10.1.1　場(chǎng)景操作方法　202 10.1.2　場(chǎng)景操作實(shí)例　203 10.2　同時(shí)開(kāi)啟前后攝像頭　204 10.3　環(huán)境交互　207 10.3.1　射線(xiàn)檢測(cè)　207 10.3.2　手勢(shì)檢測(cè)　208 10.4　手勢(shì)控制　210 10.4.1　單物體操控　210 10.4.2　多物體場(chǎng)景操控單
物體對(duì)象　212 10.4.3　多物體操控　215 10.4.4　物體操控模塊　218 第 11章　3D音視頻　220 11.1　3D音頻　220 11.1.1　3D聲場(chǎng)原理　221 11.1.2　聲波與雙耳間的互動(dòng)　222 11.1.3　頭部關(guān)聯(lián)傳導(dǎo)函數(shù)　223 11.1.4　頭部轉(zhuǎn)動(dòng)與聲音位置　223 11.1.5　早期反射和混音　223 11.1.6　聲音遮擋　224 11.1.7　指向性　225 11.1.8　Ambisonics　225 11.1.9　下載Resonance
Audio SDK　226 11.1.10　導(dǎo)入SDK　226 11.1.11　Resonance Audio
components　226 11.1.12　使用共振音頻　227 11.1.13　Room effects　230 11.1.14　Resonance Audio API　231 11.2　3D視頻　232 11.2.1　Video Player組件　232 11.2.2　3D視頻播放實(shí)現(xiàn)　234 第 12章　設(shè)計(jì)原則　238 12.1　移動(dòng)AR帶來(lái)的挑戰(zhàn)　238 12.1.1　用戶(hù)必須移動(dòng)　238 12.1.2　要求手持設(shè)備　239 12.1.3　要求必須將手機(jī)
放在臉前　239 12.1.4　操作手勢(shì)　239 12.1.5　用戶(hù)必須打開(kāi)App　240 12.2　移動(dòng)AR設(shè)計(jì)準(zhǔn)則　240 12.2.1　有用或有趣　240 12.2.2　虛擬和真實(shí)的混合
必須有意義　240 12.2.3　移動(dòng)限制　241 12.2.4　心理預(yù)期與維度轉(zhuǎn)換　241 12.2.5　環(huán)境影響　241 12.2.6　視覺(jué)效果　242 12.2.7　UI設(shè)計(jì)　242 12.2.8　沉浸式交互　243 12.3　移動(dòng)AR設(shè)計(jì)指南　243 12.3.1　環(huán)境　244 12.3.2　用戶(hù)細(xì)節(jié)　245 12.3.3　虛擬內(nèi)容　247 12.3.4　交互　252 12.3.5　視覺(jué)設(shè)計(jì)　256 12.3.6　真實(shí)感　260 第 13章　性能優(yōu)化　264 13.1　移動(dòng)平臺(tái)性能優(yōu)化基礎(chǔ)　264 13.1.1　影響性能的主要因素　264 13.1.2　AR常用調(diào)試方法　265 13.1.3　Unity Profiler　266 13.1.4　Frame Debugger　270 13.2　Unity Profiler使用　271 13.2.1　CPU使用情況分析器　272 13.2.2　渲染情況分析器　274 13.2.3　內(nèi)存使用情況分析器　274 13.2.4　物理分析器　275 13.2.5　音視頻分析器　276 13.2.6　UI分析器　277 13.2.7　全局光照分析器　277 13.3　性能優(yōu)化的一般步驟　278 13.3.1　收集運(yùn)行數(shù)據(jù)　278 13.3.2　分析運(yùn)行數(shù)據(jù)　279 13.3.3　確定問(wèn)題原因　281 13.4　移動(dòng)設(shè)備性能優(yōu)化　283 13.5　渲染優(yōu)化　284 13.5.1　渲染流程　284 13.5.2　CPU瓶頸　285 13.5.3　GPU瓶頸　288 13.6　代碼優(yōu)化　289 13.6.1　內(nèi)存管理　289 13.6.2　垃圾回收　290 13.6.3　對(duì)象池　293 13.7　UI優(yōu)化　294 13.7.1　UI Drawcall優(yōu)化　295 13.7.2　動(dòng)靜分離　295 13.7.3　圖片優(yōu)化　296 參考文獻(xiàn)　298