繼智能手機(jī)、平板電腦之后，虛擬現(xiàn)實(shí)（VR）與增強(qiáng)現(xiàn)實(shí)（AR）有潛力成為下一個(gè)重大通用計(jì)算平臺(tái)。
從當(dāng)前來(lái)看，更多的公司選擇從VR領(lǐng)域進(jìn)行切入，各大研究公司、投行針對(duì)VR領(lǐng)域的研究報(bào)告也層出不窮，相比之下，AR領(lǐng)域卻稍顯平淡。
騰訊科技旗下VR次元綜合多家研究機(jī)構(gòu)更為細(xì)化的報(bào)告，發(fā)布全球首份綜合性AR報(bào)告，在這份報(bào)告中，我們將對(duì)AR的發(fā)展趨勢(shì)、未來(lái)的挑戰(zhàn)、應(yīng)用領(lǐng)域、可能創(chuàng)造和顛覆的市場(chǎng)進(jìn)行分析和預(yù)測(cè)。
最后，感謝亮風(fēng)臺(tái)研發(fā)總監(jiān)吳侖博士撰寫了AR工作原理、關(guān)鍵技術(shù)的相關(guān)章節(jié)。
第一章 AR與VR
本章導(dǎo)讀：在本章中，我們將重點(diǎn)解讀AR與VR在技術(shù)方面的區(qū)別，AR硬件類型、發(fā)展簡(jiǎn)史等。
VR和AR有著不同的應(yīng)用領(lǐng)域、技術(shù)和市場(chǎng)機(jī)會(huì)，因此區(qū)分兩者之間的不同至關(guān)重要。
AR是將計(jì)算機(jī)生成的虛擬世界套在現(xiàn)實(shí)世界上，即把數(shù)字想象世界加在真實(shí)世界之上。最典型的AR設(shè)備就是谷歌眼鏡。這種智能眼鏡將觸控板、攝像頭以及LED顯示器結(jié)合起來(lái)，通過(guò)顯示器，用戶可以聯(lián)網(wǎng)，并在視野內(nèi)使用地圖、電子郵件等服務(wù)。其他知名的AR產(chǎn)品還有微軟的HoloLens，創(chuàng)業(yè)公司則以Magic Leap為典型代表。
AR具備三個(gè)主要特征：
1、融合虛擬和現(xiàn)實(shí)：與VR技術(shù)不同的是，AR技術(shù)不會(huì)把使用者與真實(shí)世界隔開(kāi)，而是將計(jì)算機(jī)生成的虛擬物體和信息疊加到真實(shí)世界的場(chǎng)景中來(lái)，以實(shí)現(xiàn)對(duì)現(xiàn)實(shí)場(chǎng)景更直觀深入的了解和解讀，在有限的時(shí)間和有限的場(chǎng)景中實(shí)現(xiàn)與現(xiàn)實(shí)相關(guān)知識(shí)領(lǐng)域的理解。增強(qiáng)的信息可以是與真實(shí)物體相關(guān)的非幾何信息，如視頻、文字，也可以是幾何信息，如虛擬的三維物體和場(chǎng)景。
2、實(shí)時(shí)交互：通過(guò)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的交互接口設(shè)備，人們以自然方式與增強(qiáng)現(xiàn)實(shí)環(huán)境進(jìn)行交互操作，這種交互要滿足實(shí)時(shí)性。
3、三維注冊(cè)：“注冊(cè)”（這里也可以解釋為跟蹤和定位）指的是將計(jì)算機(jī)產(chǎn)生的虛擬物體與真實(shí)環(huán)境進(jìn)行一一對(duì)應(yīng)，且用戶在真實(shí)環(huán)境中運(yùn)動(dòng)時(shí)，也將繼續(xù)維持正確的對(duì)準(zhǔn)關(guān)系。
VR是讓用戶置身于一個(gè)想象出來(lái)或者重新復(fù)制的世界，或是模擬真實(shí)的世界。VR領(lǐng)域主要的產(chǎn)品包括Oculus、索尼PlayStation VR、HTC Vive和三星Gear VR。（有關(guān)VR更詳細(xì)的內(nèi)容，可以參考VR次元發(fā)布的德銀VR報(bào)告和高盛VR報(bào)告）
區(qū)分VR和AR的一個(gè)簡(jiǎn)單的方法是：VR需要用一個(gè)不透明的頭戴設(shè)備完成虛擬世界里的沉浸體驗(yàn)，而AR需要清晰的頭戴設(shè)備看清真實(shí)世界和重疊在上面的信息和圖像。
AR發(fā)展簡(jiǎn)史
AR技術(shù)的起源可追溯到“VR之父”Morton Heilig在上個(gè)世紀(jì)五、六十年代所發(fā)明的 Sensorama Stimulator。
Heilig是一名哲學(xué)家、電影制作人和發(fā)明家。他利用他在電影拍攝上經(jīng)驗(yàn)設(shè)計(jì)出了Sensorama Stimulator，并在1962年獲得了專利。
Sensorama Stimulator使用圖像、聲音、風(fēng)扇、香味和震動(dòng)，讓用戶感受在紐約布魯克林街道上騎著摩托車風(fēng)馳電掣的場(chǎng)景。盡管這臺(tái)機(jī)器大且笨重，但在當(dāng)時(shí)卻非常超前。令人遺憾的是，Heilig沒(méi)有能夠獲得所需的資金支持讓這個(gè)發(fā)明商業(yè)化。
AR歷史上的下一個(gè)重大里程碑是第一臺(tái)頭戴式AR設(shè)備的發(fā)明。1968年，哈佛副教授Ivan Sutherland跟他的學(xué)生Bob Sproull合作發(fā)明了Sutherland稱之為“終極顯示器”的AR設(shè)備。使用這個(gè)設(shè)備的用戶可以通過(guò)一個(gè)雙目鏡看到一個(gè)簡(jiǎn)單三維房間模型，用戶還可以使用視覺(jué)和頭部運(yùn)動(dòng)跟蹤改變視角。盡管用戶交互界面是頭戴的，然而系統(tǒng)主體部分卻又大又重，不能戴在用戶頭上，只能懸掛在用戶頭頂?shù)奶旎ò迳?。這套系統(tǒng)也因此被命名為“達(dá)摩克利斯之劍”。
盡管這些早期的發(fā)明屬于AR的范疇，但實(shí)際上，直到1990年，波音公司研究員Tom Caudell才創(chuàng)造了“AR”這個(gè)術(shù)語(yǔ)。Caudell和他的同事設(shè)計(jì)了一個(gè)輔助飛機(jī)布線系統(tǒng)，用于代替笨重的示例圖版。這個(gè)頭戴設(shè)備將布線圖或者裝配指南投射到特殊的可再用方板上。這些AR投影可以通過(guò)計(jì)算機(jī)快速輕松地更改，機(jī)械師再也不需要手工重新改造或者制作示例圖版。
大約在1998年，AR第一次出現(xiàn)在大眾平臺(tái)上。當(dāng)時(shí)有電視臺(tái)在橄欖球賽電視轉(zhuǎn)播上使用AR技術(shù)將得分線疊加到屏幕中的球場(chǎng)上。此后，AR技術(shù)開(kāi)始被用于天氣預(yù)報(bào)——天氣預(yù)報(bào)制作者將計(jì)算機(jī)圖像疊加到現(xiàn)實(shí)圖像和地圖上面。從那時(shí)起，AR真正地開(kāi)始了其爆炸式的發(fā)展。
2000年，Bruce H. Thomas在澳大利亞南澳大學(xué)可穿戴計(jì)算機(jī)實(shí)驗(yàn)室開(kāi)發(fā)了第一款手機(jī)室外AR游戲——ARQuake。2008年左右，AR開(kāi)始被用于地圖等手機(jī)應(yīng)用上。2013年，谷歌發(fā)布了谷歌眼鏡，2015年，微軟發(fā)布HoloLens，這是一款能將計(jì)算機(jī)生成圖像（全息圖）疊加到用戶周圍世界中的頭戴式AR設(shè)備，也正是隨著這兩款產(chǎn)品的出現(xiàn)，更多的人開(kāi)始了解AR。
AR硬件概覽
AR硬件發(fā)展的驅(qū)動(dòng)力源于計(jì)算機(jī)處理器、顯示技術(shù)、傳感器、移動(dòng)網(wǎng)絡(luò)速率、電池續(xù)航等多個(gè)領(lǐng)域的技術(shù)進(jìn)步。
目前能夠確定的AR硬件類型有以下幾種：
? 手持設(shè)備
? 固定式AR系統(tǒng)
? 空間增強(qiáng)現(xiàn)實(shí)（SAR）系統(tǒng)
? 頭戴式顯示器（HMD）
? 智能眼鏡
? 智能透鏡
手持設(shè)備
智能手機(jī)正是手持設(shè)備的代表，這些設(shè)備正在變得越來(lái)越好——顯示器分辨率越來(lái)越高，處理器越來(lái)越強(qiáng)，相機(jī)成像質(zhì)量越來(lái)越好，傳感器越來(lái)越多，提供著加速計(jì)、GPS、羅盤等等功能……這些成為了天然的AR平臺(tái)。盡管手持設(shè)備是消費(fèi)者接觸AR應(yīng)用最為方便的形式，但由于大部分手持設(shè)備不具備可穿戴功能，因此用戶無(wú)法獲得雙手解放的AR體驗(yàn)。
固定式AR系統(tǒng)
俄羅斯一家Topshop內(nèi)的固定式AR衣櫥
固定式AR系統(tǒng)適用于固定場(chǎng)所中需要更大顯示屏或更高分辨率的場(chǎng)景。與移動(dòng)AR設(shè)備不同的是，這些極少移動(dòng)的系統(tǒng)可以搭載更加先進(jìn)的相機(jī)系統(tǒng)，因此能夠更加精確地識(shí)別人物和場(chǎng)景。此外，顯示單元往往能呈現(xiàn)出更加真實(shí)的畫面，而且受陽(yáng)光或照明等環(huán)境因素影響較小。
空間增強(qiáng)現(xiàn)實(shí)（SAR）系統(tǒng)
大眾公司的SAR系統(tǒng)
與其它所有系統(tǒng)不同的是，空間增強(qiáng)現(xiàn)實(shí)（SAR）系統(tǒng)的虛擬內(nèi)容直接投影在現(xiàn)實(shí)世界中。SAR系統(tǒng)往往固定在自然中。任何物理表面，如墻、桌、泡沫、木塊甚至是人體都可以成為可交互的顯示屏。隨著投影設(shè)備尺寸、成本、功耗的降低以及3D投影的不斷進(jìn)步，各種全新的交互及顯示形式正在不斷涌現(xiàn)。SAR系統(tǒng)最大的優(yōu)點(diǎn)在于，現(xiàn)實(shí)世界的反射在這里更加精確，即虛擬信息能夠以實(shí)際的比例和大小呈現(xiàn)在眼前。此外在觀看人數(shù)較多時(shí)，內(nèi)容也能看清，這個(gè)案例可以用來(lái)實(shí)現(xiàn)同步辦公。
頭戴式顯示器（HMD）
佳能的混合現(xiàn)實(shí)頭戴設(shè)備
HMD代表著另一種快速發(fā)展的AR硬件類型。HMD由一個(gè)頭戴裝置（如頭盔），以及與之搭配的一塊或多塊（微型）顯示屏組成。HMD將現(xiàn)實(shí)世界和虛擬物體的畫面重疊顯示在用戶視野中。換而言之，用戶不會(huì)直接看到現(xiàn)實(shí)，看到的是現(xiàn)實(shí)的增強(qiáng)視頻畫面。如果顯示屏只覆蓋用戶的一只眼睛，這樣的HMD稱為單眼HMD，另一種是兩只眼睛都看顯示屏的雙眼HMD。先進(jìn)的HMD通常能夠搭載具有很高自由度的傳感器，用戶可以在前后、上下、左右、俯仰、偏轉(zhuǎn)和滾動(dòng)六個(gè)方向自由移動(dòng)頭部。該系統(tǒng)因此能夠?qū)崿F(xiàn)虛擬信息與現(xiàn)實(shí)世界的貼合，并根據(jù)用戶頭部移動(dòng)作做相應(yīng)的畫面調(diào)整。
智能眼鏡
Vuzix M100智能眼鏡
消費(fèi)電子行業(yè)的許多公司認(rèn)為，智能眼鏡將會(huì)成為智能手機(jī)后下一大全球熱賣消費(fèi)產(chǎn)品。這些AR設(shè)備實(shí)際上是帶有屏幕、相機(jī)和話筒的眼鏡。根據(jù)這一概念，用戶的現(xiàn)實(shí)世界視角被AR設(shè)備截取，增強(qiáng)后的畫面重新顯示在用戶視野中。AR畫面透過(guò)眼鏡鏡片，或者通過(guò)眼鏡鏡片反射，從而進(jìn)入眼球。智能眼鏡技術(shù)最為突出的例子是谷歌眼鏡和Vuzix M100。不過(guò)，目前開(kāi)發(fā)中的最令人激動(dòng)的智能眼鏡要數(shù)Atheer One——該智能眼鏡配有3D景深傳感器，用戶可以實(shí)際控制眼前顯示的虛擬內(nèi)容。
智能透鏡
華盛頓大學(xué)開(kāi)發(fā)的透鏡中含有金屬電路結(jié)構(gòu)
智能眼鏡絕不是故事的結(jié)局。越來(lái)越多的研究投入到能顯示AR畫面的智能透鏡上；微軟、谷歌等公司也正忙于宣布自己的智能透鏡項(xiàng)目。
智能透鏡的理念是在傳統(tǒng)透鏡中集成控制電路、通信電路、微型天線、LED及其它光電組件，從而形成一套功能系統(tǒng)。未來(lái)或許可以用成千上萬(wàn)顆LED直接在眼前形成畫面，從而讓透鏡變成顯示屏。然而，還必須克服一系列難題，比如說(shuō)如何給透鏡供電，如何保證人眼不受傷害等等。
在這一章的最后，我們簡(jiǎn)單看下AR技術(shù)會(huì)應(yīng)用到哪些領(lǐng)域：
考古：在古代遺跡上顯示遺跡原本的樣子。
藝術(shù)：跟蹤眼球移動(dòng)并將這些移動(dòng)顯示在屏幕上，幫助殘疾人進(jìn)行藝術(shù)創(chuàng)作。
商業(yè)：顯示產(chǎn)品的多種定制選項(xiàng)或者補(bǔ)充信息。
教育：將文本、圖像、視頻和音頻疊加到學(xué)生周圍的實(shí)時(shí)環(huán)境中。
時(shí)尚：顯示不同的妝容和發(fā)型用在一個(gè)人身上的效果。
游戲：運(yùn)用真實(shí)世界環(huán)境讓用戶在游戲中進(jìn)行互動(dòng)，獲得不同的體驗(yàn)。
醫(yī)藥：通過(guò)虛擬X光將病人的內(nèi)臟器官投射到他們的皮膚上。
軍事：使用AR眼鏡向士兵展示戰(zhàn)場(chǎng)中出現(xiàn)的人和物體，并附上相關(guān)信息，以幫助士兵避開(kāi)潛在的危險(xiǎn)。
導(dǎo)航：將道路和街道的名字跟其他相關(guān)信息一起標(biāo)記到現(xiàn)實(shí)地圖中，或者在擋風(fēng)玻璃上顯示目的地方向、天氣、地形、路況、交通信息，提示潛在危險(xiǎn)。
體育：顯示橄欖球場(chǎng)的得分線、高爾夫球的飛行路線和冰球移動(dòng)的軌跡。
電視：在天氣預(yù)報(bào)中顯示天氣視覺(jué)效果和圖像。
第二章 AR的工作原理
本章導(dǎo)讀：在本章中，我們將解讀AR的工作原理、關(guān)鍵技術(shù)，并以SixthSense（第六感）AR系統(tǒng)為例，更直觀地還原AR工作方式。
AR介于VR和真實(shí)世界之間，VR創(chuàng)造逼真的虛擬世界，AR則將圖形、聲音、觸感和氣味添加到真實(shí)的世界中。
在介紹AR的工作原理之前，我們先通過(guò)一個(gè)例子，讓大家有一個(gè)簡(jiǎn)單的認(rèn)識(shí)。
在2009年2月的TED大會(huì)上，帕蒂?梅斯和普拉納夫?米斯特萊展示了他們研發(fā)的AR系統(tǒng)。該系統(tǒng)屬于麻省理工學(xué)院媒體實(shí)驗(yàn)室流體界面小組的研究成果之，他們稱之為SixthSense（第六感）。它依靠眾多AR系統(tǒng)中常見(jiàn)的一些基本元件來(lái)工作：攝像頭、小型投影儀、智能手機(jī)和鏡子。
這些元件通過(guò)一根類似繩索的儀器串連起來(lái)，然后戴在佩戴者的脖子上。用戶還會(huì)在手指上戴上四個(gè)不同顏色的特殊指套，這些指套可以用來(lái)操縱投影儀投射的圖像。
SixthSense設(shè)備利用簡(jiǎn)單的、現(xiàn)成的元件來(lái)組成AR系統(tǒng)，它的投影儀可以將任何平面變成一個(gè)互動(dòng)的顯示屏。SixthSense設(shè)備利用攝像頭和鏡子來(lái)捕捉周圍的環(huán)境，然后將這種圖片傳給手機(jī)，然后將這些信息從投影儀投射到用戶面前的任何平面上，不管這種平面是一個(gè)手腕，一面墻，還是一個(gè)人。由于用戶將攝像頭佩戴在胸前，因此SixthSense設(shè)備能夠增強(qiáng)他所看到的一切。例如，如果他在一個(gè)雜貨店里挑選了一罐湯，SixthSense設(shè)備將能夠搜索這罐湯的相關(guān)信息，例如成分、價(jià)格和營(yíng)養(yǎng)價(jià)值甚或用戶評(píng)論，然后將它們投射到平面上。
利用手指上的指套，用戶可以在投射的信息上執(zhí)行各種操作，這些操作將會(huì)被攝像頭捕捉到，然后通過(guò)手機(jī)來(lái)處理。如果他希望了解這罐湯的更多信息，例如與之競(jìng)爭(zhēng)的同類產(chǎn)品，那么他可以用手指與投射畫面進(jìn)行互動(dòng)，從而獲取更多的信息。SixthSense設(shè)備還能夠識(shí)別一些復(fù)雜的手勢(shì)，例如你在手腕上畫一個(gè)圓圈，SixthSense設(shè)備就能夠投射一款手表來(lái)顯示當(dāng)前的時(shí)間。
AR的系統(tǒng)結(jié)構(gòu)
一個(gè)典型的AR系統(tǒng)結(jié)構(gòu)
一個(gè)典型的AR系統(tǒng)結(jié)構(gòu)由虛擬場(chǎng)景生成單元、透射式頭盔顯示器、頭部跟蹤設(shè)備和交互設(shè)備構(gòu)成。其中虛擬場(chǎng)景生成單元負(fù)責(zé)虛擬場(chǎng)景的建模、管理、繪制和其它外設(shè)的管理；透射式頭盔顯示器負(fù)責(zé)顯示虛擬和現(xiàn)實(shí)融合后的信號(hào)；頭部跟蹤設(shè)備跟蹤用戶視線變化；交互設(shè)備用于實(shí)現(xiàn)感官信號(hào)及環(huán)境控制操作信號(hào)的輸入輸出。
首先透射式頭盔顯示器采集真實(shí)場(chǎng)景的視頻或者圖像，傳入后臺(tái)的處理單元對(duì)其進(jìn)行分析和重構(gòu)，并結(jié)合頭部跟蹤設(shè)備的數(shù)據(jù)來(lái)分析虛擬場(chǎng)景和真實(shí)場(chǎng)景的相對(duì)位置，實(shí)現(xiàn)坐標(biāo)系的對(duì)齊并進(jìn)行虛擬場(chǎng)景的融合計(jì)算；交互設(shè)備采集外部控制信號(hào)，實(shí)現(xiàn)對(duì)虛實(shí)結(jié)合場(chǎng)景的交互操作。系統(tǒng)融合后的信息會(huì)實(shí)時(shí)地顯示在頭盔顯示器中，展現(xiàn)在人的視野中。
AR的關(guān)鍵技術(shù)
目前AR技術(shù)的技術(shù)難點(diǎn)在于：精確場(chǎng)景的理解、重構(gòu)和高清晰度、大視場(chǎng)的顯示技術(shù)。
1、對(duì)現(xiàn)實(shí)場(chǎng)景的理解和重構(gòu)
在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，首先要解決“是什么”的問(wèn)題，也就是要理解、知道場(chǎng)景中存在什么樣的對(duì)象和目標(biāo)。第二要解決“在哪里”的問(wèn)題，也就是要對(duì)場(chǎng)景結(jié)構(gòu)進(jìn)行分析，實(shí)現(xiàn)跟蹤定位和場(chǎng)景重構(gòu)。
物體的檢測(cè)和識(shí)別技術(shù)
物體檢測(cè)和識(shí)別
物體檢測(cè)和識(shí)別的目的是發(fā)現(xiàn)并找到場(chǎng)景中的目標(biāo)，這是場(chǎng)景理解中的關(guān)鍵一環(huán)。廣義的物體檢測(cè)和識(shí)別技術(shù)是基于圖像的基本信息（各類型特征）和先驗(yàn)知識(shí)模型（物體信息表示），通過(guò)相關(guān)的算法實(shí)現(xiàn)對(duì)場(chǎng)景內(nèi)容分析的過(guò)程。在增強(qiáng)現(xiàn)實(shí)領(lǐng)域，常見(jiàn)的檢測(cè)和識(shí)別任務(wù)有，人臉檢測(cè)、行人檢測(cè)、車輛檢測(cè)、手勢(shì)識(shí)別、生物識(shí)別、情感識(shí)別、自然場(chǎng)景識(shí)別等。
目前，通用的物體檢測(cè)和識(shí)別技術(shù)，根據(jù)不同的思路可以分為兩種：一種是從分類和檢測(cè)的角度出發(fā)，通過(guò)機(jī)器學(xué)習(xí)算法訓(xùn)練得到某一類對(duì)象的一般性特征，從而生成數(shù)據(jù)模型。這種方法檢測(cè)或者識(shí)別出的目標(biāo)不是某一個(gè)具體的個(gè)體，而是一類對(duì)象，如汽車、人臉、植物等。這種識(shí)別由于是語(yǔ)義上的檢測(cè)和識(shí)別，所以并不存在精確的幾何關(guān)系，也更適用于強(qiáng)調(diào)增強(qiáng)輔助信息，不強(qiáng)調(diào)位置的應(yīng)用場(chǎng)景中。如檢測(cè)人臉后顯示年齡、性別等。另外一種識(shí)別是從圖像匹配的角度出發(fā)，數(shù)據(jù)庫(kù)中保存了圖像的特征以及對(duì)應(yīng)的標(biāo)注信息，在實(shí)際使用過(guò)程中，通過(guò)圖像匹配的方法找到最相關(guān)的圖像，從而定位環(huán)境中的目標(biāo)，進(jìn)一步得到識(shí)別圖像和目標(biāo)圖像的精確位置，這種識(shí)別適用于需要對(duì)環(huán)境進(jìn)行精確跟蹤的應(yīng)用場(chǎng)景。
就現(xiàn)階段而言，識(shí)別檢測(cè)技術(shù)的難點(diǎn)之一是技術(shù)的碎片化。這一方面是由于每一類對(duì)象都會(huì)有其獨(dú)有的特征，而不同特征的提取和處理都需要實(shí)現(xiàn)一一對(duì)應(yīng)，這對(duì)識(shí)別檢測(cè)是一個(gè)巨大的挑戰(zhàn)。另一方面，圖像本身還受到噪聲、尺度、旋轉(zhuǎn)、光照、姿態(tài)等因素的影響。近幾年來(lái)，隨著深度學(xué)習(xí)技術(shù)的不斷成熟，檢測(cè)和識(shí)別方法也越來(lái)越統(tǒng)一，而性能也在不斷提高中。
跟蹤定位技術(shù)
跟蹤技術(shù)的方法可以分為基于硬件和基于視覺(jué)兩大類?；谟布O(shè)備的三維跟蹤定位方法在實(shí)現(xiàn)跟蹤定位的過(guò)程中使用了一些特殊的測(cè)量?jī)x器或設(shè)備。常用的設(shè)備包括機(jī)械式跟蹤器、電磁式跟蹤器、超聲波跟蹤器、慣性跟蹤器以及光學(xué)跟蹤等。光學(xué)跟蹤和慣性跟蹤是比較常用的兩種硬件跟蹤方式，HTC Vive就是采用了光學(xué)跟蹤和慣性跟蹤兩種硬件來(lái)定位頭部的位置。使用硬件設(shè)備構(gòu)成的跟蹤系統(tǒng)大多是開(kāi)環(huán)系統(tǒng)，跟蹤精確取決于硬件設(shè)備自身的性能，其算法的擴(kuò)展性要差一些，且成本相對(duì)較高。
HTC Vive 采用光學(xué)和慣性跟蹤設(shè)備
視覺(jué)跟蹤方法具備更強(qiáng)的擴(kuò)展性，其系統(tǒng)多為閉環(huán)系統(tǒng)，更依賴于優(yōu)化算法來(lái)解決跟蹤精度問(wèn)題。相比于上述基于硬件設(shè)備的跟蹤方法，計(jì)算機(jī)視覺(jué)跟蹤方法提供了一種非接觸式的、精確的、低成本的解決方法，但是基于視覺(jué)的方法受限于圖像本身，噪聲、尺度、旋轉(zhuǎn)、光照、姿態(tài)變化等因素都會(huì)對(duì)跟蹤精度造成較大的影響，因此更好地處理這些影響因素，研發(fā)魯棒性強(qiáng)的算法就成為下一步AR技術(shù)的研究重點(diǎn)。
根據(jù)數(shù)據(jù)的生成方式，視覺(jué)跟蹤技術(shù)的算法可以分為兩種，一種是基于模板匹配的方式，預(yù)先對(duì)需要跟蹤的target進(jìn)行訓(xùn)練，在跟蹤階段通過(guò)不斷的跟預(yù)存訓(xùn)練數(shù)據(jù)進(jìn)行比對(duì)解算當(dāng)前的位姿。這類方法的好處是速度較快、數(shù)據(jù)量小、系統(tǒng)簡(jiǎn)單，適用于一些特定的場(chǎng)景，但不適用于大范圍的場(chǎng)景。
另外一種是SLAM方法，也就是即時(shí)定位和地圖構(gòu)建技術(shù)。這類技術(shù)不需要預(yù)存場(chǎng)景信息，而是在運(yùn)行階段完成對(duì)于場(chǎng)景的構(gòu)建以及跟蹤。其優(yōu)點(diǎn)是不需要預(yù)存場(chǎng)景，可以跟蹤較大范圍，適用面廣，在跟蹤的同時(shí)也可以完成對(duì)于場(chǎng)景結(jié)構(gòu)的重建。但目前這類技術(shù)計(jì)算速度慢、數(shù)據(jù)量大、算法復(fù)雜度高，對(duì)于系統(tǒng)的要求也較高。Hololens和Magic Leap的宣傳視頻中都展現(xiàn)了這方面技術(shù)，而亮風(fēng)臺(tái)對(duì)相應(yīng)的技術(shù)也在研發(fā)當(dāng)中。
SLAM跟蹤技術(shù)
為了彌補(bǔ)不同跟蹤技術(shù)的缺點(diǎn)，許多研究者采用硬件和視覺(jué)混合跟蹤的方法來(lái)取長(zhǎng)補(bǔ)短，以滿足增強(qiáng)現(xiàn)實(shí)系統(tǒng)高精度跟蹤定位的要求。
2、增強(qiáng)現(xiàn)實(shí)的顯示技術(shù)
透射式頭盔顯示器
透射式頭盔顯示器 Hololens
目前大多數(shù)的AR系統(tǒng)采用透視式頭盔顯示器實(shí)現(xiàn)虛擬環(huán)境與真實(shí)環(huán)境的融合。根據(jù)真實(shí)環(huán)境的表現(xiàn)形式劃分，主要有視頻透視式頭盔顯示器和光學(xué)透視式頭盔顯示器兩種形式。
視頻透視式頭盔顯示器通過(guò)安裝在頭盔上的微型攝像頭獲取外部真實(shí)環(huán)境的圖像，也就是通過(guò)攝像頭來(lái)采集真實(shí)場(chǎng)景的圖像進(jìn)行傳遞。計(jì)算機(jī)通過(guò)場(chǎng)景理解和分析將所要添加的信息和圖像信號(hào)疊加在攝像機(jī)的視頻信號(hào)上，將計(jì)算機(jī)生成的虛擬場(chǎng)景與真實(shí)場(chǎng)景進(jìn)行融合，最后通過(guò)類似于浸沒(méi)式頭盔顯示器的顯示系統(tǒng)呈現(xiàn)給用戶。
雖然視頻透射式頭盔在顯示上不受強(qiáng)光的干擾，具有比較大的視場(chǎng)，但由于真實(shí)環(huán)境的數(shù)據(jù)來(lái)自于攝像頭，因此會(huì)造成顯示分辨率較低的不利因素。另一方面，一旦攝像機(jī)與用戶視點(diǎn)不能保持完全重合，用戶看到的視頻景象與真實(shí)景象將會(huì)存在偏差，因此會(huì)造成在某些領(lǐng)域（特別是工業(yè)、軍事等領(lǐng)域）出現(xiàn)一些安全隱患。
光學(xué)原理的透視式頭盔顯示器的基本原理則是通過(guò)安裝在眼前的一對(duì)半反半透鏡融合呈現(xiàn)出真實(shí)場(chǎng)景和虛擬場(chǎng)景。與視頻透射式不同的是，光學(xué)透視式的“實(shí)”來(lái)自于真實(shí)的光源，經(jīng)過(guò)透視光學(xué)系統(tǒng)直接進(jìn)入眼睛，計(jì)算機(jī)生成的“虛”則經(jīng)過(guò)光學(xué)系統(tǒng)放大后反射進(jìn)入眼睛，最后兩部分信息匯聚到視網(wǎng)膜上從而形成虛實(shí)融合的成像效果。
光學(xué)透視式頭盔相對(duì)來(lái)說(shuō)結(jié)構(gòu)簡(jiǎn)單，分辨率更高，因其能夠直接看到外部，真實(shí)感和安全性也更強(qiáng)。其缺點(diǎn)是，在室外強(qiáng)光條件下顯示效果會(huì)受影響。目前Hololens以及亮風(fēng)臺(tái)的HiAR Glasses都采用了光學(xué)透射式的成像方案。
不難看出，兩種方案各有優(yōu)缺點(diǎn)，如何選擇最優(yōu)方案，目前來(lái)看，還應(yīng)基于實(shí)際應(yīng)用場(chǎng)景來(lái)進(jìn)行判斷。
由于光學(xué)透射式頭盔跟實(shí)際場(chǎng)景結(jié)合更緊密，真實(shí)感更強(qiáng)，大多數(shù)廠家會(huì)選擇這種方案。對(duì)于透射式頭盔顯示器來(lái)說(shuō)，單純的強(qiáng)調(diào)厚薄或者視場(chǎng)大小并沒(méi)有任何實(shí)際意義。這是由于厚度和視場(chǎng)是矛盾的，要做得較薄，方便用戶使用佩戴，視場(chǎng)就必然變??；想要擁有大視場(chǎng)，則其厚度就必然增大，設(shè)備就目前來(lái)說(shuō)也會(huì)顯得比較笨重，不易佩戴。因此在目前技術(shù)依舊存在障礙的情況下，大家都會(huì)采取一些折中的方案。
數(shù)字光場(chǎng)顯示
Magic leap 光場(chǎng)顯示
隨著Magic Leap的宣傳視頻，數(shù)字光場(chǎng)這個(gè)概念也變得廣為人知。這種不采用屏幕來(lái)做載體的顯示方式，通過(guò)記錄并復(fù)現(xiàn)光場(chǎng)來(lái)完成虛擬物體的顯示。通過(guò)呈現(xiàn)不同深度的圖像，使用戶在觀察近景或遠(yuǎn)景時(shí)，可以實(shí)現(xiàn)主動(dòng)的對(duì)焦，這也是光場(chǎng)顯示的一大優(yōu)點(diǎn)。
同樣，光場(chǎng)顯示也有不同的顯示方案，一種方案是采用多層的顯示器，如光場(chǎng)立體鏡。如Magic Leap采用的是光導(dǎo)纖維投影儀。這套方案的優(yōu)勢(shì)是可以做到很大的視場(chǎng)角，顯示更加符合人的真實(shí)感受。但這一方案同時(shí)也具有比較大的挑戰(zhàn)性，光場(chǎng)的顯示需要比較大的計(jì)算量，并且需要有相應(yīng)的手段記錄或者生成想要疊加的虛擬對(duì)象相應(yīng)位置的光源信息，同時(shí)還要精細(xì)地控制投影的內(nèi)容和位置，目前這些技術(shù)還都處于研究階段。
盡管存在比較多的挑戰(zhàn)，光場(chǎng)顯示技術(shù)仍舊是非常值得期待的一種成像方式。
第三章 布局
本章導(dǎo)讀：在本章中，我們將以蘋果、微軟、谷歌三大巨頭為例，看看他們是如何在AR產(chǎn)業(yè)進(jìn)行布局，同時(shí)介紹了AR領(lǐng)域知名度較高的創(chuàng)業(yè)公司Magic Leap。
從目前來(lái)看，絕大多數(shù)巨頭和創(chuàng)業(yè)公司更愿意選擇在VR領(lǐng)域開(kāi)疆拓土，但這并不意味著AR無(wú)人問(wèn)津。
蘋果
種種跡象顯示，蘋果可能和微軟一樣瞄準(zhǔn)了AR領(lǐng)域，并非時(shí)下最熱的VR。
蘋果已經(jīng)在AR領(lǐng)域進(jìn)行過(guò)一些并購(gòu)交易。2015年5月，蘋果收購(gòu)了一家名為metaio的德國(guó)AR公司。該公司主要開(kāi)發(fā)基于智能手機(jī)的AR應(yīng)用軟件，比如其曾經(jīng)開(kāi)發(fā)一款讓家具視覺(jué)化呈現(xiàn)的工具。該公司被收購(gòu)之后，實(shí)體被注銷，人員融入了蘋果的開(kāi)發(fā)團(tuán)隊(duì)。
2014年年底，蘋果收購(gòu)了一家從事臉部視覺(jué)識(shí)別的公司——FaceShift，該公司的技術(shù)能夠利用攝像頭對(duì)用戶臉部圖像進(jìn)行實(shí)時(shí)捕捉，甚至可以生成虛擬的頭像。
據(jù)悉，電影《星球大戰(zhàn)：原力覺(jué)醒》的特效團(tuán)隊(duì)曾經(jīng)使用了上述公司的技術(shù)，讓外星人的臉部形象更加栩栩如生。
此外，蘋果還曾經(jīng)收購(gòu)了以色列的硬件公司PrimeSense，該公司主要為微軟的Xbox游戲機(jī)制造Kinect動(dòng)感捕捉攝像頭。
該公司具備了先進(jìn)的手勢(shì)動(dòng)作識(shí)別技術(shù)。在AR領(lǐng)域，用戶一般不會(huì)使用手持控制器，因此識(shí)別手部動(dòng)作十分重要，這一技術(shù)也能夠用于AR頭盔中。
除了各種并購(gòu)之外，蘋果也儲(chǔ)備了一些和AR有關(guān)的技術(shù)專利。這些專利并不意味著蘋果一定會(huì)開(kāi)發(fā)某種技術(shù)或者硬件，但是可能披露了蘋果未來(lái)產(chǎn)品開(kāi)發(fā)的某些思路。
2015年2月，蘋果獲得一個(gè)技術(shù)專利，主要用于讓智能手機(jī)連接AR和VR頭盔。專利描述文字和谷歌、微軟、三星電子和Facebook近些年推出過(guò)的產(chǎn)品十分相似。
微軟
微軟應(yīng)該算是布局AR比較超前的巨頭公司，其在2015年就推出了AR頭盔HoloLens，開(kāi)發(fā)者版已經(jīng)開(kāi)啟預(yù)訂，售價(jià)為3000美元。
我們之所以能夠看到物體，是因?yàn)楣饩€被這些物體反彈，最后射入我們的眼中。而我們的大腦需要對(duì)這些光進(jìn)行復(fù)雜運(yùn)算，最后重現(xiàn)你眼睛所看到物體的圖像。HoloLens實(shí)際上就是欺騙大腦，將光線以全息圖的方式發(fā)射到你眼睛中，就好像物體真的存在于現(xiàn)實(shí)世界中一樣。
就像下面這幅圖，HoloLens可以將屏幕投射到墻上。當(dāng)用戶四處走動(dòng)時(shí)，屏幕依然會(huì)留在原地，就好像那是一面真實(shí)存在的鏡子。HoloLens可在正確角度向你的眼中發(fā)射光線，讓你覺(jué)得屏幕真的出現(xiàn)在墻上。
HoloLens本身就是一臺(tái)獨(dú)立電腦，擁有自己的CPU和GPU，以及微軟所謂的全息處理單元，負(fù)責(zé)支持創(chuàng)造全息圖必須的全部必要計(jì)算。
在消費(fèi)者方面，HoloLens擁有巨大潛力，你可能再無(wú)需購(gòu)買60英寸電視，HoloLens允許用戶將電視屏幕發(fā)射到墻上，屏幕大小可隨意調(diào)節(jié)。如果未來(lái)版的HoloLens足夠緊湊，你可以想象到有人邊開(kāi)車邊接受導(dǎo)航，但司機(jī)的實(shí)現(xiàn)不再局限于屏幕上，而是可看到前方道路的全息圖。當(dāng)然，游戲可能是HoloLens的重要賣點(diǎn)。
在企業(yè)方面，HoloLens最明顯的應(yīng)用就是實(shí)現(xiàn)3D模型或設(shè)計(jì)的可視化。HoloLens也可被用于視頻會(huì)議等場(chǎng)合。此外，它的另一個(gè)用途可能是支持在線零售店，允許HoloLens用戶看到其產(chǎn)品全息圖。在你購(gòu)買家具前，你就可以看到家具被擺放在室內(nèi)的虛擬圖。
由于HoloLens運(yùn)行Windows 10操作系統(tǒng)，通用應(yīng)用將可在其上順利運(yùn)行。這些應(yīng)用將被投射到用戶面前，可被便捷操作。對(duì)于微軟來(lái)說(shuō)，吸引開(kāi)發(fā)者非常重要，因?yàn)檫@款設(shè)備最吸引人的應(yīng)用可能還未出現(xiàn)。盡管HoloLens的硬件設(shè)施令人印象深刻，但其依然需要好的應(yīng)用為消費(fèi)者和企業(yè)提供最好的服務(wù)。
谷歌
谷歌當(dāng)前在VR領(lǐng)域比較活躍，如推出硬件產(chǎn)品 Cardboard頭盔，YouTube上線360度全景視頻功能，還提供Tilt Brush、Jump和Assembler等VR小應(yīng)用，方便幫助開(kāi)發(fā)者創(chuàng)新新的VR體驗(yàn)，但這并不意味著谷歌放棄了AR市場(chǎng)。
谷歌和聯(lián)想合作，推出Project Tango項(xiàng)目。該項(xiàng)目旨在賦予智能手機(jī)3D繪圖和創(chuàng)造AR體驗(yàn)的能力。Tango智能手機(jī)將于今年年終發(fā)貨，相當(dāng)于是一個(gè)完整功能的AR設(shè)備。
除了自身開(kāi)發(fā)AR項(xiàng)目，谷歌還投資了AR創(chuàng)業(yè)公司Magic Leap。Magic Leap專注于AR技術(shù)的研發(fā)，其最終產(chǎn)品很可能是一款頭盔，可將電腦生成的圖像投射到人眼上，最終在現(xiàn)實(shí)圖像上疊加一個(gè)虛擬圖像。有關(guān)Magic Leap的情況，將在下文進(jìn)行詳細(xì)說(shuō)明。
Magic Leap
Magic Leap是一家知名度很高的AR創(chuàng)業(yè)公司。今年2月，Magic Leap在新一輪融資中獲得7.935億美元的投資，阿里、谷歌都參與了本輪融資。據(jù)估測(cè)， Magic Leap的估值至少達(dá)到45億美元，這比兩年前Facebook收購(gòu)Oculus的價(jià)格高出了兩倍。
Magic Leap研發(fā)的技術(shù)依然處于半透明狀態(tài)，沒(méi)有任何產(chǎn)品出現(xiàn)，我們目前只知道它主要研發(fā)方向就是將三維圖像投射到人的視野中。
Magic Leap CEO魯尼? 阿伯維茲曾公開(kāi)表達(dá)過(guò)自己公司的定位：“你可以將我們看作是科技生物學(xué)（Techno-biology），我們認(rèn)為它是計(jì)算機(jī)的未來(lái)?！?
Magic Leap制作圖像的方法與人眼的工作方式相同。Magic Leap利用彎曲的光場(chǎng)制作圖像，而不像其他平臺(tái)那樣利用立體圖像欺騙眼球。利用其他3D圖像投影方式，如果用戶閉上一只眼睛，3D圖像就會(huì)消失。在現(xiàn)實(shí)生活中，用戶即使閉上一只眼睛，依然能夠看到3D圖像。Magic Leap便采用這種更為實(shí)用的圖像制作方式。
第四章：AR市場(chǎng)潛力
本章導(dǎo)讀：在這一章中，我們將通過(guò)市場(chǎng)調(diào)研公司提供的數(shù)據(jù)，解讀AR未來(lái)的市場(chǎng)潛力，并詳細(xì)闡述為何AR未來(lái)的市場(chǎng)規(guī)模會(huì)比VR更大。
盡管過(guò)去一年里媒體開(kāi)始大肆報(bào)道AR技術(shù)，我們目前了解到的大部分AR解決方案仍處于開(kāi)發(fā)之中。只有少數(shù)硬件解決方案得到了大規(guī)模生產(chǎn)并能夠買到。
2011年，全球AR營(yíng)收僅為1.81億美元，而且當(dāng)時(shí)AR往往被人們視作一種營(yíng)銷噱頭：一種還在摸索實(shí)用應(yīng)用的技術(shù)。很少有人認(rèn)識(shí)到AR的潛力，開(kāi)發(fā)相關(guān)應(yīng)用大多也是用來(lái)快速打響名聲，或者這些應(yīng)用的價(jià)值僅限于添加視頻效果這樣的博眼球之舉而已。
然而最新預(yù)測(cè)指出，到2017年，AR市場(chǎng)將增長(zhǎng)至52億美元，年增長(zhǎng)率竟逼近100%。隨著大量資金注入AR項(xiàng)目及AR創(chuàng)業(yè)公司，尤其是隨著谷歌、佳能、高通、微軟等大公司的入場(chǎng)，我們已經(jīng)看到第一批消費(fèi)級(jí)AR產(chǎn)品的涌現(xiàn)。隨著實(shí)際商業(yè)利益的出現(xiàn)， AR將成為消費(fèi)、醫(yī)療、移動(dòng)、汽車以及制造市場(chǎng)中的“下一件大事”。
AR比VR更具增長(zhǎng)潛力
市場(chǎng)調(diào)研公司Digi-Capital給出的一組數(shù)據(jù)很值得研究：到2020年，AR的市場(chǎng)規(guī)模將達(dá)到1200億美元，遠(yuǎn)高于VR的300億美元。
VR對(duì)于游戲與3D電影來(lái)說(shuō)是一項(xiàng)非常棒的技術(shù)，甚至可以說(shuō)這項(xiàng)技術(shù)可謂是專門為此而設(shè)計(jì)的。但這項(xiàng)技術(shù)的體驗(yàn)主要是在客廳、辦公室或者座位上展開(kāi)的，因?yàn)槿绻愦髦粋€(gè)完全封閉的頭戴式顯示器走在路上，隨時(shí)都可能撞到路邊的東西。
雖然AR技術(shù)應(yīng)用在游戲也非常有趣，但在需要真正沉浸式體驗(yàn)的時(shí)候，其所帶來(lái)的樂(lè)趣或許不如VR技術(shù)那么多，這就像是移動(dòng)游戲與主機(jī)游戲之間的差距。但是，AR技術(shù)在游戲玩家眼中的這個(gè)缺點(diǎn)，恰恰是讓它可以同智能手機(jī)一樣，在數(shù)以億計(jì)用戶的現(xiàn)實(shí)生活中發(fā)揮重要作用的優(yōu)勢(shì)。人們可以戴著它四處活動(dòng)，做任何事情。
AR的軟件與服務(wù)擁有可與如今的移動(dòng)市場(chǎng)相媲美的經(jīng)濟(jì)效應(yīng)，它們都可以利用現(xiàn)有的其他產(chǎn)品的市場(chǎng)，并不斷擴(kuò)張它們。AR龐大的用戶基礎(chǔ)將會(huì)成為電視電影、廣告等行業(yè)的主要收入來(lái)源。
換句話說(shuō)，AR技術(shù)有可能觸及到更多的人，因?yàn)樗菍?duì)人們?nèi)粘Ｉ畹臒o(wú)縫補(bǔ)充，而不是像VR那樣在現(xiàn)實(shí)世界之外營(yíng)造出一個(gè)完全虛擬的世界。
《增強(qiáng)現(xiàn)實(shí)：指向增強(qiáng)現(xiàn)實(shí)的一種新技術(shù)》一書的作者格里格·基佩爾在書中寫到：“增強(qiáng)現(xiàn)實(shí)將具備更多的實(shí)際應(yīng)用價(jià)值，因?yàn)樵诂F(xiàn)實(shí)中，與真實(shí)世界中的事物互動(dòng)的人更多一些?！?
在AR技術(shù)的幫助下，人們通過(guò)專用頭盔看見(jiàn)的三維全息圖像可以為真實(shí)世界提供一種有益的補(bǔ)充。當(dāng)你走過(guò)一個(gè)雜貨店的走道，你也許會(huì)在眼前的虛擬屏幕上看到制作意大利飯所需的食材和配料清單。又或者，當(dāng)你在閱讀一本有關(guān)天文學(xué)的書籍時(shí)，你周圍可能會(huì)出現(xiàn)一幅太陽(yáng)系的圖像。
但是戴上虛擬現(xiàn)實(shí)頭盔之后，你與周遭世界的聯(lián)系就被人為隔斷了。你被投影到一個(gè)不同的世界中，就像恐龍沖過(guò)一片叢林，或者像站在一幢100層的摩天大樓的樓頂上俯瞰著腳下的大街一樣。這跟主題樂(lè)園的游歷過(guò)程有些相似，就連虛擬現(xiàn)實(shí)頭盔戴久了會(huì)讓你感到惡心或者頭暈也跟你在主題樂(lè)園中呆久了的感覺(jué)很相似。
meta是硅谷的一家AR創(chuàng)業(yè)公司，員工人數(shù)大約為100人。meta CEO梅隆?格里貝茨預(yù)計(jì)，有朝一日，人們?cè)僖膊挥靡贿呍诒孔镜逆I盤上敲敲打打，一邊緊盯著顯示屏的屏幕，人們可以在漂浮在眼前的全息圖像之間隨意切換和瀏覽，只需用手碰一碰就可以完成各種操作。當(dāng)然還有虛擬鍵盤，人們可以利用它輸入數(shù)據(jù)。
人們可以進(jìn)入他們的全息影像屏幕，提取出人的解剖圖，然后剔除骨骼進(jìn)行研究。人們也可以通過(guò)透視去檢查自己打算購(gòu)買的鞋子的內(nèi)部做工。到那個(gè)時(shí)候，打電話將會(huì)變成一種很奇怪的行為，因?yàn)樗腥硕伎梢栽谌⒂跋裰羞M(jìn)行對(duì)話。
格里貝茨說(shuō)：“VR很酷，但它只是通向增強(qiáng)現(xiàn)實(shí)的一塊墊腳石。我們將開(kāi)發(fā)出比Mac電腦好用一百倍且強(qiáng)大一百倍的產(chǎn)品?！?
第五章：AR面臨的挑戰(zhàn)
本章導(dǎo)讀：在本章中，我們將從技術(shù)方面解讀，當(dāng)前AR面臨的挑戰(zhàn)，包括圖像識(shí)別、定位等。
對(duì)于AR而言，解決注冊(cè)任務(wù)是最核心的問(wèn)題。注冊(cè)對(duì)精度的要求極為嚴(yán)格：由于AR應(yīng)以實(shí)時(shí)、六個(gè)自由度的形式將虛擬信息和現(xiàn)實(shí)信息相融合，即便是輕微的注冊(cè)失準(zhǔn)都會(huì)造成組合視圖難以容忍的失真。因此，移動(dòng)AR存在兩大難點(diǎn)：注冊(cè)必須極為精準(zhǔn)，注冊(cè)對(duì)計(jì)算能力和內(nèi)存的利用必須極為高效。
這個(gè)問(wèn)題是AR面向大眾部署所面臨的終極挑戰(zhàn)。我們斷言，目前大部分已知的注冊(cè)任務(wù)解決方案其實(shí)并不適用于智能手機(jī)——盡管看上去能用。因此，所有的AR研究人員都應(yīng)該為智能手機(jī)AR的大空間應(yīng)用問(wèn)題開(kāi)發(fā)專門的解決方案。
智能手機(jī)是AR大眾市場(chǎng)最具前景的平臺(tái)。智能手機(jī)生態(tài)系統(tǒng)為面向大眾部署AR的純軟件解決方案提供了一切要素。然而不應(yīng)忽視的是，盡管技術(shù)和邏輯取得了種種進(jìn)步，但是AR應(yīng)用在智能手機(jī)上的大規(guī)模部署仍然存在著下列重大障礙：
1、相機(jī)質(zhì)量與成像處理。智能手機(jī)通常配備的相機(jī)傳感器在弱光條件下表現(xiàn)糟糕：圖像模糊，開(kāi)始出現(xiàn)明顯色差。相機(jī)傳感器硬件通常禁止低層級(jí)訪問(wèn)。API只提供了相機(jī)傳感器的高層級(jí)訪問(wèn)，無(wú)法控制曝光、光圈及焦距。小型CCD傳感器導(dǎo)致相機(jī)采樣噪點(diǎn)增加，進(jìn)而嚴(yán)重影響后續(xù)CV算法的發(fā)揮。圖像獲取過(guò)程中的質(zhì)量損失很難通過(guò)后期處理步驟補(bǔ)償。
2、電量消耗。電池電量近年來(lái)并沒(méi)有顯著提升。相機(jī)傳感器在以高幀率持續(xù)運(yùn)行時(shí)耗電量很大，其主要原因是目前手機(jī)的設(shè)計(jì)用途仍然是拍照，而不是攝影。另外，傳感器和網(wǎng)絡(luò)接口也是耗電大戶。運(yùn)行功能強(qiáng)大的AR應(yīng)用會(huì)讓電池迅速耗干。因此，AR應(yīng)用必須只能設(shè)計(jì)成供短時(shí)間使用，而不是一種“常開(kāi)”功能。
3、網(wǎng)絡(luò)依賴性。遠(yuǎn)程訪問(wèn)大量數(shù)據(jù)受到幾個(gè)因素的影響。首先，網(wǎng)絡(luò)延遲會(huì)導(dǎo)致令人不爽的延遲，拖累AR應(yīng)用的瞬時(shí)表現(xiàn)。其次，訪問(wèn)遠(yuǎn)程數(shù)據(jù)僅在開(kāi)了流量套餐時(shí)才有可能做到，而流量套餐可能過(guò)于昂貴或者無(wú)法開(kāi)通。最后，某些地區(qū)的網(wǎng)絡(luò)覆蓋可能不滿足條件。于是完全獨(dú)立的AR應(yīng)用成為了唯一的可行選擇，這就意味著需要在設(shè)備上占用大量的存儲(chǔ)空間。
4、可視化與交互的可能性。智能手機(jī)的外形因素在購(gòu)買決策中發(fā)揮著重要作用。實(shí)際上，可接受最大設(shè)備的尺寸嚴(yán)格制約了顯示屏的大小。交互技術(shù)同樣存在著類似的限制。多點(diǎn)觸控界面或許是最為先進(jìn)的交互機(jī)制，但它在某些特定任務(wù)——如像素級(jí)的選取上表現(xiàn)糟糕。
理論上講，針對(duì)AR改進(jìn)未來(lái)智能手機(jī)需從哪些方面入手已是眾所周知。在實(shí)踐中，AR應(yīng)用的開(kāi)發(fā)者卻要看硬件廠商和服務(wù)供應(yīng)商的臉色，后者做出硬件發(fā)展決策的依據(jù)是市場(chǎng)預(yù)測(cè)，而其中可能不含對(duì)AR的需求。不過(guò)，硬件總體是朝著正確的方向發(fā)展的，尤其在移動(dòng)游戲或移動(dòng)導(dǎo)航系統(tǒng)的驅(qū)動(dòng)下——而這兩者與AR在技術(shù)需求方面存在許多共通之處。此外，研究人員意識(shí)到目前相機(jī)控制方面存在限制，更好的相機(jī)API也會(huì)因此誕生，比如Frankencamera項(xiàng)目。
盡管平板電腦作為一種流行移動(dòng)平臺(tái)也在不斷壯大，但它屬于放大版的智能手機(jī)平臺(tái)。由于尺寸放大，可視化與交互的限制有了些許放松，但這些設(shè)備的尺寸和重量同時(shí)也制約著它們?cè)贏R領(lǐng)域的應(yīng)用，原因是拿起來(lái)更加累人（比如說(shuō)，把設(shè)備舉起來(lái)較長(zhǎng)時(shí)間可能需要兩只手，反過(guò)來(lái)制約了交互的可能性）。除此之外，目前的平板電腦存在著與智能手機(jī)相同的問(wèn)題。對(duì)于不同的AR應(yīng)用而言，智能手機(jī)和平板電腦可能前者更適合，也可能后者更適合。
計(jì)算機(jī)視覺(jué)面臨的挑戰(zhàn)
智能手機(jī)的一大優(yōu)勢(shì)在于，定位不必單單依賴于相機(jī)傳感器，也可以利用其它任意可用的傳感器，如GPS，指南針，加速度計(jì)和陀螺儀。盡管其它傳感器的使用在核心CV社區(qū)中往往被視為“作弊”，但這些傳感器能夠?qū)﹂_(kāi)發(fā)實(shí)驗(yàn)室外快速、健壯的定位功能做出重大貢獻(xiàn)。即便在結(jié)合了多種傳感器的幫助下，基于CV的定位仍然非常困難，一系列原因列舉如下：
紋理結(jié)構(gòu)。大多數(shù)方法依賴于興趣點(diǎn)外形上的自然特征，要求環(huán)境中各區(qū)域紋理足夠清晰。興趣點(diǎn)的主要問(wèn)題在于，紋理的呈現(xiàn)形式至關(guān)重要。尤其在室內(nèi)場(chǎng)景中，常常會(huì)有白墻出現(xiàn)，使得基于自然特征的定位方法很難發(fā)揮作用。
光照和天氣條件。盡管自然特征描述器通常被設(shè)計(jì)為不受光照影響，但這一假設(shè)只有在描述實(shí)際物理特征的觀測(cè)研究中成立。不幸的是，室外環(huán)境中大量以自然畫面呈現(xiàn)的特征與實(shí)際物理特征并不相關(guān)。場(chǎng)景中物體投射的陰影會(huì)造成斑點(diǎn)、邊角、線條的出現(xiàn)，還會(huì)隨著光照或天氣條件變化而動(dòng)態(tài)移動(dòng)。因此，存在著大量的會(huì)對(duì)定位質(zhì)量產(chǎn)生嚴(yán)重影響的異常因素和不匹配因素，這與匹配算法的選擇并無(wú)關(guān)系。
數(shù)據(jù)庫(kù)規(guī)模大、易變化。對(duì)于室外環(huán)境而言，在定位之前必須采集大量數(shù)據(jù)并處理生成初始模型。利用昂貴設(shè)備的實(shí)時(shí)方法能夠處理這一問(wèn)題：然而，無(wú)法訪問(wèn)的區(qū)域仍然會(huì)造成最終模型中的孔洞（即未能構(gòu)建地圖的區(qū)域）。此外，得到的模型僅代表某個(gè)時(shí)間點(diǎn)的靜態(tài)快照。環(huán)境中的任何變動(dòng)，如商店櫥窗的翻新，咖啡店遮陽(yáng)傘的開(kāi)閉，停車場(chǎng)汽車的去留，都會(huì)讓數(shù)據(jù)采集生成的模型瞬間過(guò)時(shí)。另一個(gè)重要方面是通信通道（可能是移動(dòng)網(wǎng)絡(luò)）中最終模型的分發(fā)方式。由于這些模型通常體積頗大，整體還是拆分傳輸都會(huì)帶來(lái)技術(shù)難題。
失準(zhǔn)及丟失的傳感信息。在室外定位中，GPS和指南針提供了關(guān)于設(shè)備大致位置和方向的極具價(jià)值的絕對(duì)信息。不幸的是，傳感器并不健壯：在不同的地點(diǎn)，傳感信息的準(zhǔn)確度可能會(huì)有天壤之別。尤其是在狹窄的城市峽谷里，GPS信息可能會(huì)偏差100米，甚至?xí)豢捎谩ｎ愃频氖?，磁干擾會(huì)嚴(yán)重影響電子指南針的讀數(shù)，而磁干擾在人造環(huán)境中是不可避免的。
精準(zhǔn)定位是AR亟待解決的最為重要的任務(wù)。但正如上面所述，仍然存在著一些重大挑戰(zhàn)，仍需針對(duì)這些挑戰(zhàn)尋找真正切實(shí)有效的解決方案。近來(lái)平板電腦AR的SLAM實(shí)施證明，如果上述條件（即紋理結(jié)構(gòu)清晰）達(dá)到，就能充分實(shí)現(xiàn)小規(guī)模環(huán)境的定位注3。然而，大規(guī)模環(huán)境的定位僅存在于概念證明研究中。相關(guān)問(wèn)題似乎難以攻克，因此只能等待技術(shù)的緩慢進(jìn)步了。
其他挑戰(zhàn)
除了實(shí)現(xiàn)算法研究成果的精度和可擴(kuò)展性這樣的學(xué)術(shù)目標(biāo)外，還存在著一系列嚴(yán)重影響AR體驗(yàn)實(shí)用性的實(shí)際問(wèn)題。這些因素僅與AR的實(shí)際應(yīng)用相關(guān)，因此在科學(xué)文獻(xiàn)中討論較少。這或許會(huì)造成“這些問(wèn)題不難解決或者與AR的成功不相關(guān)”的錯(cuò)誤認(rèn)識(shí)。下面列舉了一些與智能手機(jī)有關(guān)、同時(shí)也與AR一般用途有關(guān)的問(wèn)題：
實(shí)際的硬件發(fā)展與“AR心愿清單”的矛盾：目前智能手機(jī)中相機(jī)及其它傳感器的質(zhì)量不足以滿足AR的高要求。硬件進(jìn)步——如立體相機(jī)，CPU/GPU的統(tǒng)一隨機(jī)尋址，WiFi三角定位——能夠讓AR應(yīng)用的開(kāi)發(fā)者極大受益。不幸的是，在AR尚未氣候成熟時(shí)，期待手機(jī)會(huì)針對(duì)AR優(yōu)化純屬幻想。硬件配置的任何變動(dòng)會(huì)增加數(shù)百萬(wàn)美元的開(kāi)發(fā)成本，倘若之后無(wú)法滿足市場(chǎng)預(yù)期，搭上的錢還會(huì)更多。目前，消費(fèi)者購(gòu)買手機(jī)主要是為了語(yǔ)音通訊，游戲和網(wǎng)頁(yè)瀏覽。這些市場(chǎng)將會(huì)驅(qū)動(dòng)近期到中期的手機(jī)功能革新。我們必須說(shuō)服設(shè)備廠家AR是手機(jī)應(yīng)用的新興市場(chǎng)，這樣才能為AR爭(zhēng)取到更先進(jìn)的硬件。幸運(yùn)的是，如今AR的關(guān)注度已成規(guī)模，因此不久的將來(lái)，手機(jī)針對(duì)AR的優(yōu)化或?qū)⒊蔀楝F(xiàn)實(shí)。
動(dòng)態(tài)場(chǎng)景與AR真實(shí)感的矛盾。目前的AR應(yīng)用假設(shè)場(chǎng)景中的一切事物都是靜態(tài)的。然而，現(xiàn)實(shí)恰好與之相反。尤其在室外場(chǎng)景中，幾乎所有物體都在變化：行人，光照和天氣條件，甚至是建筑物每隔幾年也會(huì)刷上新的顏色。定位會(huì)因此受到嚴(yán)重影響。
在動(dòng)態(tài)場(chǎng)景中，大多數(shù)算法的基本假設(shè)從一開(kāi)始就是錯(cuò)誤的。比如說(shuō)你正在對(duì)一個(gè)建筑立面進(jìn)行增強(qiáng)，行人路過(guò)擋住了部分視野。由于算法缺少阻擋推理，就算增強(qiáng)內(nèi)容的視覺(jué)效果再好，未來(lái)硬件平臺(tái)的性能再?gòu)?qiáng)大，也會(huì)出現(xiàn)礙眼的錯(cuò)誤。動(dòng)態(tài)物體與虛擬內(nèi)容之間交互的缺失絕對(duì)會(huì)損害AR應(yīng)用的真實(shí)感。因此，目前CV研究成果中物體動(dòng)態(tài)檢測(cè)與跟蹤技術(shù)的加入是未來(lái)實(shí)現(xiàn)高質(zhì)量AR的關(guān)鍵。
內(nèi)容創(chuàng)作與注冊(cè)的矛盾：AR之所以讓人興奮，很大程度上源于終端用戶參與內(nèi)容創(chuàng)作的發(fā)展前景。個(gè)人內(nèi)容創(chuàng)作是促使用戶積極參與而非被動(dòng)觀察的關(guān)鍵所在。然而，目前仍然沒(méi)有實(shí)現(xiàn)這一概念的基本機(jī)制。
盡管手機(jī)的交互方法得到了極大改進(jìn)，但在沒(méi)有精準(zhǔn)全局環(huán)境模型的條件下，如何使用2D界面方便、精準(zhǔn)地注冊(cè)6自由度內(nèi)容，這個(gè)問(wèn)題仍未得到解答。就拿增強(qiáng)建筑物里面的一扇窗戶舉例，目前的方法甚至都無(wú)法搞定簡(jiǎn)單的標(biāo)記任務(wù)。尚沒(méi)有在開(kāi)放空間內(nèi)輸入任意3D位置的機(jī)制，更別說(shuō)明確指出方向了。
目前決定標(biāo)簽的做法通常利用的是用戶（不精準(zhǔn)的）GPS位置，而不是興趣物體本身。對(duì)于終端用戶創(chuàng)作真實(shí)、理想的內(nèi)容而言，在用戶附近對(duì)任意位置進(jìn)行精準(zhǔn)注冊(cè)一定要簡(jiǎn)單而健壯——然而，這又是一個(gè)超出CV基本范疇的研究難題。
第六章：AR應(yīng)用案例
本章導(dǎo)讀：在這一章中，我們將探索AR這一新興技術(shù)目前在不同領(lǐng)域的運(yùn)用情況，并預(yù)測(cè)有可能成為未來(lái)主流的最佳實(shí)踐。
我們選取了一定數(shù)量的AR創(chuàng)新案例，歸納成四種功能類別；每一種都會(huì)在個(gè)人或公司使用AR應(yīng)用時(shí)為其帶來(lái)顯著益處。
情境敏感式信息——在恰當(dāng)?shù)氖录攸c(diǎn)出現(xiàn)的信息
第一類是情境敏感式信息，涵蓋能夠根據(jù)特定情境輕松獲取互聯(lián)網(wǎng)已有靜態(tài)數(shù)據(jù)的各種應(yīng)用。
Wikitude和metaio公司的Junaio（魔眼）是AR瀏覽器兩個(gè)最有名的例子，它們提供的情境敏感式信息軟件能夠識(shí)別場(chǎng)所或物體，并將數(shù)字信息與現(xiàn)實(shí)世界的場(chǎng)景連接起來(lái)。智能手機(jī)都可以運(yùn)行這一軟件，用戶可以通過(guò)手機(jī)攝像頭的視角看到周圍的數(shù)字信息。
這些數(shù)字信息可以是附近感興趣的地方，比如博物館、商店、餐館或者前往下一個(gè)公交站的步行路線。該軟件通過(guò)GPS、WiFi和3D建模實(shí)現(xiàn)圖像識(shí)別和用戶定位功能。
語(yǔ)言翻譯是AR應(yīng)用中最具發(fā)展前景的領(lǐng)域之一?，F(xiàn)有的一款應(yīng)用Word Lens兼容于幾乎所有智能手機(jī)，能夠?qū)⑽谋就椒g成另一種語(yǔ)言。打開(kāi)應(yīng)用后，用戶只要將設(shè)備對(duì)準(zhǔn)外國(guó)文字即可。設(shè)備就會(huì)將此信息翻譯成用戶母語(yǔ)并顯示出來(lái)。而且翻譯后的文本是同樣的字體，印在同一面墻上——就跟原始文本一樣。
面部檢測(cè)和AR的結(jié)合則是在現(xiàn)實(shí)生活特定情境中輕松獲取互聯(lián)網(wǎng)信息的另一個(gè)例子。Infinity是一款A(yù)R應(yīng)用，它可以分析一張面孔，將其與社交網(wǎng)絡(luò)上的頭像進(jìn)行比對(duì)匹配，匹配目標(biāo)在社交網(wǎng)絡(luò)中發(fā)布的信息就會(huì)顯示在用戶視野中。
這項(xiàng)功能在消費(fèi)應(yīng)用領(lǐng)域非常實(shí)用的技術(shù)也會(huì)受到執(zhí)法部門的歡迎（如掃描人群，尋找通緝犯）。但不難理解，這款應(yīng)用已經(jīng)引發(fā)了許多人對(duì)隱私的擔(dān)憂。
大眾公司開(kāi)發(fā)的MARTA系統(tǒng)是汽車領(lǐng)域中在恰當(dāng)?shù)攸c(diǎn)提供恰當(dāng)信息的極具可行性的最佳實(shí)踐解決方案。
該系統(tǒng)在汽車運(yùn)轉(zhuǎn)失常時(shí)派上用場(chǎng)，幫助用戶進(jìn)行汽車維修及維護(hù)。它能通過(guò)物體識(shí)別技術(shù)識(shí)別出汽車零部件，實(shí)時(shí)詳細(xì)地將所有必需的維修、維護(hù)步驟描述并圖示出來(lái)，并配有需要用到哪些設(shè)備的信息。這款應(yīng)用可以在多種移動(dòng)設(shè)備上運(yùn)行。目前，該系統(tǒng)為大眾服務(wù)獨(dú)家使用，不過(guò)可以想象，未來(lái)消費(fèi)者都會(huì)用上類似的系統(tǒng)，不太了解汽車機(jī)械的人都能修好自己的汽車。
增強(qiáng)感知——成為人類2.0
即便是今天，AR應(yīng)用所能提供的也遠(yuǎn)不止是隨時(shí)檢索互聯(lián)網(wǎng)信息這么簡(jiǎn)單。下面講述的幾個(gè)AR用例通過(guò)主要由設(shè)備傳感器收集的數(shù)據(jù)生成新的信息，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)。這一系列設(shè)備能夠增強(qiáng)我們的感知，延伸人類能力，超越目前我們所能取得的成就。
已經(jīng)問(wèn)世的Recon Jet是一套用于休閑活動(dòng)的AR系統(tǒng)。該設(shè)備便于運(yùn)動(dòng)的平視顯示器（HUD）可以與藍(lán)牙、WiFi等第三方傳感器連接，提供導(dǎo)航和天氣信息，訪問(wèn)社交網(wǎng)絡(luò)，顯示實(shí)時(shí)的狀態(tài)信息。例如，跑步者可以看到自己的速度，到終點(diǎn)線的距離，目前的海拔提升高度以及心率。目前已有上述功能的Recon Jet計(jì)劃未來(lái)針對(duì)在危險(xiǎn)環(huán)境中工作或從事體力勞動(dòng)人群開(kāi)發(fā)可穿戴AR設(shè)備，監(jiān)測(cè)他們的生命體征和周圍環(huán)境。
再舉一個(gè)平視顯示器的例子，某些型號(hào)的寶馬汽車能夠在擋風(fēng)玻璃上投影行駛速度等傳感信息。這種增強(qiáng)感知功能自從2004年以來(lái)被汽車公司所采用，寶馬正在不斷增加新功能，持續(xù)改進(jìn)其HUD系統(tǒng)。
寶馬目前的ConnectedDrive HUD系統(tǒng)的增強(qiáng)方式是在外部環(huán)境真實(shí)物體上疊加虛擬標(biāo)記。這樣導(dǎo)航信息或者駕駛助手系統(tǒng)的信息可以顯示在司機(jī)前方道路視野的精確位置上。導(dǎo)航指示可以層疊在道路上，其它汽車或安全相關(guān)的物體可以根據(jù)情況高亮顯示或標(biāo)記出來(lái)。寶馬夜視系統(tǒng)提供的可視化信息正是HUD應(yīng)用的絕佳例證。
屢獲殊榮的iOnRoad應(yīng)用是一個(gè)類似于寶馬HUD的增強(qiáng)駕駛助手系統(tǒng)，只不過(guò)面向平民大眾市場(chǎng)，也沒(méi)那么先進(jìn)。該應(yīng)用僅使用智能手機(jī)相機(jī)和一些視覺(jué)算法，提供了諸如碰撞預(yù)警、出口監(jiān)測(cè)、道路出界預(yù)警以及事故后能派上用場(chǎng)的黑匣子錄像功能。
Liver Explorer是AR應(yīng)用在另一個(gè)截然不同的領(lǐng)域中的例證。外科醫(yī)生可以通過(guò)Fraunhofer MEVIS公司開(kāi)發(fā)的Liver Explorer應(yīng)用增強(qiáng)感知。該應(yīng)用能夠?yàn)閳?zhí)業(yè)醫(yī)生提供實(shí)時(shí)的AR向?qū)Ш洼o助。設(shè)備通過(guò)攝像頭捕捉肝臟影像，利用AR技術(shù)將手術(shù)計(jì)劃的數(shù)據(jù)疊加到器官上。
另外，該軟件還能實(shí)時(shí)響應(yīng)（如根據(jù)系統(tǒng)持續(xù)追蹤的血管運(yùn)動(dòng)狀態(tài)及時(shí)更新手術(shù)計(jì)劃）。這些功能超越了MARTA系統(tǒng)對(duì)于情境敏感式信息的定義。如果該應(yīng)用能得到積極評(píng)價(jià)的話，未來(lái)很可能會(huì)改造推廣到更多的手術(shù)領(lǐng)域中。
在危險(xiǎn)情況下，隨時(shí)掌握關(guān)鍵信息尤為重要。正因?yàn)槿绱?，軍方成為了AR應(yīng)用最大的投資者之一。Q-Warrior Helmet是一款軍事應(yīng)用。該AR項(xiàng)目希望能為士兵們提供“保持警惕，視野開(kāi)闊，手搭扳機(jī)”的場(chǎng)景意識(shí)，以及敵我識(shí)別、夜視影像和遠(yuǎn)程協(xié)調(diào)小分隊(duì)的增強(qiáng)功能。該頭盔會(huì)將每個(gè)佩戴者的具體位置信息提供給其他人，軍事組織可以通過(guò)它在戰(zhàn)斗或偵查行動(dòng)中集結(jié)、行軍、分享信息與位置。不難想象，未來(lái)類似的系統(tǒng)會(huì)出現(xiàn)在其他工作環(huán)境危險(xiǎn)的職業(yè)中（如消防員、執(zhí)法人員）。
混合現(xiàn)實(shí)模擬——在現(xiàn)實(shí)中探索虛擬
上述案例以提供靜態(tài)數(shù)字信息的方式為我們展示了增強(qiáng)現(xiàn)實(shí)的應(yīng)用，然而接下來(lái)這一類的AR實(shí)踐相比之下更進(jìn)了一步。通過(guò)這些所謂的混合現(xiàn)實(shí)模擬，用戶可以在現(xiàn)實(shí)環(huán)境中動(dòng)態(tài)地更換或調(diào)整虛擬物體。
最新的宜家應(yīng)用Ikea Catalog就是其中最為突出的一個(gè)例子。借助于這個(gè)由metaio公司開(kāi)發(fā)的AR應(yīng)用，消費(fèi)者可以使用移動(dòng)設(shè)備把所選的數(shù)字版宜家家具“放置”在自己家客廳里，從而更方便地測(cè)試家具的尺寸、風(fēng)格、顏色擺在某個(gè)位置是否合適。該應(yīng)用還允許用戶調(diào)整每一個(gè)部件的尺寸和顏色。
優(yōu)衣庫(kù)的試衣魔鏡（Magic Mirror）提供了一種更加個(gè)人化的AR試衣體驗(yàn)。2012年舊金山的一家優(yōu)衣庫(kù)門店安裝了這臺(tái)大型增強(qiáng)試衣鏡，它能夠識(shí)別顧客的身材和所選衣物，因此免去了再試其它顏色的必要。顧客只需換上某件衣物站到鏡子前；根據(jù)觸摸屏的提示選擇其它顏色，鏡子中就會(huì)投射出顧客身著另一種顏色的影像。
佳能推出的MRERL系統(tǒng)能夠?qū)崿F(xiàn)3D電腦渲染模型在現(xiàn)實(shí)環(huán)境中與現(xiàn)實(shí)世界物體無(wú)縫融合的設(shè)計(jì)過(guò)程。舉例來(lái)說(shuō)，汽車領(lǐng)域可以借助于這套系統(tǒng)設(shè)計(jì)出新汽車的模型。MREAL系統(tǒng)支持多用戶協(xié)同工作，同步進(jìn)行完整規(guī)模的產(chǎn)品設(shè)計(jì)。
這套系統(tǒng)可以用來(lái)分析新規(guī)劃設(shè)計(jì)中現(xiàn)實(shí)部件如何組合的問(wèn)題。其實(shí)現(xiàn)方式是，渲染出包括現(xiàn)有部件和新設(shè)計(jì)概念的3D模型，再將兩者組合起來(lái)。
例如，可以將現(xiàn)有的汽車座椅整合到新車虛擬設(shè)計(jì)的投影中。MREAL系統(tǒng)提供的是混合現(xiàn)實(shí)，因此用戶可以真的坐到（真實(shí)的）座椅上，看到汽車外面的真實(shí)環(huán)境以及汽車內(nèi)部的數(shù)字虛擬模型——包括全新設(shè)計(jì)的儀表盤和方向盤。
另一個(gè)已投入使用的工業(yè)級(jí)AR應(yīng)用來(lái)自空中客車公司（Airbus）。為了能夠完全依靠數(shù)字工具完成新飛機(jī)的生產(chǎn)流程，空中客車公司于2009年聯(lián)合打造了MiRA（混合現(xiàn)實(shí)應(yīng)用）。該應(yīng)用利用AR掃描部件、檢測(cè)錯(cuò)誤，從而提高了生產(chǎn)線的效率。
以A380客機(jī)為例，由平板PC、特制傳感套件和軟件組成的MiRA應(yīng)用現(xiàn)在已將組裝機(jī)身中成千上萬(wàn)個(gè)支架的時(shí)間由300小時(shí)降低至驚人的60小時(shí)。更為震撼的是，之后發(fā)現(xiàn)，損壞、安裝錯(cuò)位或者遺失支架的數(shù)量卻降低了40%。
日本的一位黑客利用現(xiàn)有的3D模型和廉價(jià)的動(dòng)作傳感器實(shí)現(xiàn)了與日本超人氣虛擬歌手初音未來(lái)的AR“約會(huì)”。在演示視頻中，初音陪著他漫步公園，初音能夠識(shí)別現(xiàn)實(shí)世界的物體并做出反應(yīng)（比如坐在真實(shí)的長(zhǎng)椅上）。該軟件甚至還能與這位虛擬歌手互動(dòng)（比如摸摸她的頭或領(lǐng)帶）。盡管這個(gè)應(yīng)用有著明顯的煽動(dòng)性，但它絕非只是噱頭。由此我們可以想到，不久之后人們或許會(huì)有虛擬伴侶的陪伴，在需要時(shí)提供幫助（比如，輔助搞定醫(yī)療或工程問(wèn)題，或者以人形界面的形式處理個(gè)人日歷、備忘錄、通訊錄等日常數(shù)字事務(wù)）。
虛擬界面——在虛擬中控制現(xiàn)實(shí)
接入互聯(lián)網(wǎng)“智能”玩意兒越來(lái)越多，獲取數(shù)字信息的方式越來(lái)越多，于是打算利用AR設(shè)備及數(shù)據(jù)來(lái)工作的人也越來(lái)越多。因此，我們討論的第四類——虛擬界面，關(guān)注的是提供以數(shù)字形式控制現(xiàn)實(shí)世界物體的新方式的AR技術(shù)。本質(zhì)上說(shuō)，這類技術(shù)讓調(diào)整、控制真實(shí)物體的混合現(xiàn)實(shí)成為可能。
手勢(shì)是一種隨時(shí)與數(shù)字世界進(jìn)行交互的高級(jí)方式。上文所說(shuō)的麻省理工學(xué)院開(kāi)發(fā)的SixthSense正是這么一種手勢(shì)界面系統(tǒng)。盡管該系統(tǒng)目前采用的是空間AR技術(shù)，它也可以應(yīng)用于其它各種技術(shù)中。借助于該系統(tǒng)，用戶可以使用自然手勢(shì)與信息進(jìn)行交互。為了捕捉用戶的輸出意圖，該系統(tǒng)的相機(jī)采用計(jì)算機(jī)視覺(jué)技術(shù)對(duì)用戶手勢(shì)進(jìn)行識(shí)別和追蹤。
基于AR的界面不局限于計(jì)算機(jī)設(shè)備。還能用來(lái)控制汽車，娛樂(lè)設(shè)備，以及加熱系統(tǒng)這樣的家居配套設(shè)施。仍在開(kāi)發(fā)之中的家庭自動(dòng)化系統(tǒng)Revolv正是這樣的例子。結(jié)合Google Glass后，用戶可以通過(guò)該系統(tǒng)控制家中的所有數(shù)字設(shè)備（如照明系統(tǒng)和門鎖系統(tǒng)）。于是就形成了可以用語(yǔ)音或指尖控制的增強(qiáng)“智能”家居環(huán)境。
中國(guó)電商1號(hào)店的例子告訴我們，虛擬界面也不局限于家中。該公司曾宣布，將成立全球第一個(gè)AR連鎖超市。
每一家超市將會(huì)有一塊約1.2平方米的貨架，設(shè)置在“空白”的公共區(qū)域（比如火車車站或地鐵車站，公園或大學(xué)校園）。裸眼看去只是空蕩蕩的貨架和墻壁，通過(guò)AR設(shè)備看到的則是完整的一個(gè)超市，貨架上堆滿了數(shù)字形式的真實(shí)商品。用戶只需通過(guò)移動(dòng)設(shè)備掃描商品，添加到網(wǎng)絡(luò)購(gòu)物車中，即可完成購(gòu)買。AR購(gòu)物完成后，用戶會(huì)在家中收到配送的商品。這個(gè)概念類似于韓國(guó)地鐵站里基于二維碼的樂(lè)天超市，但得到了AR技術(shù)的增強(qiáng)。
結(jié)語(yǔ)：AR是一座比VR還要大的金礦
很多案例已經(jīng)證明，AR技術(shù)在職業(yè)場(chǎng)合更有用。第一代谷歌眼鏡在消費(fèi)類市場(chǎng)遭遇了失敗，但在一些小眾市場(chǎng)，例如醫(yī)療健康領(lǐng)域，谷歌眼鏡仍被證明非常有用。微軟HoloLens的橫空出世，讓我們感覺(jué)到AR還能發(fā)揮更大的作用。
AR技術(shù)短并不在于游戲或?？?，而是在于滿足實(shí)際需求的職業(yè)應(yīng)用，這些應(yīng)用看起來(lái)并不是很酷，但卻更貼近現(xiàn)實(shí)。相比于VR，AR似乎是一座更大的金礦。
附：報(bào)告引用文章
What Is Augmented Reality and How Can Engineers and Designers Use It？作者：Jeffrey Heimgartner
ugmented reality startups and technology trendsetters want to show that virtual reality is merely a 'stepping stone' to breakthroughs that touch more people，作者：Micheal Liedtke
How Augmented Reality Works？，作者：Kevin Bonsor
Augmented Reality in Logistics，作者：DHL Trend Research
公司新聞
NEWS 
