繼智能手機、平板電腦之后，虛擬現(xiàn)實（VR）與增強現(xiàn)實（AR）有潛力成為下一個重大通用計算平臺。
從當前來看，更多的公司選擇從VR領(lǐng)域進行切入，各大研究公司、投行針對VR領(lǐng)域的研究報告也層出不窮，相比之下，AR領(lǐng)域卻稍顯平淡。
騰訊科技旗下VR次元綜合多家研究機構(gòu)更為細化的報告，發(fā)布全球首份綜合性AR報告，在這份報告中，我們將對AR的發(fā)展趨勢、未來的挑戰(zhàn)、應(yīng)用領(lǐng)域、可能創(chuàng)造和顛覆的市場進行分析和預測。
最后，感謝亮風臺研發(fā)總監(jiān)吳侖博士撰寫了AR工作原理、關(guān)鍵技術(shù)的相關(guān)章節(jié)。
第一章 AR與VR
本章導讀：在本章中，我們將重點解讀AR與VR在技術(shù)方面的區(qū)別，AR硬件類型、發(fā)展簡史等。
VR和AR有著不同的應(yīng)用領(lǐng)域、技術(shù)和市場機會，因此區(qū)分兩者之間的不同至關(guān)重要。
AR是將計算機生成的虛擬世界套在現(xiàn)實世界上，即把數(shù)字想象世界加在真實世界之上。最典型的AR設(shè)備就是谷歌眼鏡。這種智能眼鏡將觸控板、攝像頭以及LED顯示器結(jié)合起來，通過顯示器，用戶可以聯(lián)網(wǎng)，并在視野內(nèi)使用地圖、電子郵件等服務(wù)。其他知名的AR產(chǎn)品還有微軟的HoloLens，創(chuàng)業(yè)公司則以Magic Leap為典型代表。
AR具備三個主要特征：
1、融合虛擬和現(xiàn)實：與VR技術(shù)不同的是，AR技術(shù)不會把使用者與真實世界隔開，而是將計算機生成的虛擬物體和信息疊加到真實世界的場景中來，以實現(xiàn)對現(xiàn)實場景更直觀深入的了解和解讀，在有限的時間和有限的場景中實現(xiàn)與現(xiàn)實相關(guān)知識領(lǐng)域的理解。增強的信息可以是與真實物體相關(guān)的非幾何信息，如視頻、文字，也可以是幾何信息，如虛擬的三維物體和場景。
2、實時交互：通過增強現(xiàn)實系統(tǒng)中的交互接口設(shè)備，人們以自然方式與增強現(xiàn)實環(huán)境進行交互操作，這種交互要滿足實時性。
3、三維注冊：“注冊”（這里也可以解釋為跟蹤和定位）指的是將計算機產(chǎn)生的虛擬物體與真實環(huán)境進行一一對應(yīng)，且用戶在真實環(huán)境中運動時，也將繼續(xù)維持正確的對準關(guān)系。
VR是讓用戶置身于一個想象出來或者重新復制的世界，或是模擬真實的世界。VR領(lǐng)域主要的產(chǎn)品包括Oculus、索尼PlayStation VR、HTC Vive和三星Gear VR。（有關(guān)VR更詳細的內(nèi)容，可以參考VR次元發(fā)布的德銀VR報告和高盛VR報告）
區(qū)分VR和AR的一個簡單的方法是：VR需要用一個不透明的頭戴設(shè)備完成虛擬世界里的沉浸體驗，而AR需要清晰的頭戴設(shè)備看清真實世界和重疊在上面的信息和圖像。
AR發(fā)展簡史
AR技術(shù)的起源可追溯到“VR之父”Morton Heilig在上個世紀五、六十年代所發(fā)明的 Sensorama Stimulator。
Heilig是一名哲學家、電影制作人和發(fā)明家。他利用他在電影拍攝上經(jīng)驗設(shè)計出了Sensorama Stimulator，并在1962年獲得了專利。
Sensorama Stimulator使用圖像、聲音、風扇、香味和震動，讓用戶感受在紐約布魯克林街道上騎著摩托車風馳電掣的場景。盡管這臺機器大且笨重，但在當時卻非常超前。令人遺憾的是，Heilig沒有能夠獲得所需的資金支持讓這個發(fā)明商業(yè)化。
AR歷史上的下一個重大里程碑是第一臺頭戴式AR設(shè)備的發(fā)明。1968年，哈佛副教授Ivan Sutherland跟他的學生Bob Sproull合作發(fā)明了Sutherland稱之為“終極顯示器”的AR設(shè)備。使用這個設(shè)備的用戶可以通過一個雙目鏡看到一個簡單三維房間模型，用戶還可以使用視覺和頭部運動跟蹤改變視角。盡管用戶交互界面是頭戴的，然而系統(tǒng)主體部分卻又大又重，不能戴在用戶頭上，只能懸掛在用戶頭頂?shù)奶旎ò迳?。這套系統(tǒng)也因此被命名為“達摩克利斯之劍”。
盡管這些早期的發(fā)明屬于AR的范疇，但實際上，直到1990年，波音公司研究員Tom Caudell才創(chuàng)造了“AR”這個術(shù)語。Caudell和他的同事設(shè)計了一個輔助飛機布線系統(tǒng)，用于代替笨重的示例圖版。這個頭戴設(shè)備將布線圖或者裝配指南投射到特殊的可再用方板上。這些AR投影可以通過計算機快速輕松地更改，機械師再也不需要手工重新改造或者制作示例圖版。
大約在1998年，AR第一次出現(xiàn)在大眾平臺上。當時有電視臺在橄欖球賽電視轉(zhuǎn)播上使用AR技術(shù)將得分線疊加到屏幕中的球場上。此后，AR技術(shù)開始被用于天氣預報——天氣預報制作者將計算機圖像疊加到現(xiàn)實圖像和地圖上面。從那時起，AR真正地開始了其爆炸式的發(fā)展。
2000年，Bruce H. Thomas在澳大利亞南澳大學可穿戴計算機實驗室開發(fā)了第一款手機室外AR游戲——ARQuake。2008年左右，AR開始被用于地圖等手機應(yīng)用上。2013年，谷歌發(fā)布了谷歌眼鏡，2015年，微軟發(fā)布HoloLens，這是一款能將計算機生成圖像（全息圖）疊加到用戶周圍世界中的頭戴式AR設(shè)備，也正是隨著這兩款產(chǎn)品的出現(xiàn)，更多的人開始了解AR。
AR硬件概覽
AR硬件發(fā)展的驅(qū)動力源于計算機處理器、顯示技術(shù)、傳感器、移動網(wǎng)絡(luò)速率、電池續(xù)航等多個領(lǐng)域的技術(shù)進步。
目前能夠確定的AR硬件類型有以下幾種：
? 手持設(shè)備
? 固定式AR系統(tǒng)
? 空間增強現(xiàn)實（SAR）系統(tǒng)
? 頭戴式顯示器（HMD）
? 智能眼鏡
? 智能透鏡
手持設(shè)備
智能手機正是手持設(shè)備的代表，這些設(shè)備正在變得越來越好——顯示器分辨率越來越高，處理器越來越強，相機成像質(zhì)量越來越好，傳感器越來越多，提供著加速計、GPS、羅盤等等功能……這些成為了天然的AR平臺。盡管手持設(shè)備是消費者接觸AR應(yīng)用最為方便的形式，但由于大部分手持設(shè)備不具備可穿戴功能，因此用戶無法獲得雙手解放的AR體驗。
固定式AR系統(tǒng)
俄羅斯一家Topshop內(nèi)的固定式AR衣櫥
固定式AR系統(tǒng)適用于固定場所中需要更大顯示屏或更高分辨率的場景。與移動AR設(shè)備不同的是，這些極少移動的系統(tǒng)可以搭載更加先進的相機系統(tǒng)，因此能夠更加精確地識別人物和場景。此外，顯示單元往往能呈現(xiàn)出更加真實的畫面，而且受陽光或照明等環(huán)境因素影響較小。
空間增強現(xiàn)實（SAR）系統(tǒng)
大眾公司的SAR系統(tǒng)
與其它所有系統(tǒng)不同的是，空間增強現(xiàn)實（SAR）系統(tǒng)的虛擬內(nèi)容直接投影在現(xiàn)實世界中。SAR系統(tǒng)往往固定在自然中。任何物理表面，如墻、桌、泡沫、木塊甚至是人體都可以成為可交互的顯示屏。隨著投影設(shè)備尺寸、成本、功耗的降低以及3D投影的不斷進步，各種全新的交互及顯示形式正在不斷涌現(xiàn)。SAR系統(tǒng)最大的優(yōu)點在于，現(xiàn)實世界的反射在這里更加精確，即虛擬信息能夠以實際的比例和大小呈現(xiàn)在眼前。此外在觀看人數(shù)較多時，內(nèi)容也能看清，這個案例可以用來實現(xiàn)同步辦公。
頭戴式顯示器（HMD）
佳能的混合現(xiàn)實頭戴設(shè)備
HMD代表著另一種快速發(fā)展的AR硬件類型。HMD由一個頭戴裝置（如頭盔），以及與之搭配的一塊或多塊（微型）顯示屏組成。HMD將現(xiàn)實世界和虛擬物體的畫面重疊顯示在用戶視野中。換而言之，用戶不會直接看到現(xiàn)實，看到的是現(xiàn)實的增強視頻畫面。如果顯示屏只覆蓋用戶的一只眼睛，這樣的HMD稱為單眼HMD，另一種是兩只眼睛都看顯示屏的雙眼HMD。先進的HMD通常能夠搭載具有很高自由度的傳感器，用戶可以在前后、上下、左右、俯仰、偏轉(zhuǎn)和滾動六個方向自由移動頭部。該系統(tǒng)因此能夠?qū)崿F(xiàn)虛擬信息與現(xiàn)實世界的貼合，并根據(jù)用戶頭部移動作做相應(yīng)的畫面調(diào)整。
智能眼鏡
Vuzix M100智能眼鏡
消費電子行業(yè)的許多公司認為，智能眼鏡將會成為智能手機后下一大全球熱賣消費產(chǎn)品。這些AR設(shè)備實際上是帶有屏幕、相機和話筒的眼鏡。根據(jù)這一概念，用戶的現(xiàn)實世界視角被AR設(shè)備截取，增強后的畫面重新顯示在用戶視野中。AR畫面透過眼鏡鏡片，或者通過眼鏡鏡片反射，從而進入眼球。智能眼鏡技術(shù)最為突出的例子是谷歌眼鏡和Vuzix M100。不過，目前開發(fā)中的最令人激動的智能眼鏡要數(shù)Atheer One——該智能眼鏡配有3D景深傳感器，用戶可以實際控制眼前顯示的虛擬內(nèi)容。
智能透鏡
華盛頓大學開發(fā)的透鏡中含有金屬電路結(jié)構(gòu)
智能眼鏡絕不是故事的結(jié)局。越來越多的研究投入到能顯示AR畫面的智能透鏡上；微軟、谷歌等公司也正忙于宣布自己的智能透鏡項目。
智能透鏡的理念是在傳統(tǒng)透鏡中集成控制電路、通信電路、微型天線、LED及其它光電組件，從而形成一套功能系統(tǒng)。未來或許可以用成千上萬顆LED直接在眼前形成畫面，從而讓透鏡變成顯示屏。然而，還必須克服一系列難題，比如說如何給透鏡供電，如何保證人眼不受傷害等等。
在這一章的最后，我們簡單看下AR技術(shù)會應(yīng)用到哪些領(lǐng)域：
考古：在古代遺跡上顯示遺跡原本的樣子。
藝術(shù)：跟蹤眼球移動并將這些移動顯示在屏幕上，幫助殘疾人進行藝術(shù)創(chuàng)作。
商業(yè)：顯示產(chǎn)品的多種定制選項或者補充信息。
教育：將文本、圖像、視頻和音頻疊加到學生周圍的實時環(huán)境中。
時尚：顯示不同的妝容和發(fā)型用在一個人身上的效果。
游戲：運用真實世界環(huán)境讓用戶在游戲中進行互動，獲得不同的體驗。
醫(yī)藥：通過虛擬X光將病人的內(nèi)臟器官投射到他們的皮膚上。
軍事：使用AR眼鏡向士兵展示戰(zhàn)場中出現(xiàn)的人和物體，并附上相關(guān)信息，以幫助士兵避開潛在的危險。
導航：將道路和街道的名字跟其他相關(guān)信息一起標記到現(xiàn)實地圖中，或者在擋風玻璃上顯示目的地方向、天氣、地形、路況、交通信息，提示潛在危險。
體育：顯示橄欖球場的得分線、高爾夫球的飛行路線和冰球移動的軌跡。
電視：在天氣預報中顯示天氣視覺效果和圖像。
第二章 AR的工作原理
本章導讀：在本章中，我們將解讀AR的工作原理、關(guān)鍵技術(shù)，并以SixthSense（第六感）AR系統(tǒng)為例，更直觀地還原AR工作方式。
AR介于VR和真實世界之間，VR創(chuàng)造逼真的虛擬世界，AR則將圖形、聲音、觸感和氣味添加到真實的世界中。
在介紹AR的工作原理之前，我們先通過一個例子，讓大家有一個簡單的認識。
在2009年2月的TED大會上，帕蒂?梅斯和普拉納夫?米斯特萊展示了他們研發(fā)的AR系統(tǒng)。該系統(tǒng)屬于麻省理工學院媒體實驗室流體界面小組的研究成果之，他們稱之為SixthSense（第六感）。它依靠眾多AR系統(tǒng)中常見的一些基本元件來工作：攝像頭、小型投影儀、智能手機和鏡子。
這些元件通過一根類似繩索的儀器串連起來，然后戴在佩戴者的脖子上。用戶還會在手指上戴上四個不同顏色的特殊指套，這些指套可以用來操縱投影儀投射的圖像。
SixthSense設(shè)備利用簡單的、現(xiàn)成的元件來組成AR系統(tǒng)，它的投影儀可以將任何平面變成一個互動的顯示屏。SixthSense設(shè)備利用攝像頭和鏡子來捕捉周圍的環(huán)境，然后將這種圖片傳給手機，然后將這些信息從投影儀投射到用戶面前的任何平面上，不管這種平面是一個手腕，一面墻，還是一個人。由于用戶將攝像頭佩戴在胸前，因此SixthSense設(shè)備能夠增強他所看到的一切。例如，如果他在一個雜貨店里挑選了一罐湯，SixthSense設(shè)備將能夠搜索這罐湯的相關(guān)信息，例如成分、價格和營養(yǎng)價值甚或用戶評論，然后將它們投射到平面上。
利用手指上的指套，用戶可以在投射的信息上執(zhí)行各種操作，這些操作將會被攝像頭捕捉到，然后通過手機來處理。如果他希望了解這罐湯的更多信息，例如與之競爭的同類產(chǎn)品，那么他可以用手指與投射畫面進行互動，從而獲取更多的信息。SixthSense設(shè)備還能夠識別一些復雜的手勢，例如你在手腕上畫一個圓圈，SixthSense設(shè)備就能夠投射一款手表來顯示當前的時間。
AR的系統(tǒng)結(jié)構(gòu)
一個典型的AR系統(tǒng)結(jié)構(gòu)
一個典型的AR系統(tǒng)結(jié)構(gòu)由虛擬場景生成單元、透射式頭盔顯示器、頭部跟蹤設(shè)備和交互設(shè)備構(gòu)成。其中虛擬場景生成單元負責虛擬場景的建模、管理、繪制和其它外設(shè)的管理；透射式頭盔顯示器負責顯示虛擬和現(xiàn)實融合后的信號；頭部跟蹤設(shè)備跟蹤用戶視線變化；交互設(shè)備用于實現(xiàn)感官信號及環(huán)境控制操作信號的輸入輸出。
首先透射式頭盔顯示器采集真實場景的視頻或者圖像，傳入后臺的處理單元對其進行分析和重構(gòu)，并結(jié)合頭部跟蹤設(shè)備的數(shù)據(jù)來分析虛擬場景和真實場景的相對位置，實現(xiàn)坐標系的對齊并進行虛擬場景的融合計算；交互設(shè)備采集外部控制信號，實現(xiàn)對虛實結(jié)合場景的交互操作。系統(tǒng)融合后的信息會實時地顯示在頭盔顯示器中，展現(xiàn)在人的視野中。
AR的關(guān)鍵技術(shù)
目前AR技術(shù)的技術(shù)難點在于：精確場景的理解、重構(gòu)和高清晰度、大視場的顯示技術(shù)。
1、對現(xiàn)實場景的理解和重構(gòu)
在增強現(xiàn)實系統(tǒng)中，首先要解決“是什么”的問題，也就是要理解、知道場景中存在什么樣的對象和目標。第二要解決“在哪里”的問題，也就是要對場景結(jié)構(gòu)進行分析，實現(xiàn)跟蹤定位和場景重構(gòu)。
物體的檢測和識別技術(shù)
物體檢測和識別
物體檢測和識別的目的是發(fā)現(xiàn)并找到場景中的目標，這是場景理解中的關(guān)鍵一環(huán)。廣義的物體檢測和識別技術(shù)是基于圖像的基本信息（各類型特征）和先驗知識模型（物體信息表示），通過相關(guān)的算法實現(xiàn)對場景內(nèi)容分析的過程。在增強現(xiàn)實領(lǐng)域，常見的檢測和識別任務(wù)有，人臉檢測、行人檢測、車輛檢測、手勢識別、生物識別、情感識別、自然場景識別等。
目前，通用的物體檢測和識別技術(shù)，根據(jù)不同的思路可以分為兩種：一種是從分類和檢測的角度出發(fā)，通過機器學習算法訓練得到某一類對象的一般性特征，從而生成數(shù)據(jù)模型。這種方法檢測或者識別出的目標不是某一個具體的個體，而是一類對象，如汽車、人臉、植物等。這種識別由于是語義上的檢測和識別，所以并不存在精確的幾何關(guān)系，也更適用于強調(diào)增強輔助信息，不強調(diào)位置的應(yīng)用場景中。如檢測人臉后顯示年齡、性別等。另外一種識別是從圖像匹配的角度出發(fā)，數(shù)據(jù)庫中保存了圖像的特征以及對應(yīng)的標注信息，在實際使用過程中，通過圖像匹配的方法找到最相關(guān)的圖像，從而定位環(huán)境中的目標，進一步得到識別圖像和目標圖像的精確位置，這種識別適用于需要對環(huán)境進行精確跟蹤的應(yīng)用場景。
就現(xiàn)階段而言，識別檢測技術(shù)的難點之一是技術(shù)的碎片化。這一方面是由于每一類對象都會有其獨有的特征，而不同特征的提取和處理都需要實現(xiàn)一一對應(yīng)，這對識別檢測是一個巨大的挑戰(zhàn)。另一方面，圖像本身還受到噪聲、尺度、旋轉(zhuǎn)、光照、姿態(tài)等因素的影響。近幾年來，隨著深度學習技術(shù)的不斷成熟，檢測和識別方法也越來越統(tǒng)一，而性能也在不斷提高中。
跟蹤定位技術(shù)
跟蹤技術(shù)的方法可以分為基于硬件和基于視覺兩大類。基于硬件設(shè)備的三維跟蹤定位方法在實現(xiàn)跟蹤定位的過程中使用了一些特殊的測量儀器或設(shè)備。常用的設(shè)備包括機械式跟蹤器、電磁式跟蹤器、超聲波跟蹤器、慣性跟蹤器以及光學跟蹤等。光學跟蹤和慣性跟蹤是比較常用的兩種硬件跟蹤方式，HTC Vive就是采用了光學跟蹤和慣性跟蹤兩種硬件來定位頭部的位置。使用硬件設(shè)備構(gòu)成的跟蹤系統(tǒng)大多是開環(huán)系統(tǒng)，跟蹤精確取決于硬件設(shè)備自身的性能，其算法的擴展性要差一些，且成本相對較高。
HTC Vive 采用光學和慣性跟蹤設(shè)備
視覺跟蹤方法具備更強的擴展性，其系統(tǒng)多為閉環(huán)系統(tǒng)，更依賴于優(yōu)化算法來解決跟蹤精度問題。相比于上述基于硬件設(shè)備的跟蹤方法，計算機視覺跟蹤方法提供了一種非接觸式的、精確的、低成本的解決方法，但是基于視覺的方法受限于圖像本身，噪聲、尺度、旋轉(zhuǎn)、光照、姿態(tài)變化等因素都會對跟蹤精度造成較大的影響，因此更好地處理這些影響因素，研發(fā)魯棒性強的算法就成為下一步AR技術(shù)的研究重點。
根據(jù)數(shù)據(jù)的生成方式，視覺跟蹤技術(shù)的算法可以分為兩種，一種是基于模板匹配的方式，預先對需要跟蹤的target進行訓練，在跟蹤階段通過不斷的跟預存訓練數(shù)據(jù)進行比對解算當前的位姿。這類方法的好處是速度較快、數(shù)據(jù)量小、系統(tǒng)簡單，適用于一些特定的場景，但不適用于大范圍的場景。
另外一種是SLAM方法，也就是即時定位和地圖構(gòu)建技術(shù)。這類技術(shù)不需要預存場景信息，而是在運行階段完成對于場景的構(gòu)建以及跟蹤。其優(yōu)點是不需要預存場景，可以跟蹤較大范圍，適用面廣，在跟蹤的同時也可以完成對于場景結(jié)構(gòu)的重建。但目前這類技術(shù)計算速度慢、數(shù)據(jù)量大、算法復雜度高，對于系統(tǒng)的要求也較高。Hololens和Magic Leap的宣傳視頻中都展現(xiàn)了這方面技術(shù)，而亮風臺對相應(yīng)的技術(shù)也在研發(fā)當中。
SLAM跟蹤技術(shù)
為了彌補不同跟蹤技術(shù)的缺點，許多研究者采用硬件和視覺混合跟蹤的方法來取長補短，以滿足增強現(xiàn)實系統(tǒng)高精度跟蹤定位的要求。
2、增強現(xiàn)實的顯示技術(shù)
透射式頭盔顯示器
透射式頭盔顯示器 Hololens
目前大多數(shù)的AR系統(tǒng)采用透視式頭盔顯示器實現(xiàn)虛擬環(huán)境與真實環(huán)境的融合。根據(jù)真實環(huán)境的表現(xiàn)形式劃分，主要有視頻透視式頭盔顯示器和光學透視式頭盔顯示器兩種形式。
視頻透視式頭盔顯示器通過安裝在頭盔上的微型攝像頭獲取外部真實環(huán)境的圖像，也就是通過攝像頭來采集真實場景的圖像進行傳遞。計算機通過場景理解和分析將所要添加的信息和圖像信號疊加在攝像機的視頻信號上，將計算機生成的虛擬場景與真實場景進行融合，最后通過類似于浸沒式頭盔顯示器的顯示系統(tǒng)呈現(xiàn)給用戶。
雖然視頻透射式頭盔在顯示上不受強光的干擾，具有比較大的視場，但由于真實環(huán)境的數(shù)據(jù)來自于攝像頭，因此會造成顯示分辨率較低的不利因素。另一方面，一旦攝像機與用戶視點不能保持完全重合，用戶看到的視頻景象與真實景象將會存在偏差，因此會造成在某些領(lǐng)域（特別是工業(yè)、軍事等領(lǐng)域）出現(xiàn)一些安全隱患。
光學原理的透視式頭盔顯示器的基本原理則是通過安裝在眼前的一對半反半透鏡融合呈現(xiàn)出真實場景和虛擬場景。與視頻透射式不同的是，光學透視式的“實”來自于真實的光源，經(jīng)過透視光學系統(tǒng)直接進入眼睛，計算機生成的“虛”則經(jīng)過光學系統(tǒng)放大后反射進入眼睛，最后兩部分信息匯聚到視網(wǎng)膜上從而形成虛實融合的成像效果。
光學透視式頭盔相對來說結(jié)構(gòu)簡單，分辨率更高，因其能夠直接看到外部，真實感和安全性也更強。其缺點是，在室外強光條件下顯示效果會受影響。目前Hololens以及亮風臺的HiAR Glasses都采用了光學透射式的成像方案。
不難看出，兩種方案各有優(yōu)缺點，如何選擇最優(yōu)方案，目前來看，還應(yīng)基于實際應(yīng)用場景來進行判斷。
由于光學透射式頭盔跟實際場景結(jié)合更緊密，真實感更強，大多數(shù)廠家會選擇這種方案。對于透射式頭盔顯示器來說，單純的強調(diào)厚薄或者視場大小并沒有任何實際意義。這是由于厚度和視場是矛盾的，要做得較薄，方便用戶使用佩戴，視場就必然變??；想要擁有大視場，則其厚度就必然增大，設(shè)備就目前來說也會顯得比較笨重，不易佩戴。因此在目前技術(shù)依舊存在障礙的情況下，大家都會采取一些折中的方案。
數(shù)字光場顯示
Magic leap 光場顯示
隨著Magic Leap的宣傳視頻，數(shù)字光場這個概念也變得廣為人知。這種不采用屏幕來做載體的顯示方式，通過記錄并復現(xiàn)光場來完成虛擬物體的顯示。通過呈現(xiàn)不同深度的圖像，使用戶在觀察近景或遠景時，可以實現(xiàn)主動的對焦，這也是光場顯示的一大優(yōu)點。
同樣，光場顯示也有不同的顯示方案，一種方案是采用多層的顯示器，如光場立體鏡。如Magic Leap采用的是光導纖維投影儀。這套方案的優(yōu)勢是可以做到很大的視場角，顯示更加符合人的真實感受。但這一方案同時也具有比較大的挑戰(zhàn)性，光場的顯示需要比較大的計算量，并且需要有相應(yīng)的手段記錄或者生成想要疊加的虛擬對象相應(yīng)位置的光源信息，同時還要精細地控制投影的內(nèi)容和位置，目前這些技術(shù)還都處于研究階段。
盡管存在比較多的挑戰(zhàn)，光場顯示技術(shù)仍舊是非常值得期待的一種成像方式。
第三章 布局
本章導讀：在本章中，我們將以蘋果、微軟、谷歌三大巨頭為例，看看他們是如何在AR產(chǎn)業(yè)進行布局，同時介紹了AR領(lǐng)域知名度較高的創(chuàng)業(yè)公司Magic Leap。
從目前來看，絕大多數(shù)巨頭和創(chuàng)業(yè)公司更愿意選擇在VR領(lǐng)域開疆拓土，但這并不意味著AR無人問津。
蘋果
種種跡象顯示，蘋果可能和微軟一樣瞄準了AR領(lǐng)域，并非時下最熱的VR。
蘋果已經(jīng)在AR領(lǐng)域進行過一些并購交易。2015年5月，蘋果收購了一家名為metaio的德國AR公司。該公司主要開發(fā)基于智能手機的AR應(yīng)用軟件，比如其曾經(jīng)開發(fā)一款讓家具視覺化呈現(xiàn)的工具。該公司被收購之后，實體被注銷，人員融入了蘋果的開發(fā)團隊。
2014年年底，蘋果收購了一家從事臉部視覺識別的公司——FaceShift，該公司的技術(shù)能夠利用攝像頭對用戶臉部圖像進行實時捕捉，甚至可以生成虛擬的頭像。
據(jù)悉，電影《星球大戰(zhàn)：原力覺醒》的特效團隊曾經(jīng)使用了上述公司的技術(shù)，讓外星人的臉部形象更加栩栩如生。
此外，蘋果還曾經(jīng)收購了以色列的硬件公司PrimeSense，該公司主要為微軟的Xbox游戲機制造Kinect動感捕捉攝像頭。
該公司具備了先進的手勢動作識別技術(shù)。在AR領(lǐng)域，用戶一般不會使用手持控制器，因此識別手部動作十分重要，這一技術(shù)也能夠用于AR頭盔中。
除了各種并購之外，蘋果也儲備了一些和AR有關(guān)的技術(shù)專利。這些專利并不意味著蘋果一定會開發(fā)某種技術(shù)或者硬件，但是可能披露了蘋果未來產(chǎn)品開發(fā)的某些思路。
2015年2月，蘋果獲得一個技術(shù)專利，主要用于讓智能手機連接AR和VR頭盔。專利描述文字和谷歌、微軟、三星電子和Facebook近些年推出過的產(chǎn)品十分相似。
微軟
微軟應(yīng)該算是布局AR比較超前的巨頭公司，其在2015年就推出了AR頭盔HoloLens，開發(fā)者版已經(jīng)開啟預訂，售價為3000美元。
我們之所以能夠看到物體，是因為光線被這些物體反彈，最后射入我們的眼中。而我們的大腦需要對這些光進行復雜運算，最后重現(xiàn)你眼睛所看到物體的圖像。HoloLens實際上就是欺騙大腦，將光線以全息圖的方式發(fā)射到你眼睛中，就好像物體真的存在于現(xiàn)實世界中一樣。
就像下面這幅圖，HoloLens可以將屏幕投射到墻上。當用戶四處走動時，屏幕依然會留在原地，就好像那是一面真實存在的鏡子。HoloLens可在正確角度向你的眼中發(fā)射光線，讓你覺得屏幕真的出現(xiàn)在墻上。
HoloLens本身就是一臺獨立電腦，擁有自己的CPU和GPU，以及微軟所謂的全息處理單元，負責支持創(chuàng)造全息圖必須的全部必要計算。
在消費者方面，HoloLens擁有巨大潛力，你可能再無需購買60英寸電視，HoloLens允許用戶將電視屏幕發(fā)射到墻上，屏幕大小可隨意調(diào)節(jié)。如果未來版的HoloLens足夠緊湊，你可以想象到有人邊開車邊接受導航，但司機的實現(xiàn)不再局限于屏幕上，而是可看到前方道路的全息圖。當然，游戲可能是HoloLens的重要賣點。
在企業(yè)方面，HoloLens最明顯的應(yīng)用就是實現(xiàn)3D模型或設(shè)計的可視化。HoloLens也可被用于視頻會議等場合。此外，它的另一個用途可能是支持在線零售店，允許HoloLens用戶看到其產(chǎn)品全息圖。在你購買家具前，你就可以看到家具被擺放在室內(nèi)的虛擬圖。
由于HoloLens運行Windows 10操作系統(tǒng)，通用應(yīng)用將可在其上順利運行。這些應(yīng)用將被投射到用戶面前，可被便捷操作。對于微軟來說，吸引開發(fā)者非常重要，因為這款設(shè)備最吸引人的應(yīng)用可能還未出現(xiàn)。盡管HoloLens的硬件設(shè)施令人印象深刻，但其依然需要好的應(yīng)用為消費者和企業(yè)提供最好的服務(wù)。
谷歌
谷歌當前在VR領(lǐng)域比較活躍，如推出硬件產(chǎn)品 Cardboard頭盔，YouTube上線360度全景視頻功能，還提供Tilt Brush、Jump和Assembler等VR小應(yīng)用，方便幫助開發(fā)者創(chuàng)新新的VR體驗，但這并不意味著谷歌放棄了AR市場。
谷歌和聯(lián)想合作，推出Project Tango項目。該項目旨在賦予智能手機3D繪圖和創(chuàng)造AR體驗的能力。Tango智能手機將于今年年終發(fā)貨，相當于是一個完整功能的AR設(shè)備。
除了自身開發(fā)AR項目，谷歌還投資了AR創(chuàng)業(yè)公司Magic Leap。Magic Leap專注于AR技術(shù)的研發(fā)，其最終產(chǎn)品很可能是一款頭盔，可將電腦生成的圖像投射到人眼上，最終在現(xiàn)實圖像上疊加一個虛擬圖像。有關(guān)Magic Leap的情況，將在下文進行詳細說明。
Magic Leap
Magic Leap是一家知名度很高的AR創(chuàng)業(yè)公司。今年2月，Magic Leap在新一輪融資中獲得7.935億美元的投資，阿里、谷歌都參與了本輪融資。據(jù)估測， Magic Leap的估值至少達到45億美元，這比兩年前Facebook收購Oculus的價格高出了兩倍。
Magic Leap研發(fā)的技術(shù)依然處于半透明狀態(tài)，沒有任何產(chǎn)品出現(xiàn)，我們目前只知道它主要研發(fā)方向就是將三維圖像投射到人的視野中。
Magic Leap CEO魯尼? 阿伯維茲曾公開表達過自己公司的定位：“你可以將我們看作是科技生物學（Techno-biology），我們認為它是計算機的未來。”
Magic Leap制作圖像的方法與人眼的工作方式相同。Magic Leap利用彎曲的光場制作圖像，而不像其他平臺那樣利用立體圖像欺騙眼球。利用其他3D圖像投影方式，如果用戶閉上一只眼睛，3D圖像就會消失。在現(xiàn)實生活中，用戶即使閉上一只眼睛，依然能夠看到3D圖像。Magic Leap便采用這種更為實用的圖像制作方式。
第四章：AR市場潛力
本章導讀：在這一章中，我們將通過市場調(diào)研公司提供的數(shù)據(jù)，解讀AR未來的市場潛力，并詳細闡述為何AR未來的市場規(guī)模會比VR更大。
盡管過去一年里媒體開始大肆報道AR技術(shù)，我們目前了解到的大部分AR解決方案仍處于開發(fā)之中。只有少數(shù)硬件解決方案得到了大規(guī)模生產(chǎn)并能夠買到。
2011年，全球AR營收僅為1.81億美元，而且當時AR往往被人們視作一種營銷噱頭：一種還在摸索實用應(yīng)用的技術(shù)。很少有人認識到AR的潛力，開發(fā)相關(guān)應(yīng)用大多也是用來快速打響名聲，或者這些應(yīng)用的價值僅限于添加視頻效果這樣的博眼球之舉而已。
然而最新預測指出，到2017年，AR市場將增長至52億美元，年增長率竟逼近100%。隨著大量資金注入AR項目及AR創(chuàng)業(yè)公司，尤其是隨著谷歌、佳能、高通、微軟等大公司的入場，我們已經(jīng)看到第一批消費級AR產(chǎn)品的涌現(xiàn)。隨著實際商業(yè)利益的出現(xiàn)， AR將成為消費、醫(yī)療、移動、汽車以及制造市場中的“下一件大事”。
AR比VR更具增長潛力
市場調(diào)研公司Digi-Capital給出的一組數(shù)據(jù)很值得研究：到2020年，AR的市場規(guī)模將達到1200億美元，遠高于VR的300億美元。
VR對于游戲與3D電影來說是一項非常棒的技術(shù)，甚至可以說這項技術(shù)可謂是專門為此而設(shè)計的。但這項技術(shù)的體驗主要是在客廳、辦公室或者座位上展開的，因為如果你戴著一個完全封閉的頭戴式顯示器走在路上，隨時都可能撞到路邊的東西。
雖然AR技術(shù)應(yīng)用在游戲也非常有趣，但在需要真正沉浸式體驗的時候，其所帶來的樂趣或許不如VR技術(shù)那么多，這就像是移動游戲與主機游戲之間的差距。但是，AR技術(shù)在游戲玩家眼中的這個缺點，恰恰是讓它可以同智能手機一樣，在數(shù)以億計用戶的現(xiàn)實生活中發(fā)揮重要作用的優(yōu)勢。人們可以戴著它四處活動，做任何事情。
AR的軟件與服務(wù)擁有可與如今的移動市場相媲美的經(jīng)濟效應(yīng)，它們都可以利用現(xiàn)有的其他產(chǎn)品的市場，并不斷擴張它們。AR龐大的用戶基礎(chǔ)將會成為電視電影、廣告等行業(yè)的主要收入來源。
換句話說，AR技術(shù)有可能觸及到更多的人，因為它是對人們?nèi)粘Ｉ畹臒o縫補充，而不是像VR那樣在現(xiàn)實世界之外營造出一個完全虛擬的世界。
《增強現(xiàn)實：指向增強現(xiàn)實的一種新技術(shù)》一書的作者格里格·基佩爾在書中寫到：“增強現(xiàn)實將具備更多的實際應(yīng)用價值，因為在現(xiàn)實中，與真實世界中的事物互動的人更多一些。”
在AR技術(shù)的幫助下，人們通過專用頭盔看見的三維全息圖像可以為真實世界提供一種有益的補充。當你走過一個雜貨店的走道，你也許會在眼前的虛擬屏幕上看到制作意大利飯所需的食材和配料清單。又或者，當你在閱讀一本有關(guān)天文學的書籍時，你周圍可能會出現(xiàn)一幅太陽系的圖像。
但是戴上虛擬現(xiàn)實頭盔之后，你與周遭世界的聯(lián)系就被人為隔斷了。你被投影到一個不同的世界中，就像恐龍沖過一片叢林，或者像站在一幢100層的摩天大樓的樓頂上俯瞰著腳下的大街一樣。這跟主題樂園的游歷過程有些相似，就連虛擬現(xiàn)實頭盔戴久了會讓你感到惡心或者頭暈也跟你在主題樂園中呆久了的感覺很相似。
meta是硅谷的一家AR創(chuàng)業(yè)公司，員工人數(shù)大約為100人。meta CEO梅隆?格里貝茨預計，有朝一日，人們再也不用一邊在笨拙的鍵盤上敲敲打打，一邊緊盯著顯示屏的屏幕，人們可以在漂浮在眼前的全息圖像之間隨意切換和瀏覽，只需用手碰一碰就可以完成各種操作。當然還有虛擬鍵盤，人們可以利用它輸入數(shù)據(jù)。
人們可以進入他們的全息影像屏幕，提取出人的解剖圖，然后剔除骨骼進行研究。人們也可以通過透視去檢查自己打算購買的鞋子的內(nèi)部做工。到那個時候，打電話將會變成一種很奇怪的行為，因為所有人都可以在全息影像中進行對話。
格里貝茨說：“VR很酷，但它只是通向增強現(xiàn)實的一塊墊腳石。我們將開發(fā)出比Mac電腦好用一百倍且強大一百倍的產(chǎn)品?！?
第五章：AR面臨的挑戰(zhàn)
本章導讀：在本章中，我們將從技術(shù)方面解讀，當前AR面臨的挑戰(zhàn)，包括圖像識別、定位等。
對于AR而言，解決注冊任務(wù)是最核心的問題。注冊對精度的要求極為嚴格：由于AR應(yīng)以實時、六個自由度的形式將虛擬信息和現(xiàn)實信息相融合，即便是輕微的注冊失準都會造成組合視圖難以容忍的失真。因此，移動AR存在兩大難點：注冊必須極為精準，注冊對計算能力和內(nèi)存的利用必須極為高效。
這個問題是AR面向大眾部署所面臨的終極挑戰(zhàn)。我們斷言，目前大部分已知的注冊任務(wù)解決方案其實并不適用于智能手機——盡管看上去能用。因此，所有的AR研究人員都應(yīng)該為智能手機AR的大空間應(yīng)用問題開發(fā)專門的解決方案。
智能手機是AR大眾市場最具前景的平臺。智能手機生態(tài)系統(tǒng)為面向大眾部署AR的純軟件解決方案提供了一切要素。然而不應(yīng)忽視的是，盡管技術(shù)和邏輯取得了種種進步，但是AR應(yīng)用在智能手機上的大規(guī)模部署仍然存在著下列重大障礙：
1、相機質(zhì)量與成像處理。智能手機通常配備的相機傳感器在弱光條件下表現(xiàn)糟糕：圖像模糊，開始出現(xiàn)明顯色差。相機傳感器硬件通常禁止低層級訪問。API只提供了相機傳感器的高層級訪問，無法控制曝光、光圈及焦距。小型CCD傳感器導致相機采樣噪點增加，進而嚴重影響后續(xù)CV算法的發(fā)揮。圖像獲取過程中的質(zhì)量損失很難通過后期處理步驟補償。
2、電量消耗。電池電量近年來并沒有顯著提升。相機傳感器在以高幀率持續(xù)運行時耗電量很大，其主要原因是目前手機的設(shè)計用途仍然是拍照，而不是攝影。另外，傳感器和網(wǎng)絡(luò)接口也是耗電大戶。運行功能強大的AR應(yīng)用會讓電池迅速耗干。因此，AR應(yīng)用必須只能設(shè)計成供短時間使用，而不是一種“常開”功能。
3、網(wǎng)絡(luò)依賴性。遠程訪問大量數(shù)據(jù)受到幾個因素的影響。首先，網(wǎng)絡(luò)延遲會導致令人不爽的延遲，拖累AR應(yīng)用的瞬時表現(xiàn)。其次，訪問遠程數(shù)據(jù)僅在開了流量套餐時才有可能做到，而流量套餐可能過于昂貴或者無法開通。最后，某些地區(qū)的網(wǎng)絡(luò)覆蓋可能不滿足條件。于是完全獨立的AR應(yīng)用成為了唯一的可行選擇，這就意味著需要在設(shè)備上占用大量的存儲空間。
4、可視化與交互的可能性。智能手機的外形因素在購買決策中發(fā)揮著重要作用。實際上，可接受最大設(shè)備的尺寸嚴格制約了顯示屏的大小。交互技術(shù)同樣存在著類似的限制。多點觸控界面或許是最為先進的交互機制，但它在某些特定任務(wù)——如像素級的選取上表現(xiàn)糟糕。
理論上講，針對AR改進未來智能手機需從哪些方面入手已是眾所周知。在實踐中，AR應(yīng)用的開發(fā)者卻要看硬件廠商和服務(wù)供應(yīng)商的臉色，后者做出硬件發(fā)展決策的依據(jù)是市場預測，而其中可能不含對AR的需求。不過，硬件總體是朝著正確的方向發(fā)展的，尤其在移動游戲或移動導航系統(tǒng)的驅(qū)動下——而這兩者與AR在技術(shù)需求方面存在許多共通之處。此外，研究人員意識到目前相機控制方面存在限制，更好的相機API也會因此誕生，比如Frankencamera項目。
盡管平板電腦作為一種流行移動平臺也在不斷壯大，但它屬于放大版的智能手機平臺。由于尺寸放大，可視化與交互的限制有了些許放松，但這些設(shè)備的尺寸和重量同時也制約著它們在AR領(lǐng)域的應(yīng)用，原因是拿起來更加累人（比如說，把設(shè)備舉起來較長時間可能需要兩只手，反過來制約了交互的可能性）。除此之外，目前的平板電腦存在著與智能手機相同的問題。對于不同的AR應(yīng)用而言，智能手機和平板電腦可能前者更適合，也可能后者更適合。
計算機視覺面臨的挑戰(zhàn)
智能手機的一大優(yōu)勢在于，定位不必單單依賴于相機傳感器，也可以利用其它任意可用的傳感器，如GPS，指南針，加速度計和陀螺儀。盡管其它傳感器的使用在核心CV社區(qū)中往往被視為“作弊”，但這些傳感器能夠?qū)﹂_發(fā)實驗室外快速、健壯的定位功能做出重大貢獻。即便在結(jié)合了多種傳感器的幫助下，基于CV的定位仍然非常困難，一系列原因列舉如下：
紋理結(jié)構(gòu)。大多數(shù)方法依賴于興趣點外形上的自然特征，要求環(huán)境中各區(qū)域紋理足夠清晰。興趣點的主要問題在于，紋理的呈現(xiàn)形式至關(guān)重要。尤其在室內(nèi)場景中，常常會有白墻出現(xiàn)，使得基于自然特征的定位方法很難發(fā)揮作用。
光照和天氣條件。盡管自然特征描述器通常被設(shè)計為不受光照影響，但這一假設(shè)只有在描述實際物理特征的觀測研究中成立。不幸的是，室外環(huán)境中大量以自然畫面呈現(xiàn)的特征與實際物理特征并不相關(guān)。場景中物體投射的陰影會造成斑點、邊角、線條的出現(xiàn)，還會隨著光照或天氣條件變化而動態(tài)移動。因此，存在著大量的會對定位質(zhì)量產(chǎn)生嚴重影響的異常因素和不匹配因素，這與匹配算法的選擇并無關(guān)系。
數(shù)據(jù)庫規(guī)模大、易變化。對于室外環(huán)境而言，在定位之前必須采集大量數(shù)據(jù)并處理生成初始模型。利用昂貴設(shè)備的實時方法能夠處理這一問題：然而，無法訪問的區(qū)域仍然會造成最終模型中的孔洞（即未能構(gòu)建地圖的區(qū)域）。此外，得到的模型僅代表某個時間點的靜態(tài)快照。環(huán)境中的任何變動，如商店櫥窗的翻新，咖啡店遮陽傘的開閉，停車場汽車的去留，都會讓數(shù)據(jù)采集生成的模型瞬間過時。另一個重要方面是通信通道（可能是移動網(wǎng)絡(luò)）中最終模型的分發(fā)方式。由于這些模型通常體積頗大，整體還是拆分傳輸都會帶來技術(shù)難題。
失準及丟失的傳感信息。在室外定位中，GPS和指南針提供了關(guān)于設(shè)備大致位置和方向的極具價值的絕對信息。不幸的是，傳感器并不健壯：在不同的地點，傳感信息的準確度可能會有天壤之別。尤其是在狹窄的城市峽谷里，GPS信息可能會偏差100米，甚至會不可用。類似的是，磁干擾會嚴重影響電子指南針的讀數(shù)，而磁干擾在人造環(huán)境中是不可避免的。
精準定位是AR亟待解決的最為重要的任務(wù)。但正如上面所述，仍然存在著一些重大挑戰(zhàn)，仍需針對這些挑戰(zhàn)尋找真正切實有效的解決方案。近來平板電腦AR的SLAM實施證明，如果上述條件（即紋理結(jié)構(gòu)清晰）達到，就能充分實現(xiàn)小規(guī)模環(huán)境的定位注3。然而，大規(guī)模環(huán)境的定位僅存在于概念證明研究中。相關(guān)問題似乎難以攻克，因此只能等待技術(shù)的緩慢進步了。
其他挑戰(zhàn)
除了實現(xiàn)算法研究成果的精度和可擴展性這樣的學術(shù)目標外，還存在著一系列嚴重影響AR體驗實用性的實際問題。這些因素僅與AR的實際應(yīng)用相關(guān)，因此在科學文獻中討論較少。這或許會造成“這些問題不難解決或者與AR的成功不相關(guān)”的錯誤認識。下面列舉了一些與智能手機有關(guān)、同時也與AR一般用途有關(guān)的問題：
實際的硬件發(fā)展與“AR心愿清單”的矛盾：目前智能手機中相機及其它傳感器的質(zhì)量不足以滿足AR的高要求。硬件進步——如立體相機，CPU/GPU的統(tǒng)一隨機尋址，WiFi三角定位——能夠讓AR應(yīng)用的開發(fā)者極大受益。不幸的是，在AR尚未氣候成熟時，期待手機會針對AR優(yōu)化純屬幻想。硬件配置的任何變動會增加數(shù)百萬美元的開發(fā)成本，倘若之后無法滿足市場預期，搭上的錢還會更多。目前，消費者購買手機主要是為了語音通訊，游戲和網(wǎng)頁瀏覽。這些市場將會驅(qū)動近期到中期的手機功能革新。我們必須說服設(shè)備廠家AR是手機應(yīng)用的新興市場，這樣才能為AR爭取到更先進的硬件。幸運的是，如今AR的關(guān)注度已成規(guī)模，因此不久的將來，手機針對AR的優(yōu)化或?qū)⒊蔀楝F(xiàn)實。
動態(tài)場景與AR真實感的矛盾。目前的AR應(yīng)用假設(shè)場景中的一切事物都是靜態(tài)的。然而，現(xiàn)實恰好與之相反。尤其在室外場景中，幾乎所有物體都在變化：行人，光照和天氣條件，甚至是建筑物每隔幾年也會刷上新的顏色。定位會因此受到嚴重影響。
在動態(tài)場景中，大多數(shù)算法的基本假設(shè)從一開始就是錯誤的。比如說你正在對一個建筑立面進行增強，行人路過擋住了部分視野。由于算法缺少阻擋推理，就算增強內(nèi)容的視覺效果再好，未來硬件平臺的性能再強大，也會出現(xiàn)礙眼的錯誤。動態(tài)物體與虛擬內(nèi)容之間交互的缺失絕對會損害AR應(yīng)用的真實感。因此，目前CV研究成果中物體動態(tài)檢測與跟蹤技術(shù)的加入是未來實現(xiàn)高質(zhì)量AR的關(guān)鍵。
內(nèi)容創(chuàng)作與注冊的矛盾：AR之所以讓人興奮，很大程度上源于終端用戶參與內(nèi)容創(chuàng)作的發(fā)展前景。個人內(nèi)容創(chuàng)作是促使用戶積極參與而非被動觀察的關(guān)鍵所在。然而，目前仍然沒有實現(xiàn)這一概念的基本機制。
盡管手機的交互方法得到了極大改進，但在沒有精準全局環(huán)境模型的條件下，如何使用2D界面方便、精準地注冊6自由度內(nèi)容，這個問題仍未得到解答。就拿增強建筑物里面的一扇窗戶舉例，目前的方法甚至都無法搞定簡單的標記任務(wù)。尚沒有在開放空間內(nèi)輸入任意3D位置的機制，更別說明確指出方向了。
目前決定標簽的做法通常利用的是用戶（不精準的）GPS位置，而不是興趣物體本身。對于終端用戶創(chuàng)作真實、理想的內(nèi)容而言，在用戶附近對任意位置進行精準注冊一定要簡單而健壯——然而，這又是一個超出CV基本范疇的研究難題。
第六章：AR應(yīng)用案例
本章導讀：在這一章中，我們將探索AR這一新興技術(shù)目前在不同領(lǐng)域的運用情況，并預測有可能成為未來主流的最佳實踐。
我們選取了一定數(shù)量的AR創(chuàng)新案例，歸納成四種功能類別；每一種都會在個人或公司使用AR應(yīng)用時為其帶來顯著益處。
情境敏感式信息——在恰當?shù)氖录攸c出現(xiàn)的信息
第一類是情境敏感式信息，涵蓋能夠根據(jù)特定情境輕松獲取互聯(lián)網(wǎng)已有靜態(tài)數(shù)據(jù)的各種應(yīng)用。
Wikitude和metaio公司的Junaio（魔眼）是AR瀏覽器兩個最有名的例子，它們提供的情境敏感式信息軟件能夠識別場所或物體，并將數(shù)字信息與現(xiàn)實世界的場景連接起來。智能手機都可以運行這一軟件，用戶可以通過手機攝像頭的視角看到周圍的數(shù)字信息。
這些數(shù)字信息可以是附近感興趣的地方，比如博物館、商店、餐館或者前往下一個公交站的步行路線。該軟件通過GPS、WiFi和3D建模實現(xiàn)圖像識別和用戶定位功能。
語言翻譯是AR應(yīng)用中最具發(fā)展前景的領(lǐng)域之一。現(xiàn)有的一款應(yīng)用Word Lens兼容于幾乎所有智能手機，能夠?qū)⑽谋就椒g成另一種語言。打開應(yīng)用后，用戶只要將設(shè)備對準外國文字即可。設(shè)備就會將此信息翻譯成用戶母語并顯示出來。而且翻譯后的文本是同樣的字體，印在同一面墻上——就跟原始文本一樣。
面部檢測和AR的結(jié)合則是在現(xiàn)實生活特定情境中輕松獲取互聯(lián)網(wǎng)信息的另一個例子。Infinity是一款AR應(yīng)用，它可以分析一張面孔，將其與社交網(wǎng)絡(luò)上的頭像進行比對匹配，匹配目標在社交網(wǎng)絡(luò)中發(fā)布的信息就會顯示在用戶視野中。
這項功能在消費應(yīng)用領(lǐng)域非常實用的技術(shù)也會受到執(zhí)法部門的歡迎（如掃描人群，尋找通緝犯）。但不難理解，這款應(yīng)用已經(jīng)引發(fā)了許多人對隱私的擔憂。
大眾公司開發(fā)的MARTA系統(tǒng)是汽車領(lǐng)域中在恰當?shù)攸c提供恰當信息的極具可行性的最佳實踐解決方案。
該系統(tǒng)在汽車運轉(zhuǎn)失常時派上用場，幫助用戶進行汽車維修及維護。它能通過物體識別技術(shù)識別出汽車零部件，實時詳細地將所有必需的維修、維護步驟描述并圖示出來，并配有需要用到哪些設(shè)備的信息。這款應(yīng)用可以在多種移動設(shè)備上運行。目前，該系統(tǒng)為大眾服務(wù)獨家使用，不過可以想象，未來消費者都會用上類似的系統(tǒng)，不太了解汽車機械的人都能修好自己的汽車。
增強感知——成為人類2.0
即便是今天，AR應(yīng)用所能提供的也遠不止是隨時檢索互聯(lián)網(wǎng)信息這么簡單。下面講述的幾個AR用例通過主要由設(shè)備傳感器收集的數(shù)據(jù)生成新的信息，實現(xiàn)增強現(xiàn)實。這一系列設(shè)備能夠增強我們的感知，延伸人類能力，超越目前我們所能取得的成就。
已經(jīng)問世的Recon Jet是一套用于休閑活動的AR系統(tǒng)。該設(shè)備便于運動的平視顯示器（HUD）可以與藍牙、WiFi等第三方傳感器連接，提供導航和天氣信息，訪問社交網(wǎng)絡(luò)，顯示實時的狀態(tài)信息。例如，跑步者可以看到自己的速度，到終點線的距離，目前的海拔提升高度以及心率。目前已有上述功能的Recon Jet計劃未來針對在危險環(huán)境中工作或從事體力勞動人群開發(fā)可穿戴AR設(shè)備，監(jiān)測他們的生命體征和周圍環(huán)境。
再舉一個平視顯示器的例子，某些型號的寶馬汽車能夠在擋風玻璃上投影行駛速度等傳感信息。這種增強感知功能自從2004年以來被汽車公司所采用，寶馬正在不斷增加新功能，持續(xù)改進其HUD系統(tǒng)。
寶馬目前的ConnectedDrive HUD系統(tǒng)的增強方式是在外部環(huán)境真實物體上疊加虛擬標記。這樣導航信息或者駕駛助手系統(tǒng)的信息可以顯示在司機前方道路視野的精確位置上。導航指示可以層疊在道路上，其它汽車或安全相關(guān)的物體可以根據(jù)情況高亮顯示或標記出來。寶馬夜視系統(tǒng)提供的可視化信息正是HUD應(yīng)用的絕佳例證。
屢獲殊榮的iOnRoad應(yīng)用是一個類似于寶馬HUD的增強駕駛助手系統(tǒng)，只不過面向平民大眾市場，也沒那么先進。該應(yīng)用僅使用智能手機相機和一些視覺算法，提供了諸如碰撞預警、出口監(jiān)測、道路出界預警以及事故后能派上用場的黑匣子錄像功能。
Liver Explorer是AR應(yīng)用在另一個截然不同的領(lǐng)域中的例證。外科醫(yī)生可以通過Fraunhofer MEVIS公司開發(fā)的Liver Explorer應(yīng)用增強感知。該應(yīng)用能夠為執(zhí)業(yè)醫(yī)生提供實時的AR向?qū)Ш洼o助。設(shè)備通過攝像頭捕捉肝臟影像，利用AR技術(shù)將手術(shù)計劃的數(shù)據(jù)疊加到器官上。
另外，該軟件還能實時響應(yīng)（如根據(jù)系統(tǒng)持續(xù)追蹤的血管運動狀態(tài)及時更新手術(shù)計劃）。這些功能超越了MARTA系統(tǒng)對于情境敏感式信息的定義。如果該應(yīng)用能得到積極評價的話，未來很可能會改造推廣到更多的手術(shù)領(lǐng)域中。
在危險情況下，隨時掌握關(guān)鍵信息尤為重要。正因為如此，軍方成為了AR應(yīng)用最大的投資者之一。Q-Warrior Helmet是一款軍事應(yīng)用。該AR項目希望能為士兵們提供“保持警惕，視野開闊，手搭扳機”的場景意識，以及敵我識別、夜視影像和遠程協(xié)調(diào)小分隊的增強功能。該頭盔會將每個佩戴者的具體位置信息提供給其他人，軍事組織可以通過它在戰(zhàn)斗或偵查行動中集結(jié)、行軍、分享信息與位置。不難想象，未來類似的系統(tǒng)會出現(xiàn)在其他工作環(huán)境危險的職業(yè)中（如消防員、執(zhí)法人員）。
混合現(xiàn)實模擬——在現(xiàn)實中探索虛擬
上述案例以提供靜態(tài)數(shù)字信息的方式為我們展示了增強現(xiàn)實的應(yīng)用，然而接下來這一類的AR實踐相比之下更進了一步。通過這些所謂的混合現(xiàn)實模擬，用戶可以在現(xiàn)實環(huán)境中動態(tài)地更換或調(diào)整虛擬物體。
最新的宜家應(yīng)用Ikea Catalog就是其中最為突出的一個例子。借助于這個由metaio公司開發(fā)的AR應(yīng)用，消費者可以使用移動設(shè)備把所選的數(shù)字版宜家家具“放置”在自己家客廳里，從而更方便地測試家具的尺寸、風格、顏色擺在某個位置是否合適。該應(yīng)用還允許用戶調(diào)整每一個部件的尺寸和顏色。
優(yōu)衣庫的試衣魔鏡（Magic Mirror）提供了一種更加個人化的AR試衣體驗。2012年舊金山的一家優(yōu)衣庫門店安裝了這臺大型增強試衣鏡，它能夠識別顧客的身材和所選衣物，因此免去了再試其它顏色的必要。顧客只需換上某件衣物站到鏡子前；根據(jù)觸摸屏的提示選擇其它顏色，鏡子中就會投射出顧客身著另一種顏色的影像。
佳能推出的MRERL系統(tǒng)能夠?qū)崿F(xiàn)3D電腦渲染模型在現(xiàn)實環(huán)境中與現(xiàn)實世界物體無縫融合的設(shè)計過程。舉例來說，汽車領(lǐng)域可以借助于這套系統(tǒng)設(shè)計出新汽車的模型。MREAL系統(tǒng)支持多用戶協(xié)同工作，同步進行完整規(guī)模的產(chǎn)品設(shè)計。
這套系統(tǒng)可以用來分析新規(guī)劃設(shè)計中現(xiàn)實部件如何組合的問題。其實現(xiàn)方式是，渲染出包括現(xiàn)有部件和新設(shè)計概念的3D模型，再將兩者組合起來。
例如，可以將現(xiàn)有的汽車座椅整合到新車虛擬設(shè)計的投影中。MREAL系統(tǒng)提供的是混合現(xiàn)實，因此用戶可以真的坐到（真實的）座椅上，看到汽車外面的真實環(huán)境以及汽車內(nèi)部的數(shù)字虛擬模型——包括全新設(shè)計的儀表盤和方向盤。
另一個已投入使用的工業(yè)級AR應(yīng)用來自空中客車公司（Airbus）。為了能夠完全依靠數(shù)字工具完成新飛機的生產(chǎn)流程，空中客車公司于2009年聯(lián)合打造了MiRA（混合現(xiàn)實應(yīng)用）。該應(yīng)用利用AR掃描部件、檢測錯誤，從而提高了生產(chǎn)線的效率。
以A380客機為例，由平板PC、特制傳感套件和軟件組成的MiRA應(yīng)用現(xiàn)在已將組裝機身中成千上萬個支架的時間由300小時降低至驚人的60小時。更為震撼的是，之后發(fā)現(xiàn)，損壞、安裝錯位或者遺失支架的數(shù)量卻降低了40%。
日本的一位黑客利用現(xiàn)有的3D模型和廉價的動作傳感器實現(xiàn)了與日本超人氣虛擬歌手初音未來的AR“約會”。在演示視頻中，初音陪著他漫步公園，初音能夠識別現(xiàn)實世界的物體并做出反應(yīng)（比如坐在真實的長椅上）。該軟件甚至還能與這位虛擬歌手互動（比如摸摸她的頭或領(lǐng)帶）。盡管這個應(yīng)用有著明顯的煽動性，但它絕非只是噱頭。由此我們可以想到，不久之后人們或許會有虛擬伴侶的陪伴，在需要時提供幫助（比如，輔助搞定醫(yī)療或工程問題，或者以人形界面的形式處理個人日歷、備忘錄、通訊錄等日常數(shù)字事務(wù)）。
虛擬界面——在虛擬中控制現(xiàn)實
接入互聯(lián)網(wǎng)“智能”玩意兒越來越多，獲取數(shù)字信息的方式越來越多，于是打算利用AR設(shè)備及數(shù)據(jù)來工作的人也越來越多。因此，我們討論的第四類——虛擬界面，關(guān)注的是提供以數(shù)字形式控制現(xiàn)實世界物體的新方式的AR技術(shù)。本質(zhì)上說，這類技術(shù)讓調(diào)整、控制真實物體的混合現(xiàn)實成為可能。
手勢是一種隨時與數(shù)字世界進行交互的高級方式。上文所說的麻省理工學院開發(fā)的SixthSense正是這么一種手勢界面系統(tǒng)。盡管該系統(tǒng)目前采用的是空間AR技術(shù)，它也可以應(yīng)用于其它各種技術(shù)中。借助于該系統(tǒng)，用戶可以使用自然手勢與信息進行交互。為了捕捉用戶的輸出意圖，該系統(tǒng)的相機采用計算機視覺技術(shù)對用戶手勢進行識別和追蹤。
基于AR的界面不局限于計算機設(shè)備。還能用來控制汽車，娛樂設(shè)備，以及加熱系統(tǒng)這樣的家居配套設(shè)施。仍在開發(fā)之中的家庭自動化系統(tǒng)Revolv正是這樣的例子。結(jié)合Google Glass后，用戶可以通過該系統(tǒng)控制家中的所有數(shù)字設(shè)備（如照明系統(tǒng)和門鎖系統(tǒng)）。于是就形成了可以用語音或指尖控制的增強“智能”家居環(huán)境。
中國電商1號店的例子告訴我們，虛擬界面也不局限于家中。該公司曾宣布，將成立全球第一個AR連鎖超市。
每一家超市將會有一塊約1.2平方米的貨架，設(shè)置在“空白”的公共區(qū)域（比如火車車站或地鐵車站，公園或大學校園）。裸眼看去只是空蕩蕩的貨架和墻壁，通過AR設(shè)備看到的則是完整的一個超市，貨架上堆滿了數(shù)字形式的真實商品。用戶只需通過移動設(shè)備掃描商品，添加到網(wǎng)絡(luò)購物車中，即可完成購買。AR購物完成后，用戶會在家中收到配送的商品。這個概念類似于韓國地鐵站里基于二維碼的樂天超市，但得到了AR技術(shù)的增強。
結(jié)語：AR是一座比VR還要大的金礦
很多案例已經(jīng)證明，AR技術(shù)在職業(yè)場合更有用。第一代谷歌眼鏡在消費類市場遭遇了失敗，但在一些小眾市場，例如醫(yī)療健康領(lǐng)域，谷歌眼鏡仍被證明非常有用。微軟HoloLens的橫空出世，讓我們感覺到AR還能發(fā)揮更大的作用。
AR技術(shù)短并不在于游戲或?？?，而是在于滿足實際需求的職業(yè)應(yīng)用，這些應(yīng)用看起來并不是很酷，但卻更貼近現(xiàn)實。相比于VR，AR似乎是一座更大的金礦。
附：報告引用文章
What Is Augmented Reality and How Can Engineers and Designers Use It？作者：Jeffrey Heimgartner
ugmented reality startups and technology trendsetters want to show that virtual reality is merely a 'stepping stone' to breakthroughs that touch more people，作者：Micheal Liedtke
How Augmented Reality Works？，作者：Kevin Bonsor
Augmented Reality in Logistics，作者：DHL Trend Research
Related
NEWS 
