【AR研究】第一集—AR的基本原理科普

2021-01-20 騰訊GWB遊戲無界

AR,即增強現實技術,它的出現意味著能將計算機技術帶到現實當中來,能使科技更「貼近」人們的現實世界的生活,被譽為可能是代替智慧型手機的,未來的下一個平臺。



作為永遠要離未來更近一些的設計師,當然需要了解時下最新的技術和熱點,於是和周圍小夥伴們展開了將AR作為課題的系列研究,作為技術儲備。和大家分享下AR的基本定義和工作原理部分。



AR是對現實的增強,是虛擬影像和現實影像的融合。



AR技術具有虛擬實境融合、實時交互、三維註冊三大特徵。其中三維註冊是其中最重要的特徵。


三維註冊(也叫三維配準)強調計算機生成物和現實環境的對應關係,虛擬的物體和現實環境的三維位置和大小必須完美融合。



觀察科技演進的歷史會發現從一開始的工業革命,到現在的信息技術革命以及正在蓬勃發展必定會興起的認知革命,科技的發展其實意味著現實和虛擬的更好融合。而AR正是這種融合時代的代表性技術。



AR/VR技術的起源,可追溯到Morton Heilig在上個世紀五、六十年代所發明的Sensorama Stimulator。他是一名哲學家、電影製作人和發明家。他利用在電影上的拍攝經驗設計出了圖中這個叫Sensorama Stimulator的機器。Sensorama Stimulator可使用圖像、聲音、香味和震動,讓用戶感受在紐約布魯克林街道上騎著摩託車風馳電掣的場景。這個發明在當時非常超前。


以此為契機,AR也展開了它的發展史。來看看各時期AR的發展裡程碑吧。



很多人對於VR、AR、MR等概念還是處於混淆的狀態,那麼到底如何區別這三者呢?



AR和VR的區別,除了從硬體和技術等方面有區別,歸根到底是要看到底是對現實的增強還是完全的虛擬化。



如若是讓人們完全投入進入虛擬世界的沉浸感,則是VR。(如超級學校霸王電影裡面2人進入街機裡面玩超級瑪麗)



如若是讓虛擬的事物和現實接軌,則是AR。(如超級學校霸王電影裡面虛擬世界的英雄形象進入真實世界懲罰壞人)



而MR則是讓2者完全的融合,「實時的」進行虛擬和真實的交互。是最終的發展形態。混合現實是實現虛擬和現實的完美融合。



目前的MR和AR可以從設備上來進行區分,有以下2點不同。

比如如果虛擬物體的位置能夠隨設備而移動,做到隨身隨行,則是MR的實現,如果不能移動,定位在三維世界中,你離開了,虛擬物體還是擺放在剛剛的位置,則是AR。而MR的最高形態,虛擬和現實已經融為一體,有一致的體驗,不容易被區分了。




在介紹AR的工作原理之前,我們先通過一個例子,讓大家有一個簡單的認識。


在2009年2月的TED大會上,帕蒂•梅斯(Pattie Maes)和普拉納夫•米斯特萊(Pranav Mistry)展示了他們研發的AR系統。該系統屬於麻省理工學院媒體實驗室流體界面小組的研究成果之,他們稱之為SixthSense(第六感)。它依靠眾多AR系統中常見的一些基本元件來工作:攝像頭、小型投影儀、智慧型手機和鏡子。

可以點擊這個,查看她的研究



上圖是一個典型的AR系統結構,由虛擬場景生成單元以及顯示器和頭盔等交互設備構成。其中虛擬場景生成單元負責虛擬場景的建模、管理、繪製和其它外設的管理;顯示器負責顯示虛擬和現實融合後的信號;頭部跟蹤設備跟蹤用戶視線變化;交互設備用於實現感官信號及環境控制操作信號的輸入輸出。


首先攝像頭和傳感器採集真實場景的視頻或者圖像,傳入後臺的處理單元對其進行分析和重構,並結合頭部跟蹤設備的數據來分析虛擬場景和真實場景的相對位置,實現坐標系的對齊並進行虛擬場景的融合計算;交互設備採集外部控制信號,實現對虛實結合場景的交互操作。系統融合後的信息會實時地顯示在顯示器中,展現在人的視野中。



為了保持現實和虛擬的對準,跟蹤和識別的技術就顯得尤為重要。


檢測和識別技術包含圖像匹配和識別以及語義檢測和識別這2點。



跟蹤定位技術則分為基於硬體的定位技術和基於視覺的定位技術2點。


其中基於視覺的跟蹤定位技術最核心的技術,也是主流技術。



基於視覺的三維配準包含了這3個發展階段。




二維圖片定位是指基於平面物體的識別和定位,比如現在市場上很常見的一些AR技術圖書,又或則是APP應用。這種技術是將現實世界的一張圖片作為定位的錨點,計算機生成的虛擬物體會圍繞這個定位點,融入現實環境中。



目前基於圖片定位的AR是最為成熟的技術,廣泛運用在各個地方。目前用在兒童教育圖書方面,會比較多。


比如下面的科學跑出來系列圖書



二維圖片的自然擴展當屬三維物體。一些簡單的規則三維物體,比如圓柱狀可樂罐,同樣可以作為虛實結合的載體。對於一些特定的非規則物體,比如人臉,由於有多年的研究積累和海量的數據支持,已經有很多算法可以進行實時精準對齊。比如faceU應用(被人臉識別後,吐彩虹的川普)





對於三維環境的動態的實時的理解是當前AR在技術研究方面最活躍的問題。其核心就是最近火熱的「即時定位與地圖構建」(SLAM,SimultaneouslyLocalization And Mapping),在無人車,無人機和機器人等領域也起著核心作用。AR中的SLAM比其他領域中一般難度要大很多,主要是因為AR賴以依存的移動端的計算能力和資源比起其他領域來說要弱很多。目前在AR中還是以視覺SLAM為主,其他傳感器為輔的局面,儘管這個情況正在改變。


標準的視覺SLAM問題可以這麼描述為:把你空投到一個陌生的環境中,你要解決「我在哪」的問題。這裡的「我」基本上等同於相機或者眼睛(因為單目,即單相機,請把自己想像成獨眼龍),「在」就是要定位(就是localization),「哪」需要一張本來不存在的需要你來構建的地圖(就是mapping)。你帶著一隻眼睛一邊走,一邊對周邊環境進行理解(建圖),一邊確定在所建地圖中的位置(定位),這就是SLAM了。換句話說,在走的過程中,一方面把所見到(相機拍到)的地方連起來成地圖,另一方面把走的軌跡在地圖上找到。 


目前AR的應用最為前沿的就是微軟的Hololens頭戴設備了。Hololens的部分應用就使用了SLAM技術。


下面的視頻演示了Hololens的實際測評,可以看到它對現實環境進行的掃描和演算。



更多關於Hololens的資訊,可以點擊進入Hololens的官網去了解



參考文章:

VR次元 《全球首份AR報告》

艾瑞《2015年中國VR-AR市場研究報告》

易觀《中國增強現實市場專題研究報告2016》

易觀《中國AR行業應用專題研究報告2016》

凌海濱  《想靠AR超越現實,需要趟過多少坑》

VR看天下 《VR、AR、MR、CR到底如何區分?》


相關焦點

  • 紀念碑谷ar卡片怎麼玩 紀念碑谷ar圖片功能詳解
    紀念碑谷ar卡片怎麼玩呢?九遊小編艾米分享下紀念碑谷ar卡片玩法技巧。 紀念碑谷ar卡片怎麼玩? 紀念碑谷ar卡片使用方法: 首先先... 紀念碑谷近期新增AR卡片,紀念碑谷又新增了一個全新的玩法。紀念碑谷ar卡片怎麼玩呢?九遊小編艾米分享下紀念碑谷ar卡片玩法技巧。
  • 《靈魂戰紀》全新ar卡效果是什麼?
    《靈魂戰紀》全新ar卡效果是什麼?近日,《靈魂戰紀》1月18日更新了10張最新的ar卡亮相,隨著ar的技能描述信息也在卡池中描述出來。下面是10張AR卡的介紹靈魂戰紀 五星ar卡五星卡【折鳶少女 哈露μ】淬火
  • Spark AR 統整特效發布
    【1】:https://sparkar.facebook.com/ar-studio/learn/publishing/spark-ar-review-policies#part-1-effects 【2】:https://sparkar.facebook.com/ar-studio/learn/publishing-your-effect
  • 支付寶安慕希ar圖片 安慕希額外福卡掃福高清大圖專用
    支付寶安慕希ar圖片 安慕希額外福卡掃福高清大圖專用  支付寶掃安慕希2020?支付寶在今年集五福一共有五種方式,可以說是相對於之前幾年是容易一些的了!但是很多用戶不知道支付寶掃安慕希2020怎麼掃,下面是小編整理的關於支付寶掃安慕希2020的相關信息,快來看看吧!
  • 中國移動福字AR圖片 2019支付寶在哪怎麼掃移動福字出福卡
    2019支付寶集五福活動中還有一些隱藏的福字圖片可以供用戶們得到福卡,那麼支付寶中國移動福字在哪掃?下面小編為您帶來支付寶中國移動福字ar圖片。  支付寶中國移動福字在哪掃? 原標題:支付寶中國移動福字在哪掃 支付寶中國移動福字ar圖片 責任編輯:曾少林
  • 【討論】AR你懂我的意思吧 一起來捉妖
    而在pokemon go遊戲熱爆全球的時候,ar遊戲也開始進入新的紀元,開發這個遊戲的公司也因此賺得滿盆頗豐,ar遊戲市場還是很有潛力的。接下來小編就來給大家盤點ar遊戲,好玩又有趣。Pokemon Go:點開手機上的《Pokemon Go》,手機攝像頭實時拍攝的現實畫面中,便會出現皮卡丘、小火龍、比比鳥、傑尼龜等寵物小精靈形象。
  • VR和AR的未來發展
    vr/ar的應用什麼是虛擬實境?虛擬實境技術(vr)是一種能夠創造和體驗虛擬世界的計算機仿真系統,它使用計算機生成一個模擬環境,它是多源信息融合、交互式三維動態場景和實體行為的系統仿真,使用戶能夠沉浸在環境中,什麼是AR?
  • Unity推出的AR Foundation能幫助使用者解決AR開發過程中遇到的難題
    的初始版本將為大多數AR應用的核心功能提供支持: 平整表面檢測 表示為點雲的深度數據 高效的pass-thru渲染 有助於將虛擬對象錨定到物理世界的參考點 估計平均色溫和亮度 追蹤物理空間中的設備位置和方向 在AR中正確縮放內容的實用程序 針對平面和深度數據的光線投射 這一功能集僅僅只是開始
  • 看詞根巧記單詞:ar詞根
    ar——在戰爭毀壞了的酒吧門前,水兵手裡把著一罐平價的啤酒,耳朵留意著遠方的車和小艇。   war [wc:] n.戰爭;vi.作戰,打仗。   mar [mb:] v.弄壞,毀壞,損害;n.損傷,毀損,障礙;n.(mar)三月(=march)。
  • 今日起,有關AI/AR/VR/MR的知識你一定要知道
    無論你現在從事什麼行業,做著什麼工作,有關於AI/AR/VR/MR這幾個黑科技名詞,你一定要好好弄清楚,因為前沿科技越來越受到我們的關注和熱議,可別在跟朋友聊天時因為分不清AI/AR/VR/MR到底是什麼內容而出糗,那就真的尷尬了…… 下面我們就來好好科普一下這幾個縮寫名詞AI/AR/VR/
  • 2020谷歌開發者大會:AR軟體工程總監介紹ARCore最新動態
    ARCore的新增功能如下: 迅速放置API(Instant Placement API) 一般來說,用戶在空間中放置過ar原理是通過不同角度拍攝多張圖像,並在移動手機時進行比較,以估計到每個像素的距離。儘管只有一個RGB相機,添加了景深傳感器(如飛行時間傳感器),會讓景深地圖效果更好。
  • 閃耀暖暖AR模式怎麼用 AR拍照模式使用方法
    閃耀暖暖ar拍照怎麼弄?AR模式是閃耀暖暖中一種特殊的拍照模式,在AR模式暖暖可以出現「現實場景」中拍照,下面小編就給大家介紹AR拍照使用方法。
  • 《精靈寶可夢Go》上線AR地圖掃描任務 每個任務大約需要30秒時間完成
    據悉,AR Mapping是遊戲開發公司Niantic在收購3D地圖公司6D.ai後推出的技術,目的是通過玩家眾包的3D數據來優化LBS ar遊戲體驗,以及為未來的大規模3D AR地圖打基礎。  據了解,AR Mapping田野調查課題僅對等級20級以上的玩家開放,只有在部分特定的補給站可以領取。
  • 高德地圖行車記錄儀AR導航怎麼設置使用教程
    高德行車記錄儀ar導航設置使用教程。
  • 不用再憑空想像 家裝APP Houzz推出虛擬地板的AR功能
    題圖出自:next reality news原文連結:https://mobile-ar.reality.news/news/home-decor-app-houzz-expands-augmented-reality-catalog-include-virtual-floor-tile-0196144/