2020 Google 多項 ARCore 更新帶來AR開發全新可能!

疫情背景下，Google 為了與本土開發者相聚，GDS 2020（Google 開發者大會）搬到線上，以「代碼不止」為主題，14+ 產品線，50+ 精彩技術演講，70+ 技術專家，6 天技術演講滿滿乾貨。ARCore 壓軸出場，著重介紹了今年新推出的兩項AR領域的重磅功能 : Depth API（深度 API）以及持久雲錨點（Persistent Cloud Anchors）技術，搭載引人入勝的精彩展示，帶你感受科技為生活帶來的無限可能。

Google 發布於2018年的 ARCore 是增強現實技術開發者的平臺，為 Android 和 iOS 用戶創造有效的 AR 體驗。目前該技術已支持7億臺以上的設備，被應用成千上萬款 APP 上，並且持續成長中。

11月16日的 Keynote 演講，以及11月21日的兩場會議圍繞「 ARCore 新功能」和「深度 API 實現 AR 真實感」兩大主題，介紹了 ARCore 在技術上的新進功能，在環境景深理解上的進階技術探索，以及與本地開發者的創新合作成果。加上科技達人多角度詮釋 ARCore 技術更新及本土案例，掀起科技迷們對 AR 的新一波熱情。

ARCore在中國 - 越來越多開發者正在創新運用

從 2018 年 ARCore 技術登陸中國，已經在教育、購物、遊戲等多個行業和大量開發者進行合作。隨著 ARCore 的不斷更新，越來越多的中國開發者正在創新應用這項技術，為本地用戶帶來更多新奇體驗。

美圖 - 用 AR 拍出夢幻自我

美圖公司利用 ARCore 的增強臉部 API（Augmented Faces API）構建了 100 多個自拍濾鏡，讓用戶可以在拍攝照片和視頻時體驗 AR 特效。增強臉部 API 提供高精度的由 468 個點組成的密集 3D 臉部網格，追蹤嘴部動作、眨眼、點頭和一些複雜的細節。

此外，新推出的瞬間放置 API (Instant Placement API) 對美圖更是如虎添翼。加上幾行代碼，通過將 AR 對象錨定到 2D 圖像中，讓用戶不需要掃描，就可以放置虛擬物件並進行互動。

有道少兒詞典 - 用 AR 身臨其境地學習

有道少兒詞典使用 AR 打破了時空限制，讓孩子們有趣和又有效的方式學習新單詞。利用 ARCore 的環境理解（Environmental Understanding）及平面識別(Plane Finding)，識別環境中的對象和特徵，精確地理解環境，加上炫酷逼真的 3D 模型，為孩子們帶來身臨其境學單詞的樂趣體驗。

學習過程中，孩子們不僅可以將精緻模型投射在家裡，從各種角度進行觀察，放大縮小或移動；還可以點擊模型上的中英文詞框，或點進查詞結果頁，查看中英單詞的權威釋義，使形象和字義深刻聯結。這大大提升了學習的趣味性，讓孩子們邊學邊玩兩不誤。

滴滴 - 用 AR 讓路痴永不迷路

在火車站、商場和機場等大型公共區域，你是否有打上車卻找不到司機的體驗？AR實景導航，讓路痴輕鬆找到方向。

基於 ARCore 技術，滴滴構建了一個實景導航解決方案，實時識別用戶和環境之間的定位關係，AR 實景導航引導信息逼真地和實景環境相結合，用戶只需要跟著 AR 路標走，直接跳過轉換 2D 地圖信息的步驟。在這個過程中，ARCore 的環境理解和運動跟蹤功能，確保手機始終識別用戶方位，給出正確的路標指導。

在定位時，ARCore 會提示用戶獲得一張有效定位圖片，利用運動追蹤功能，感知用戶位置、移動速度和角度。同時，ARCore 通過環境理解功能可以理解周圍現實環境，估算平面信息，不論是商場地面，還是垂直於水平地面的牆壁、指示牌，它都能快速理解並相應放置虛擬指示路標，使引導信息渲染得更加逼真，讓用戶一看就明白。

這種有用、科技感十足的導航方式，一經推出就大受用戶好評。這項功能在中國、日本等多地上線，據數據顯示，它幫助用戶節省近 1/4 的時間，滿意度達 80%。

ARCore 新進展 - 讓更多人，在更多地方體驗更逼真的增強世界

除了這些豐富多彩的創新合作成果，本次 Google 開發者大會上，還著重介紹了 ARCore 技術的最新進展，為各位開發者們帶來了兩項AR領域的重磅功能：Depth API（深度 API）以及持久雲錨點（Persistent Cloud Anchors）技術。

深度 API - 解決 AR 界的遮擋及互動難題

2020年中，Google 發布了 ARCore Depth API（深度 API），為開發者們帶來解決虛擬物件擬真技術難題的希望，開發者憑藉 Depth API 和單個 RGB 攝像頭就可創建出深度圖。不依賴任何特殊硬體，所以在大部分兼容 ARCore 的設備上都是可以使用深度API的。

Depth API 的一項最關鍵功能就是「遮擋」：虛擬物體能夠準確地出現在現實物體後面，與場景真正融合在一起。此前沒有遮擋功能，虛擬物體容易「橫空出世」，更像是現實世界中的「貼圖」，讓人瞬間出戲。

△ 左邊沒有遮擋功能的「喵星人」缺乏真實感，右側開啟遮擋功能的「喵星人」則逼真地藏在了遮擋物後面。

那麼究竟深度 API 是怎麼實踐的呢？怎麼使用深度呢？

首先，我們先定義深度：就像下圖裡面表示的，C 點是攝像機的位置，Z 軸是攝像機的主軸。大寫的 A 點，表示一個現實的物體。C 到 A 點的深度，就是線段 CA 在 Z 軸的投影。

一旦我們知道場景裡面的物體的距離，我們就可以在渲染虛擬物體的時候使用這個信息，進行 Z buffer 計算。比較當前的像素點的深度與之前渲染在這個像素的點的深度，如果已經有別的物體出現在更近的位置，那麼我們就忽略當前的像素點，這樣就實現了基於深度的遮擋效果。

如上圖所示，我們使用藍色表示近處的深度，藍色越深表示一個物體靠近攝像頭越近，它的的深度值就越低。當我們啟用深度表示時，就可以看到桌子的深度比椅子所在的位置深度低，所以桌子就能遮擋住椅子。

此外，使用深度信息，還可以做出一系列擬真的特殊效果。例如更加逼真的物理反彈飛濺，避開障礙物的最佳路徑規劃，或完美貼合在凹凸不平的表面。也可以近一步運用粒子特效，模擬一些很難用其它傳統的渲染技術達到真實感的自然現象，如火花、落葉、下雨、下雪等。

知名的社交應用 Snap 公司的設計師和工程師就將 Depth 的多項特性巧妙地融合在一起，開發出了一套與實景完美結合的  Snapchat 濾鏡，包括跳舞熱狗（Dancing Hotdog ）以及 Android 版獨有的海底世界（Undersea World）。此外，Snapchat 也在濾鏡開發工具中，整合了ARCore Depth API ，濾鏡創作者只需在開發工具中下載 ARCore Depth API 模版，就能開發出基於深度，更沉浸更真實的體驗。因為開發過程大大簡化，濾鏡創作者們可以更輕鬆地應用高級的深度功能。

△ Snapchat 濾鏡的真實體驗感

除了移動遊戲與社交軟體上的應用之外，深度 API(Depth API) 還在很多工具類應用上大放光彩。

例如，提供遠程技術解決方案的應用程式 TeamViewer Pilot 在視頻會話中加入 AR 注釋，這都多虧了 Depth API 幫助程序更好地理解環境及物件，世界各地的專家足不出戶，就可以準確使用實時 3D AR 注釋為用戶提供遠程技術支持。

△ TeamViewer Pilot 應用中的 3D 注釋功能讓專家遠程精準標記出重要細節

三星的快速測量工具 Quick Measure 也在技術支持下不斷迭代 ，目前 Quick Measure 就可以在三星 Galaxy Note10+ 和 Galaxy S20 Ultra 的設備上應用 ARCore Depth API ,為用戶提供更精確的測量功能了。

三星相機技術項目經理 Soowan Kim 認為 Depth API 大有可為：「Depth 會從多個層面豐富用戶的 AR 體驗。它將減少掃描時間，加快平面檢測速度，即使是紋理不清晰的平面也能快速檢測。

△ Quick Measure 實現更精準測量

持久雲錨點 (Persistent Cloud Anchors) - 讓 AR 物體永存的秘密

ARCore 雲錨點，通過 Google 的雲服務託管錨點，可以讓二個人甚至是二百人在同一個虛擬世界共享與互動。全新的持久雲錨點則加強了這個功能，讓用戶將虛擬內容「儲存」到任意現實場景中，將了文字、影像信息、或3D人物虛擬內容的和現實世界地點關聯起來，永久保存共享。

△ SJ Labs 通過 AR 標記協助指引旅客們在斯德哥爾摩中央車站內行進

這一技術，讓許多人以城市真實環境互動的沉浸 AR 應用及遊戲得以實現。例如 MARK，是由 創夢天地和 Sybo 開發的一款AR社交應用，可以讓你通過智慧型手機，在現實世界中和朋友、粉絲共同發現、共同創作的和現實場景完美融合的AR塗鴉。運用 AR 和地點場景完美整合的特性，你還可以用來裝飾房屋、進行多人大範圍的尋寶遊戲、甚至跨城市的慈善募款等。

△ MARK 應用中與粉絲好友一起 AR 塗鴉

此外，沉浸式內容工作室 Phoria 與 Google 、Netflix、WMF和一加合作，推出大自然主題的移動端 AR 互動應用：《Rewild》（中文直譯為：重歸荒野）。首個試播集名為《Frozen》，是系列四部曲的第一部。你在體驗過程中，需要先用手機掃描周圍環境，通過掃描和探索來發覺故事中的 AR內容。通過該應用，你可以利用周圍的空間與 AR 進行互動，好像親眼目睹地球的浩劫與救贖，效果震撼人心。

△ REWILD 應用中可身臨其境探索宇宙

    

當我們討論行動網際網路的未來, 相信「5G」 絕對是那個最重要的關鍵詞。

5G 賦能了巨量、穩定、且快速的資料互聯, 無論是對用戶，或是整個IoT生態圈，都將帶來革命性的新機會, 也為AR的應用帶來前所未有的可能。

Google ARCore 團隊也和許多運營商合作嘗試了AR 加 5G 的全新應用。例如，在南韓，這個全球第一個邁入 5G 全面商用化的國家，LG Uplus 在首爾地鐵站，建立了 AR 藝術長廊以及展示車廂。雖然地鐵站一向都是人數多、信號差的地方，但是有了 5G 的加持，用戶可以直接通過手機觀看韓流明顯或是瑜伽教練的真人全息影像，也可以順暢體驗複雜的 3D 人物舞蹈。

此外，Google 也與SK Telecom，及文化遺產管理局合作，創建了全球第一個5G 賦能的AR增強現實文旅體驗，作為 5G 網絡服務示範。通過ARCore 賦能，用戶可以身臨其境的了解昌德宮的歷史故事，生動地看到昌德宮的金泉橋、仁政殿、熙政堂等景點。之前因文化遺產保護而限制入內的地方也得以公開。 此外，用戶還可以與AR中的王和王后一起拍攝 AR 照，或進行 AR 射箭、AR 放風箏等豐富多彩的 AR 體驗。SK 電信品牌營銷集團負責人表示：「今後將利用 5G 技術，推出更多能夠為社會做出貢獻的活動」。

AR 作為一種視覺沉浸式媒介，持續吸引著社會各界的廣泛關注。Google 作為技術先驅,正積極地與全球開發者合作，用大放異彩的 ARCore 帶來一個又一個驚喜。這種變革式的新體驗，在不斷發展中已有長足進步，但想必它還有更為廣闊的遠景。未來，它將如何予力社會與個人，改變你我的生活呢，讓我們拭目以待。

想馬上開始實做你的第一個AR 應用卻沒有基礎？ Google 與網易有道在中國大學 MOOC（慕課）合作，上線 ARCore 技術零基礎免費線上課程，助力開發者學習成長。你可以直接到慕課官網搜索 「Google ARCore 入門開發課程「, 馬上開始學習！

正在開發AR app 但總是覺得虛擬物件效果不夠真實？你可以通過Google的示範應用ARCore Depth Lab 馬上體驗 ARCore 深度 API 的功能。這個應用已經上架 Google Play，並且代碼開源，在 Github 中直接搜尋 arcore-depth-lab，相關的代碼、論文、簡介小視頻都可以免費下載。

聲明：本站轉載此文目的在於傳遞更多信息，並不代表贊同其觀點和對其真實性負責。如涉及作品內容、版權和其它問題，請在30日內與本網聯繫，我們將在第一時間刪除內容,本網站對此聲明具有最終解釋權。