2020谷歌開發者大會:AR軟體工程總監介紹ARCore最新動態

Google 開發者大會 (Google Developer Summit) 是谷歌面向開發者展示最新產品和平臺的年度盛會。2020 Google 開發者大會於 11 月 16 日 至 21 日舉行，這是谷歌首次以全線上大會的形式與中國開發者相聚。本次大會以「代碼不止」為主題，介紹了相關產品更新以及一系列面向本地開發者的技術支持內容，旨在賦能開發者高效創新、持續不斷地創造愉悅的產品體驗。

其中，11月16日，谷歌軟體工程總監王啟文（Leon Wang）發表了關於「ARCore為用戶創造有效的AR體驗」的主題演講。

王啟文Leon是 Google AR 團隊的軟體工程總監，主管ARCore 的機器感知算法項目，如運動跟蹤和深度感知等技術的開發。加入 Google 之前，他在 Microsoft, Facebook 和 Pinterest 先後擔任過工程經理。Leon擁有麻省理工學院計算機科學的學士和碩士學位。

首先，王啟文強調了AR作為一種視覺沉浸式媒介，能夠吸引人們的注意力，是一種體驗信息的新方式，並最終推動用戶的行動。而谷歌發布於2018年的ARCore是AR開發者平臺，提供了簡單而強大的工具，為Android和iOS用戶創造有效的AR體驗。目前已被應用在7億臺設備和成千上萬款app上，並且已獲得一些更新。

其中，王啟文介紹了包括美圖、滴滴、有道少兒詞典的中國開發者如何使用ARCore提高產品的性能和體驗。

美圖公司利用ARCore的增強面孔API（Augmented Faces API）構建了100多個自拍濾鏡，就是現在我們在BeautyPlus上可以體驗到的AR特效，用戶可以拍攝照片和視頻與朋友分享。

增強面孔API（Augmented Faces API）從2D圖像中生成3D網格，可追蹤嘴部動作、眨眼、點頭和一些複雜的細節。

滴滴的ARCore導航功能幫助乘客在火車站、商場和機場等大型公共區域找到司機。滴滴地圖中加入了AR路標，15%的用戶使用AR來引導他們找到訂單司機，80%的用戶給出好評。

有道少兒詞典應用使用AR來幫助孩子們以一種有趣和吸引人的方式學習新單詞。該應用將「三角龍Triceratops 」等單詞與其3D模型在AR中配對，父母可以把AR畫面錄製或拍照，方便日後成為孩子們可參考的學習材料。

另外，ARCore的新增功能如下：

迅速放置API（Instant Placement API）

一般來說，用戶在空間中放置過ar對象時，需要先用手機掃描周圍的環境，完成3D表面檢測。但這個過程將耗費一些時間和精力。實際上，在大多數情況下，我們不需要知道AR對象確切的3D位置也可以正確地呈現它。

藉助迅速放置API和幾行代碼，開發人員可讓用戶將AR對象錨定到2D圖像中，而不需要確切知道AR對象具體的3D位置。如果需要更精確的比例，可以針對3D位置進行三角測量。

景深應用API（Depth API）

景深API可以從單個RGB相機生成地圖。原理是通過不同角度拍攝多張圖像，並在移動手機時進行比較，以估計到每個像素的距離。儘管只有一個RGB相機，添加了景深傳感器（如飛行時間傳感器），會讓景深地圖效果更好。

景深可以通過多種方式增強AR真實感，「遮擋」是其中一種景深應用，即隱藏數字物體在現實世界中被遮擋的部分，從而使它們看上去像是在現實場景中真實存在。

另一種是「表面交互」，即在設備中的世界裡，添加3D層面的計算，可以實現與現實物品表面的交互，比如創意AR對象，並在其表面設計反彈和飛濺的動作。此功能可以用於開發新的交互式遊戲機制，使玩家能夠躲在真實物體的後面。Snapchat的Dancing Hotdog和Undersea World Lens效果都使用了景深。

Persistent Cloud Anchors API

Cloud Anchors API可用於與多個用戶共享ar對象。在相同物理空間中的不同位置同時查看這些對象並與之交互，AR內容也因此可使用更長時間。

這相當於一個「保存按鈕」，人們可以基於相同的AR體驗進行創作並進行反覆修改。比如，Sybo和iDreamSky的Mark應用採用了該功能，人們可以在現實世界中與朋友一起創建、發現和共享ar藝術。