《精靈寶可夢Go》、《我的世界：地球》等LBS AR遊戲看起來很好玩，尤其是將遊戲中的小精靈或者沙盒方塊以AR的形式疊加在真實環境中的玩法足夠有趣。不過並不是每一款LBS AR遊戲都能持續抓住玩家的胃口，玩家們渴望更多創新，更多有趣的交互方式，這也是為什麼Niantic新推出的《哈利波特：巫師聯盟》反響遠低於《精靈寶可夢Go》的原因之一。
當然，就目前技術來講，即使是在遊戲中加入更多手勢戰鬥玩法、加入建造功能，它們也只能局限於手機屏幕這個界面中，某種程度上反而會破壞AR的沉浸感。打個比方，目前3D渲染技術已經足夠好，疊加在真實環境中的3D AR圖形可以做到相當逼真的效果，這時候如果還能用手直接拿起它，是不是會比在屏幕上碰它感覺更像真的？
布朗大學計算機科學的助理教授Jeff Huang表示：互動手勢並不是一種令人滿意的交互方式，因為在真實環境中，不管是扭門把手還是撿東西，用手去觸碰是最直接和自然的交互方式，因此我們想到或許在移動AR應用中加入手勢識別會比在手機屏幕上滑動效果更好。
為了探索這個問題的答案，Huang領導布朗大學人機接口小組的12名科研人員研發了一種移動AR手勢交互方案：Portal-ble，這是一個可以讓手機用戶用手去觸碰AR物體的方案，將智慧型手機屏幕變得仿佛是AR世界的入口，讓你可以用手進行堆積木、擺放和旋轉家具，甚至在空中繪畫等操作。
其硬體方案包含一個Leap Motion手勢識別模塊、一個Intel計算模塊（電腦棒）、一臺智慧型手機、一個5V 4A移動電源以及便攜包和安裝架。
而其原理並不難，其實就是用戶一隻手拿著手機來查看AR，而連接在手機上的Leap Motion紅外光傳感器會追蹤另一隻手，從而實現手勢與AR交互。其優勢在於不需要AR頭顯、追蹤手套、搖杆、AR標記，用手和手機就能進行交互。
不過，將物理原理應用在手勢交互上並不容易，有時候用戶容易將手放錯位置，甚至直接將手指插入AR物體中。為了達到最自然、逼真的體驗感，科研人員嘗試從交互感知（手觸碰AR物體的自然感）、手勢操作（成功抓取和旋轉AR物體）、行為理解（適應將智慧型手機作為「窗口」來看AR這件事）這三方面來優化Portal-ble的交互和界面。
他們開發了一系列任務來測試和了解用戶的感知和行為規律，接著在方案中加入感知反饋和調節適應機制。Huang表示：Portal-ble的交互體驗感有點像是在Photoshop中畫直線，儘管你很難畫出完美的直線，但是程序會通過自動平滑讓你畫出完美的直線，這也是我們希望在Portal-ble中實現的效果。
除了調節適應手勢操作外，布朗大學的科研人員還加入了感知反饋機制，比如用點亮AR物體、手機振動等方式來提示手勢的交互。
關於優化實驗
接下來，就一起來看看布朗大學科研人員的整個實驗過程吧。
為了解Portal-ble方案的可行度，科研人員設計了一些體驗原型，並記錄了體驗者對一些問題的反饋，比如：拾取遠處物體的時候是否有困難，能否準確、舒適地與移動中的物體交互等，這些問題如果沒有得到實際測試，是很難想像出答案。
每位科研人員被要求設計內容操控和內容創作兩種任務，前者指的是：選擇、轉化、直接控制，比如扔飛鏢、玩保齡球、堆方塊、搬東西等。而後者指的是一系列自由的手勢，包括在空中畫方塊、畫直線、寫名字等。此外，每位科研人員需要分別招募兩名參與者。
在全部24名（12x2）參與者完成實驗後，科研人員發現了三類問題：感知問題、操作問題和行為問題。
比如，其中有一多半人無法理解自己的手與AR物體相對的空間位置。這主要體現在兩個方面：1，難以估計自己與AR物體之間的距離，甚至夠不到遠處的物體；2，不確定手該伸到多遠能碰到AR物體，因此在畫畫的時候筆觸容易接不上。
而操作上的問題則包括：撿不起東西、AR物體不小心掉下去，相當影響體驗感。另外，手勢跟蹤的噪波會影響手勢識別的準確性，而且自然的抓取手勢效果並不太好。產生這些問題的原因可能有三個：手指不小心離開可識別區域、遮擋問題、周圍環境光影響紅外光識別。
行為問題方面，指的是參與者缺少對徒手直接交互的操作方式的心智模型。為了熟悉AR物體的深度，一些參與者會通過移動智慧型手機，一隻手固定手機，一隻手移動，或者同時配合手機和手的方式來測量。但是這些動作通常會造成參與者的手移動到無法追蹤的區域，讓任務更加難以完成。
此外，參與者們也難以區分交互過程中的狀態，有時候已經抓到了AR物體，卻會再一次做出抓取手勢，有的人甚至不確定手中到底有沒有抓到東西。
為了優化這些問題，科研人員在Portal-ble中加入了三種適應機制：1，用線索去提示空間距離之間的關係；2，提示物體在附近；3，用體感反饋來表現默認、懸停和抓取狀態。
他們使用的線索包括視覺和聲音兩種，視覺指的是手在AR物體附近的時候，物體周圍會顯示綠色的輪廓線，抓取到物體之後，輪廓會變成藍色，以此來顯示交互的狀態。而聲音則指的是，你的手在與AR物體不同距離時，Portal-ble會發出不同音調的聲音。科研人員還是用了一種光線投影的方法，避免了多個物體同時發出聲音的狀況。
體感反饋方面，科研人員採用了一種延遲在25ms內的體感反饋方案，並將它用於兩種不同的情況：展示交互狀態的改變和虛擬物體之間的碰撞。這種體感反饋通過智慧型手機的震動來實現，它會提醒你的另一隻手是否已經碰到AR物體，或者兩個物體之間進入相撞範圍（比如將AR杯子放到桌面上會產生震動）。
為了降低用戶完成任務的難度，科研人員還加入了適應機制，重新設計了碰撞識別結構，提高了系統的容錯率，讓你可以自然、快速完成任務。
而為了讓用戶適應與AR的交互，Portal-ble會通過測試了解用戶的臂長，並且在用戶手掌到達追蹤極限時用視覺反饋來提示。
Portal-ble方案誕生
完成優化後，受調查者在隨後的研究中反饋，Portal-ble的交互體驗感和感官反饋大幅降低了任務的難度，並且加快和提高了交互的準確性，用戶體驗感也比之前更好。
研發人員希望Portal-ble能夠成為藝術家、設計師、遊戲開發者們用於測試AR的工具。Huang表示：AR將成為一種優秀的新交互模式，我們希望通過這種可攜式手勢交互方案，讓用戶不需要厚重的AR頭顯，就能隨時隨地體驗優質的AR，同時也希望為他們提供一種與AR世界交互的自然方式。
不過目前Portal-ble還是一個比較複雜的方案，對於普通手機用戶來講使用起來比較複雜。未來，科研人員計劃增加Portal-ble系統中支持交互的AR物體，優化交互，並開發全新的任務和內容，甚至希望簡化整個方案，將它集成在手機中。
其實，谷歌Pixel 4、華為P30系列手機已經開始支持隔空手勢功能，未來手勢識別也有望成為智慧型手機的一種趨勢。因此從Portal-ble實驗中，我們也可以看到未來AR遊戲、應用與手勢識別結合的潛力，或許也能為《哈利波特：巫師聯盟》中的Portal功能帶來更有趣的玩法。本文系青亭網翻譯自：布朗大學