無需鍵盤的自然輸入！Facebook分享Quest研究成果

（映維網 2020年10月22日）構建能夠幫助大家保持聯結的產品是Facebook Reality Labs（FRL）的一個重要宗旨。在過去數年間，團隊分享了在機器感知，逼真虛擬化身，甚至是腦機接口方面的進展。在上個月，FRL Research的首席科學家麥可·亞伯拉什在Facebook Connect大會談到了AR眼鏡的發展之路。

在下面這篇博文中，這家公司將介紹研究人員是如何為Quest「解鎖」同類產品中的首款手部追蹤解決方案，並分享關於文本輸入的研究進展。下面是映維網的具體整理：

手部追蹤是FRL Research眾多旨在提升技術交互親民都的研究課題之一。從VR頭顯到AR眼鏡，我們正在構建下一個能夠讓更多人受益的計算平臺。手部追蹤技術提供了最為熟悉自然的人機互動方式，從而為更多的人打開了沉浸式計算的大門。

當Oculus Touch控制器於2016年底面世時，它通過手部臨在開創了一個消費虛擬實境的新時代：在虛擬環境中，你的雙手與你同在。

手部追蹤是FRL Research眾多旨在提升技術交互親民度的研究課題之一。

為了構建更為自然的交互設備，FRL將Touch控制器作為基礎。這款設備操作舒適，並且配備了先進的傳感器，可提供逼真的雙手臨場感，能夠使虛擬實境中最基本的交互（如抓住門把手）感覺更為真實。然而，儘管Touch控制器存在大量的優點，但它無法復刻V字手勢或鍵盤操作的效率。對於自然地做事，目前沒有任何其他方式能夠比擬人手。與生俱來的本能，強大的適應性，以及被億萬人理解，雙手一直都在幫助我們完成日常任務、創造性工作、以及介於兩者之間的所有事情。可以說，雙手是大多數活動的理想輸入。但當FRL Research於五年多前開始為VR探索手部追蹤的時候，業內尚未出現消費者質量的裸手追蹤。團隊面臨的挑戰是從零開發這項技術，並通過創建一個基於人手的新界面來讓虛擬實境變得更加親民。令人感到欣慰的是，我們取得了成功。

我們將通過兩篇論文來介紹具體的實現過程，以及手部追蹤的進一步潛力。在本周舉行的UIST 2020大會中（一個關於用戶界面軟體和技術的研討會），FRL Research首次提出了一種不使用物理鍵盤進行接觸式文本鍵入的新方法。我們演示了可以作用於任何表面的手部追蹤提供了媲美傳統鍵盤打字的效率和熟悉度。在SIGGRAPH 2020（一個關於計算機圖形學的年度大會），FRL的研究人員分享了他們是如何通過移動計算的眾多突破為Quest實現手部追蹤。今天，每一臺Quest頭顯都搭載了現成的手部追蹤功能。

使用基於標記的手部追蹤系統，FRL Research演示了如何在平面實現接觸式文本鍵入。這向我們展示了將手部追蹤用於文本輸入的潛力。

1. 無需鍵盤的自然文本鍵入

作為正在進行的手部追蹤研究的其中一環，FRL Research不斷探索新的實驗性文本輸入形式，因為這對交流和生產力而言都是一項關鍵任務。在本周舉行的UIST 2020大會中，團隊提出了一種不使用物理鍵盤進行接觸式文本鍵入的新方法。這種解決方案使用了基於標記的手部追蹤系統，把相關的手部追蹤數據作為輸入，並將其直接解碼為用戶希望輸入的文本。儘管項目尚處於研究階段的早期，但這次演示說明了手部追蹤在生產力場景中的潛力。

相關論文：Decoding Surface Touch Typing from Hand-Tracking
相關論文：Online Optical Marker-based Hand Tracking with Deep Labels

為了支持無需物理鍵盤的接觸式文本鍵入，並考慮無法從單個物理按鍵獲得觸覺反饋的缺點，研究小組必須合理化於隨機平面發生的非明確文本鍵入模式。團隊採用了來自自動語音識別的統計解碼技術。語音識別主要使用聲學模型來預測音頻幀中的音素，而團隊則使用運動模型來預測手部運動中的鍵入行為。

當在純平面使用雙手進行接觸式本文鍵入操作時，被試平均每分鐘能夠輸入73個字詞，未糾錯誤率為2.4%。這實現了同一被試操作物理鍵盤的類似速度和精度。

結合語言模型，系統能夠判斷理解用戶的非明確文本鍵入，並預測用戶希望輸入的內容。利用這種新方法，當在純平面使用雙手進行接觸式本文鍵入操作時，被試平均每分鐘能夠輸入73個字詞，未糾錯誤率為2.4%。這實現了同一被試操作物理鍵盤類似的速度和精度。

這一令人驚訝的結果促使研究人員探究為什麼手部追蹤比其他物理方法更為有效，比如說沒有物理鍵盤的平板電腦或智慧型手機的文本鍵入。研究小組發現，手部追蹤技術在分離手指和手指移動軌跡方面有著獨特的優勢，而這正是當今平板電腦和智慧型手機的電容式感應系統所缺失的信息。

儘管在平面進行接觸式文本鍵入的行為動作並不明確，但研究人員使用一個運動模型來預測人們希望鍵入的內容。手部追蹤可以分離手指和手指移向虛擬按鍵的軌跡。對於這種信息，今天的智慧型手機和平板電腦無法追蹤捕獲。

2. Oculus Quest的手部追蹤

儘管手部追蹤的潛力巨大，但要虛擬空間中實現如同現實世界一樣的雙手操作令人望而生畏。在SIGGRAPH 2020的的分享中，研究人員描述了在Oculus Quest中實現雙手臨在的眾多問題。

相關論文：MEgATrack: Monochrome Egocentric Articulated Hand-Tracking for Virtual Reality
延伸閱讀：Facebook論文詳細分享Oculus Quest手部追蹤技術細節

第一個問題是「有效量積」，亦即能夠追蹤雙手的容積範圍。如果沒有足夠的有效量積，你的雙手會在視場中消失，並中斷用戶交互。第二個問題是追蹤卡頓，它會產生不自然的手部運動。卡頓是目前一個未被充分研究的手部追蹤領域。目前大多數基準數據集都基於靜止幀，而不是流體運動。第三個問題是硬體資源需求。過去的研究主要集中在具有強大GPU的高端PC。但初代Quest的性能要比常見的高端PC低兩個數量級。

早期的實驗只使用兩個前置攝像頭的重疊覆蓋區間，但Quest會丟失用戶雙手。四個攝像頭通過增加區間（或有效量積）來實現雙手的流暢追蹤。在四個攝像頭視覺覆蓋的範圍內，Quest可以「看到」並處理視覺信息。

FRL的手部追蹤解決方案利用了Oculus Quest的四個攝像頭來提供最大的有效量積。最初的計劃只是使用兩個攝像頭，但研究人員注意到，即便在顯示屏的視場內，雙手都有可能會消失。使用四個攝像頭能夠大大增加追蹤容積，但這同時帶來了一個新的計算機視覺挑戰：從四個不同的來源獲取視覺數據並實時拼接在一起。在任何給定的時間，你的雙手都可能位於一個或多個攝像頭的視場內。當你的手移動時，它可以離開一個攝像頭的視場並進入另一個攝像頭的視場。FRL的研究人員不得不建立一個當雙手遊離於攝像頭視場之間時依然能夠實現追蹤的框架，並建立一個新的框架將它們拼合在一起。

流暢的和無卡頓的手部追蹤取決於所有四個Quest前置攝像頭的視覺數據。研究人員開發了一個框架來整合所有數據，而它甚至能應對手從一個攝像頭視場切換到另一個攝像頭視場的情況。

最後一個技術障礙是Quest的移動處理器，而它需要將有限的性能資源分給遊戲和應用的運行。問題的答案來自於建立高效的神經網絡架構。多年來，研究團隊在根據特定移動處理器（如驍龍835和Hexagon DSP）定製神經網絡設計方面取得了重大進展。研究小組同時利用手部運動的規律性來預測手部接下來的移動位置，從而減少了神經網絡的評估。總的來說，這一系列的優化意味著初代Quest的手部追蹤在日常使用中只消耗7%的電池電量。

為了保持手部運動的流暢性和真實性，研究人員另外開發了一個手部關鍵點估計網絡。傳統的系統是從一系列靜止圖像中預測關鍵點，比如指尖。但根據單一靜態圖像預測手部會導致攝像頭之間的卡頓和非一致結果。所以，研究人員提出不如允許網絡訪問先前預測的關鍵點。對於這種設計方面的改變，研究人員證明了他們的網絡能夠成功地追蹤在圖像邊界部分可見的手部。通過使用這些新的、暫時的信息來調節網絡，研究小組在不犧牲準確性的前提下顯著減少了卡頓（這兩者都是構建逼真手部追蹤的基本要素）。

3. 今天的手部追蹤

我們仍處於構建更自然的設備交互方式的早期階段。但在今年，我們已經看到開發者利用Quest的裸手追蹤，並為社區帶來了一系列不可思議的體驗。《Waltz of the Wizard》允許玩家用手指快速釋放魔法和釀造魔藥。對於榮獲艾美獎的交互式體驗《The Line》，用戶可以通過使用雙手操縱旋鈕、開關等物件來增強故事感。

我們一直致力於幫助人們進一步利用技術的力量，而手部追蹤只是我們正在探索的其中一種方法。儘管我們已經取得了進展，但我們仍處於漫長道路的開始。尋找更好的做事方式需要進一步的研究和創造性的靈感。所以，我們對FRL Research已經取得的裡程碑感到興奮，但我們對未來的發展更為興奮。

原文連結：https://yivian.com/news/79194.html