手勢交互新突破！ContactPose或助力未來XR無手柄？

手勢追蹤被視為人機互動（HCI）/人類數據交互（Human data interaction，HDI）中最直觀的交互模式之一，是混合現實（XR）終端交互的最新趨勢。

在XR領域中，手部運動軌跡的感知與追蹤是改善用戶在不同技術領域和平臺體驗的一個重要組成部分。手部追蹤技術在未來可以幫助用戶「解放雙手」，人機互動不再需要通過手柄控制，實現真正的解放雙手，讓用戶以最直觀的方式體驗在增強現實和物理世界之間的融合。

最近熱度不斷攀升的Oculus Quest 2一體機，在手勢追蹤識別功能上進行了一系列升級，除了早期的特定手勢操控主界面，最新解決方案甚至實現了基於手部追蹤的全文本輸入操作——即便如此，Oculus對於目前在手勢識別技術上取得的成就依然不是非常滿意。

Oculus曾表示，儘管手勢是一種有潛力的新型輸入方式，但由於計算機視覺與定位技術的局限，手勢識別技術的實際應用場景也受到限制。因此，Oculus一直在探索一些有用的技巧來幫助開發者適應手勢的局限性，甚至為了讓虛擬世界更具3D效果、更加智能地對手勢進行回應，Oculus已收購兩家虛擬實境手勢和3D技術的創業型公司 Nimble VR和13th Lab，以改善其一體機的手勢控制功能。

目前，由於涉及複雜的手指手掌結構和相關軟組織在運動時的變化，以及手和物體之間的接觸互動有著非常複雜的接觸點位和運動區域，強大的實時手部運動感知和追蹤已成為公認的一項極具挑戰性的計算機視覺任務，是科技研究領域中的大熱項目。

手部交互領域的一項新突破：ContactPose數據集

就在今年，美國三大理工學院之一的喬治亞理工學院，其機器學習中心更新了有關手部追蹤模型數據的新研究 -- ContactPose，一個手部抓握物體時觸點動態變化的數據集。

· ContactPose連結

https://contactpose.cc.gatech.edu/contactpose_explorer.html

ContactPose數據集通過機器學習（ML）和熱像儀捕獲記錄手部抓握不同物體時的每個3D關鍵觸點的變化，精準縮小手勢追蹤軌跡的總體性偏差。

ContactPose利用熱像儀將被抓握的受作用物體進行熱圖像紋理網格化，極大程度的減少外部設備幹擾，可以支持實現更加敏感精準的手勢交互追蹤，對於未來開發虛擬實境人機互動建模技術至關重要，該論文研究已被ECCV 2020 （2020年歐洲計算機視覺國際會議）收錄。

這篇文章中，VR陀螺將從覆蓋研究組、技術突破點和應用領域三大方面，為行業內感興趣的相關人士深度解析這項科研成果。

1. 研究組：基本覆蓋相關變化指數

ContactPose的論文研究中，設置的研究組變量覆蓋範圍很廣，這意味著ContactPose全面精準的包括了不同人群、不同物體、不同手部運動軌跡的數據集合。

總結其主要研究者Samarth Brahmbhatt等人的研究組數如下：

數據採集主體

參與實驗者共50人，抓握物品共25種

抓握動作的功能目標

1. 使用該物品

2. 移交該物品給他人

抓握次數

數據採集時，所有參與者共抓握物品2306次

RGB-D圖像

3個視點 + 296萬個RGB-D圖框

限制點

1. 只在空白背景下進行3D物體抓握

2. 只包括靜態抓握

ContactPose在採集手部追蹤數據時，邀請了50名實驗者參與對25種不同物品的抓握，包括望遠鏡、相機、手電筒、眼鏡、刀具、紅酒杯、牙膏等基本生活用品，通過抓握和移交主體物品的兩大手部運動意圖，共採集了2306組手部運動觸點數據，其研究的主體參量非常豐富，可以實現用戶生活中手部追蹤觸覺點的變化數據採集。

ContactPose數據集的呈現包括高解析度的觸點視圖、3D關節追蹤和多視圖RGB-D手部抓握動態視頻，並且區分左右手，左手為綠色，右手為紅色，通過明晰的顏色區分，能夠追蹤更複雜的雙手運動。

2. 研究突破點：防幹擾熱像儀可追蹤到手部具體3D關節

手部追蹤的人機互動領域作為亟需突破的領域之一，近年來有很多代表性的手勢交互技術更新。在手勢追蹤數據採集上，大部分研究都通過觸覺手套或其他設備捕捉手部運動數據，這意味著有的時候這些外部設備會影響手部運動的靈活性和主體自發性。

但喬治亞理工學院Samarth Brahmbhatt研究小組其最大突破為，用熱像儀把被抓握的受作用物體的表面紋理網格化，通過C相機記錄觀察手部抓握物體時每一幀RGB-D成像圖的變化，ContactPose不僅減少外部設備和環境限制的幹擾，更通過高幀密集觀察實現了敏感精準的手勢交互追蹤。

ContactPose利用機器學習的大原理來進行手勢運動感知，但因引入熱像儀追蹤技術，其可根據一幀圖像推斷出單手的21個3D立體關節點，支持高準確性的手勢和五指關節追蹤。換言之，其他很多手勢交互的研究是不能進行具體手指關節追蹤的，即只能體現整體手部運動但卻不知道是具體哪個手指尖先觸碰了物品。但ContactPose卻可以精準定位到具體手指部位、手部運動時的先後順序。

並且根據數據分析對比，ContactPose在資料庫規模、手部物體觸點追蹤、手勢和物體運動變化觸點等方面十分突出。

其實ContactPose並不是Samarth Brahmbhatt研究小組在這一領域的處女作，早在2019年，喬治亞理工學院發布了只包括觸點分布圖和RGB-D成像圖的ContactDB數據集研究。而相比之下，ContactPose是一次全面升級。

ContactDBContactPose觸點圖只有手部觸點分布圖3D關節追蹤RGB-D成像圖簡單、可轉動多視圖、高解析度追蹤功能手部整體成像可追蹤到具體手指、關節抓握數據採集可預測抓握方法適用於人機互動中的複雜抓握識別

通過交叉對比，ContactPose無疑是手勢交互數據的一次重要突破。不僅為日後的手部人機互動設備研發提供了數據基石，更通過數據的剖析揭示了手勢和主體事物接觸點的變化關係，為建立手勢運動觸點模型提供了體系結構算法參考。

ContactPose應用前景：

助力高精度級別手勢識別，或許可取代手柄操控

在2019年的第 6 屆Oculus Connect大會上，扎克伯格表示了進軍手勢交互領域的心，想要實現一個用戶不用拿著手柄、也沒有按鈕、沒有腕帶，甚至沒有其它傳感器的自由交互的虛擬實境沉浸世界。

目前，由於沒有高精度級別的手勢識別交互系統支持，手柄控制器長期以來就相當於用戶在虛擬世界中的雙手，無論是 Oculus 還是 HTC Vive 的 VR 頭盔，都需要藉助獨立的手柄控制器來實現手部運動追蹤。

但手柄控制器的存在卻一直局限著用戶在虛擬實境中的交互真實性。比如說當用戶要在遊戲中拿起一個物體，只能將手柄靠近並按鍵，這顯然破壞了虛擬世界沉浸交互的整體性，不夠真實。

然而，隨著更多的類似於ContactPose這種手勢數據規模化的支持，未來實現從真正的3D用戶界面，到虛擬對象操作，再到移動機制，以手部為中心的虛擬實境產品設計理念是存在可能的。手勢控制可以自由的取代語音或者手柄控制，亦是成為未來虛擬實境的大方向。

介於ContactPose在很大程度上可以為實現無接觸手勢運動追蹤和操控機器界面的技術提供了數據化支持，未來通過實時採集用戶手勢，將手勢的運動軌跡轉換為虛擬實境中的指令，可以實現自然、高效的人機互動，讓用戶完全的沉浸在一個新的可以自由運動的虛擬世界。

但通俗的談及到手勢交互應用的落地場景，現有的手勢交互技術與完全自然、高效的交互，仍然存在一定距離。

手勢交互應用的難點主要在於難以形成一致的手部操作方式，加上其屬於非精確性指令操作，其應用範圍會受交互設備、識別方法、用戶熟練程度等多個因素影響。由於不同用戶對不同產品使用手勢交互時，其手部運動軌跡也大相逕庭，所以用戶可能需要預先訓練一段時間去掌握相關設備或者系統，一定程度上是用戶要滿足機器的模版識別度。但ContactPose包括著不同人群抓握不同物體時的數據集，這意味著，日後隨著數據採集的規模化，機器可以開始輕鬆識別不同的手勢運動軌跡，從而實現機器識別的個性化、靈活性。

未來手勢交互將成為新一代「觸屏」

縱觀Oculus或者HoloLens這些行業領頭羊的設備，在用戶使用時，很多時候由於對手勢識別的不敏感或者錯誤偏差，使得用戶不得不依賴於手柄操作和語音控制來完成對虛擬實境設備界面的指令，手勢交互的人機操控方式在技術上顯然不夠成熟，尚且還處在行業早期階段。

但根據對ContactPose等相關數據集的研究分析，VR陀螺在此認為，隨著日後手部運動追蹤資料庫的大規模完善，手勢交互會像之前的觸屏手機一樣，成為新一代XR領域的主導人機互動方式，讓用戶無縫的在虛擬與現實世界中切換。