蘋果專利已到位,VR手套離我們還有多遠?

近日，蘋果申請的一項專利顯示，除了眼鏡和耳機，蘋果還在為其VR（虛擬實境）戰略研發一款專用手套。專利中提到，該手套支持檢測各種手勢動作，適用於筆記本電腦、平板電腦和智慧型手機等多個場景，還可應用到全息投影模組、聯動PC和印表機等設備的場景，讓用戶在虛擬中體驗真實的觸感。

隨著VR技術的不斷提高，用戶對VR交互的需求也日益增長。作為人們最常用的信息輸出器官之一，手如何在VR世界中實現交互引發了人們的廣泛關注。

點擊播放 GIF 3.9M

手柄、手套和手勢實現手部VR交互

VR產品的核心是通過構建虛擬的世界，讓用戶擁有沉浸式體驗。除三維圖像外，VR與人手部的交互也是沉浸式體驗中最重要的一部分。北京凌宇智控科技有限公司的CEO張道寧告訴《中國電子報》記者，目前手部VR的交互可通過VR手柄或VR手套這種非裸手的方式實現，也可通過手勢識別這種裸手的方式實現。

張道寧向記者介紹，利用VR手柄實現VR手部交互是當前市場的主流，這種方式具備明顯優勢。第一，VR手柄可實現標準化生產；第二，VR手柄成本較低；第三，VR手柄有較高的可靠性，人手部的每個動作幾乎都可通過手柄實現交互；第四，VR手柄可通過振動實現物理反饋，給予用戶一定的沉浸式體驗。

張道寧指出，使用VR手套也是現階段VR領域比較重要的一種手部交互方式。VR手套上布滿傳感器，對人手部動作的捕捉非常精細，同時也能夠給予用戶力反饋。當用戶握住虛擬物體時，手套的系統會自動創建接觸對象的形狀，以確保用戶在接觸虛擬物體時也能有真實的觸感。在手指力方面，VR手套會在手指位置配備力傳感器，實現對不同握力和壓力的即時反饋。

那麼目前我們有沒有可能在VR的世界中「解放雙手」，無需外部設備，裸手實現交互呢？對此，張道寧表示，現階段的裸手交互主要通過視覺、紅外和超聲波這三種方式實現，無需設備即可實現VR交互，能給用戶帶來極大便利。

uSens凌感科技有限公司CEO何安莉告訴記者，裸手交互是通過計算機視覺實現的。「計算機視覺就是模擬人的視覺，攝像頭模組就好像人的眼睛看周圍的一切，得到圖像。算法就像人的大腦處理眼睛攝取的圖像，以此告訴自己：『我看到了手，手在做什麼動作。』」何安莉對記者說。

深圳岱仕科技有限公司的CEO谷逍馳則以Leap Motion推出的裸手交互引擎為例，向記者詳細介紹了裸手交互這種手部VR交互形式。谷逍馳表示，該引擎提供真實手部尺寸大小的全手追蹤與連續的手指彎曲跟蹤，且擁有較高的精度和自由度，包括手指展開的自由度和拇指的靈活度。

我們能通過觸摸實物來感受物體的形象和質地，用手與現實世界交互。同樣，我們也能通過手與VR世界建立聯繫，用手「觸碰」VR世界。張道寧告訴記者，當前VR手柄已在遊戲、教育、工業和醫療等領域得到應用。

谷逍馳也告訴記者，目前其公司推出的力反饋手套已應用於飛行模擬、汽車裝配培訓和康復訓練等場景，以增加虛擬場景的沉浸感。

何安莉則分別介紹了手柄、手套和手勢三種手部交互形式在不同VR場景中的應用。她表示，手柄適合VR裡的槍戰遊戲，操作起來更加方便和快捷。VR手套作為穿戴設備，上面帶著多個傳感器，不受視覺限制，適合大型的VR運動，如打高爾夫等運動。視覺手勢則更適合用手部做實驗、在空中或虛擬平面寫作等活動，因為視覺識別無需穿戴，雙手自由。何安莉還提到，手勢識別有非常廣泛的應用，目前該公司的手勢識別已用於AR和VR頭顯、手機、車載、電梯和智能生產等多種設備和使用場景裡。

三種手部VR交互方式各有技術瓶頸

以手部交互為中心的VR設計存在巨大的可能性，手部交互也在VR世界中扮演著重要角色。但據目前已有的消息，我們的雙手在VR世界裡能做的事情還比較有限。

谷逍馳向記者分析了目前通過VR手柄實現交互的難點。他指出，手柄路徑試圖將手指追蹤添加到硬體中，但硬體尺寸和所選的追蹤方式使其追蹤精度和力反饋能力受到限制。

以Valve公司生產的Knuckles(Index控制器)為例，他具體分析了VR手柄面臨的難題。儘管該產品是目前最完善的操控手柄，它的手指跟蹤仍受限制，只有不到30度的連續彎曲檢測，對於超過30度的手指彎曲幅度只能檢測為張開或握緊，並且只有有限的5個自由度，不能將大拇指的旋轉自由度和四根手指的展開自由度輸入到VR中。

VR數據手套是另一種精確手部追蹤的技術路徑。谷逍馳告訴記者，大多數VR手套使用基於彎曲傳感器或慣性測量單元（IMU）的解決方案，並根據使用的傳感器數量追蹤5～10自由度的手部運動，以捕捉連續的手指彎曲。然而，彎曲傳感器根據其物理形變來改變電阻會使其使用壽命受限，基於IMU的解決方案雖然沒有損耗，但其可靠性易受金屬、磁體和周圍磁場的影響，基於慣性的性質會導致「數據漂移」，需頻繁地重新校準。

張道寧也表示，目前VR手套很難實現標準化生產，人手的大小不一導致VR手套不能被製作成通用工具，VR手套上裝載的大量電子元器件也會降低其延展性，使其不如普通手套那樣親膚和舒適。

針對如何完善VR數據手套的反饋系統、捕獲連續手指運動，谷逍馳的公司給出了相應的解決方案，將力反饋添加到了可攜式手套中。他指出，外骨骼設計是VR人機互動革命的良好起點。機械外骨骼隨用戶手指一起運動，可將其運動傳至內置角度傳感器，並在每個指尖產生力反饋。「它可以捕獲11自由度的手部運動，重建真實的手部模型。力反饋功能能在物理上組織用戶的手穿透虛擬物體，讓用戶感受其形狀、大小和剛度。」谷逍馳說。但同時，他也表示，費勁穿戴VR數據手套會阻礙其易用性，真正能平衡各方面問題且易於使用的解決方案尚待挖掘。

針對裸手交互，何安莉告訴記者，純視覺的手勢識別是沒有觸摸感的，操作虛擬物體缺乏觸摸真實物體的力反饋。

在張道寧看來，裸手交互最明顯的劣勢是沒有真正適合或需要這種交互方式的場景。他指出，裸手交互無法適應複雜的場景，但在相對簡單的場景中，人們更偏向於使用手柄這類準確性和可靠性更高的設備。

谷逍馳指出了Leap Motion裸手交互引擎的弊端。他表示，該引擎沒有提供任何反饋方案，跟蹤的可靠性也很成問題。對此，何安莉以自己公司的技術為例，表示除了基於三維骨骼的手勢和肢體識別，SLAM的位置跟蹤和識別也可以成為VR領域重要的突破方向。

何安莉還指出了目前阻礙所有電子產品發展的科技瓶頸—電池的蓄電能力和重量。「電池的蓄電能力和重量不僅阻礙了AR和VR的技術發展，也阻礙了所有電子產品的發展。期待材料科學的發展能讓眼鏡和頭顯越來越輕，蓄電時間越來越長。」何安莉說。

手部VR交互有望拓展更多應用場景

現階段，手部交互是VR世界中非常重要的一種交互方式。隨著5G和人工智慧等技術的發展，在未來的VR世界，手部交互有望拓展更多應用場景。

何安莉表示，人最自然的交互方式是語言和手，手勢自然交互是科技進步的必然趨勢，也是人類的理想。「最近幾十年來，人類的生活主要在和電子數字世界交互。從最早的電腦，到智慧型手機，到AR和VR技術，再到機器人和智能汽車，數字世界也從一維發展到二維，再到立體的三維。同樣，人類的交互方式也由單行輸入變為視窗滑鼠，再發展為空中手勢。這是人類的理想，也是科技發展的趨勢。」何安莉說。基於此，她認為，除了AR和VR領域，手勢識別還可用於疲勞監控和智能生產監控等領域。

人工智慧和5G的發展能夠在很大程度上助力VR技術的發展，也能夠讓手部VR交互的應用變得越來越廣泛。何安莉告訴記者，人工智慧是讓電腦有人的智慧，它能夠識別語言，識別人的面部，同樣也能識別人的手部和手部的動作。5G網絡傳輸和雲處理也能夠給VR技術帶來新的發展空間。「很多攝像頭攝取的圖像數據都可以實時傳輸，雲端處理監控圖像和信息，大量的數據會產生巨大的信息和決策價值，也讓機器不斷地增加智能。」何安莉告訴記者。同時，她還表示，近幾年光學和顯示晶片技術的發展使得圖像處理在內的各種晶片處理能力提高了很多，深度學習讓魯棒高速的識別變成可能，促進了計算機視覺和攝像頭的緊密結合。

賽迪顧問股份有限公司高級分析師袁鈺告訴記者，當前，最符合人體學和用戶習慣的交互方式是交互手套。交互手套通過動作捕捉和觸碰識別等人工智慧技術進行交互，配合5G通信網絡，能夠精準識別用戶動作，與終端設備實現良好的交互。袁鈺向記者表示，未來部分覆蓋式交互手套或是產品主流。

同時，袁鈺還指出，人工智慧等技術的發展能夠推動手部VR交互的進步，「解放雙手」是實現VR大規模普及的必然趨勢。「良好的手部VR交互會提高用戶體驗，加快產品普及，也會拓展更多應用場景。目前VR主要應用於遊戲、視頻等消費端，以及教育、醫療等企業端。隨著交互方式的改善，手部VR交互有望加快社交、製造、設計等多場景的拓展。」袁鈺對記者說。