自人類發明了工具以來，與工具之間就需要通過一種方式建立起聯繫，用手握住工具的把手就是聯繫的一種。進入電子科技時代，交互的重要性愈加凸顯，就好像遙控器之於空調、鍵盤滑鼠之於電腦、遊戲手柄之於電視遊戲等等，缺少了一個簡單有效的交互，工具對於人類也就失去了意義。
隨著虛擬實境的崛起，如何尋找到合適的交互技術也成為了從業者們研究的重中之重。
一、我們為什麼需要為VR需要找一個新的交互形式?與其他科技產品不同，VR體驗強調的是沉浸感，而沉浸感的來源又是與外界的隔絕而造就的，尤其是視覺和聽覺的隔絕，使得大腦被欺騙，產生脫離於現實世界的虛擬沉浸感。這就產生了新的問題：看不見自己的身體，尤其是人類交互感知最重要的手和運動最重要的腳，無法與虛擬環境產生交互，在虛擬的世界裡變成了一個看客。
在虛擬實境興起之初，用戶在新鮮感爆棚的情況下，追求的重點在VR是否能夠營造出沉浸感十足的情境，對於交互的需求相對並沒有那麼強烈。人類的主觀能動性作祟，於是希望去操縱、控制虛擬世界，以尋找到更多的存在感。隨著行業的不斷發展，VR對於用戶新鮮感的下降，用戶開始將尋找虛擬世界存在感的需求放在了首位，開始追求更深層次的沉浸，希望與虛擬實境世界產生互動。
非常不湊巧的是，大廠優先追求的是輸出設備的高技術含量，在頭顯這一塊投入的技術與精力更多。在交互這一塊的研發相對滯後，就導致了交互手段缺失情況的出現，比如Oculus Rift只能選擇XBox手柄湊數。
通過傳統電子設備的交互方式，比如手柄一類的產品，暫時解決交互了的問題，卻又使得用戶從虛擬世界中被帶出，沉浸感大打折扣。舉個例子，成熟度相對較高的三星Gear VR頭顯在視覺方面的體驗不錯，但操控方式是配置於頭顯右側的觸摸板，這意味著用戶需要時刻舉起右手來操作，這無形中就破壞了沉浸感受。
在二維屏幕交互中，幾乎所有控制命令都可以抽象為按鍵動作。但在虛擬實境中，用戶希望自然交互，也就是人類在現實世界裡怎麼跟外界交互，在虛擬世界裡我們也希望按照同樣的方式交互，沉浸感更高，效率高，學習成本低。
於是，尋找一種全新的、合適的虛擬實境交互形式就成為了一件非常有必要的事情。
二、為什麼手部動作識別在已知的交互形式中最受歡迎?到目前為止，VR領域目前還沒有一個成熟的具有普適性的操控交互手段。小編大概列舉了目前業界理論上比較主張的幾種交互形式：用「眼球追蹤」實現交互、用「動作捕捉」實現交互、用「肌電模擬」實現交互、用「觸覺反饋」實現交互、用「語音」實現交互、用「手勢跟蹤」實現交互、用「傳感器」實現交互等等。
這些交互形式到目前為止，雖然各自有各自的優點，但也都存在一定的缺陷。比如眼球追蹤，儘管眾多公司都在研究眼球追蹤技術，但幾乎沒有一家的解決方案令人滿意，都無法提供精準和實時的反饋。或如動作捕捉，市面上的動作捕捉設備只會在特定超重度的場景中使用，而且需要用戶花費比較長的時間穿戴和校準才能夠使用，而且這種方式的一大痛點是沒有反饋，用戶很難感覺到自己的操作是有效的。
又如觸覺反饋，它無法適應更加廣泛的應用場景，雖然目前三大VR頭顯廠商Oculus、索尼、HTC Vive都不約而同的採用了虛擬實境手柄作為標準的交互模式，但這只是針對一些高度特化的遊戲類應用或輕度的消費應用，不過是商家退而求其次的一種妥協策略，因為VR頭顯的早期消費者基本是遊戲玩家。再比如語音交互，首先機器對於人類語言的理解就是一大問題，簡單的語音還好，複雜的就不行了，而理解之後機器對指令能否準確執行又是一大問題。
對於人類來說，最自然最有效的的交互方式有兩個當屬動作莫屬了，因為即便語言不通，你仍然可以通過動作的比劃與他人進行溝通。放在VR裡面來說，肢體和手勢動作可以用於大部分交互場景，尤其是輕度交互的固定場景還是對於重度交互的移動場景，手勢的優勢都非常突出。
於是，手部動作識別在已知的交互形式中成為最受歡迎形式。
三、手部動作識別是不是只有3D手勢識別嗎?說起手部動作識別，大家耳熟能詳的應該就是Leap Motion這家公司了。但實際上，手部動作識別的解決方案並不是只有Leap Motion一家公司有，技術原理上也並不是只有這一個方向。只不過因為Oculus的對Leap Motion的大力支持，伴隨著Oculus Rift的高曝光率，使得Leap Motion的3D手勢識別被公眾所熟知。
3D手勢識別並不是VR交互領域手部動作識別方案的唯一，其實可以分為二維手型識別、二維手勢識別、三維手勢識別三種。
二維手型識別
二維手型識別，也可稱為靜態二維手勢識別，識別的是手勢中最簡單的一類。這種技術在獲取二維信息輸入之後，可以識別幾個靜態的手勢，比如握拳或者五指張開。其代表公司是一年前被Google收購的Flutter。在使用了他家的軟體之後，用戶可以用幾個手型來控制播放器。
「靜態」是這種二維手勢識別技術的重要特徵，這種技術只能識別手勢的「狀態」，而不能感知手勢的「持續變化」。舉個例子來說，如果將這種技術用在猜拳上的話，它可以識別出石頭、剪刀和布的手勢狀態。但是對除此之外的手勢，它就一無所知了。所以這種技術說到底是一種模式匹配技術，通過計算機視覺算法分析圖像，和預設的圖像模式進行比對，從而理解這種手勢的含義。
這種技術的不足之處顯而易見：只可以識別預設好的狀態，拓展性差，控制感很弱，用戶只能實現最基礎的人機互動功能。
二維手勢識別
二維手勢識別，比起二維手型識別來說稍難一些，但仍然基本不含深度信息，停留在二維的層面上。這種技術不僅可以識別手型，還可以識別一些簡單的二維手勢動作，比如對著攝像頭揮揮手。其代表公司是來自以色列的PointGrab，EyeSight和ExtremeReality。
二維手勢識別擁有了動態的特徵，可以追蹤手勢的運動，進而識別將手勢和手部運動結合在一起的複雜動作。這樣一來，我們就把手勢識別的範圍真正拓展到二維平面了。我們不僅可以通過手勢來控制計算機播放/暫停，我們還可以實現前進/後退/向上翻頁/向下滾動這些需求二維坐標變更信息的複雜操作了。
這種技術雖然在硬體要求上和二維手型識別並無區別，但是得益於更加先進的計算機視覺算法，可以獲得更加豐富的人機互動內容。在使用體驗上也提高了一個檔次，從純粹的狀態控制，變成了比較豐富的平面控制。
三維手勢識別
三維手勢識別需要的輸入是包含有深度的信息，可以識別各種手型、手勢和動作。相比於前兩種二維手勢識別技術，三維手勢識別不能再只使用單個普通攝像頭，因為單個普通攝像頭無法提供深度信息。要得到深度信息需要特別的硬體，目前世界上主要有3種硬體實現方式，加上新的先進的計算機視覺軟體算法就可以實現三維手勢識別了。
1. 結構光(Structure Light)
結構光的代表應用產品就是PrimeSense的Kinect一代了。
這種技術的基本原理是，加載一個雷射投射器，在雷射投射器外面放一個刻有特定圖樣的光柵，雷射通過光柵進行投射成像時會發生折射，從而使得雷射最終在物體表面上的落點產生位移。
當物體距離雷射投射器比較近的時候，折射而產生的位移就較小;當物體距離較遠時，折射而產生的位移也就會相應的變大。這時使用一個攝像頭來檢測採集投射到物體表面上的圖樣，通過圖樣的位移變化，就能用算法計算出物體的位置和深度信息，進而復原整個三維空間。
以Kinect一代的結構光技術來說，因為依賴於雷射折射後產生的落點位移，所以在太近的距離上，折射導致的位移尚不明顯，使用該技術就不能太精確的計算出深度信息，所以1米到4米是其最佳應用範圍。
2. 光飛時間(Time of Flight)
光飛時間是SoftKinetic公司所採用的技術，該公司為Intel提供帶手勢識別功能的三維攝像頭。同時，這一硬體技術也是微軟新一代Kinect所使用的。
這種技術的基本原理是加載一個發光元件，發光元件發出的光子在碰到物體表面後會反射回來。使用一個特別的CMOS傳感器來捕捉這些由發光元件發出、又從物體表面反射回來的光子，就能得到光子的飛行時間。根據光子飛行時間進而可以推算出光子飛行的距離，也就得到了物體的深度信息。就計算上而言，光飛時間是三維手勢識別中最簡單的，不需要任何計算機視覺方面的計算。
3. 多角成像(Multi-camera)
多角成像這一技術的代表產品是Leap Motion公司的同名產品和Usens公司的Fingo。
這種技術的基本原理是使用兩個或者兩個以上的攝像頭同時攝取圖像，就好像是人類用雙眼、昆蟲用多目複眼來觀察世界，通過比對這些不同攝像頭在同一時刻獲得的圖像的差別，使用算法來計算深度信息，從而多角三維成像。
在這裡我們以兩個攝像頭成像來簡單解釋一下：
雙攝像頭測距是根據幾何原理來計算深度信息的。使用兩臺攝像機對當前環境進行拍攝，得到兩幅針對同一環境的不同視角照片，實際上就是模擬了人眼工作的原理。因為兩臺攝像機的各項參數以及它們之間相對位置的關係是已知的，只要找出相同物體(楓葉)在不同畫面中的位置，我們就能通過算法計算出這個物體(楓葉)距離攝像頭的深度了。
多角成像是三維手勢識別技術中硬體要求最低，但同時是最難實現的。多角成像不需要任何額外的特殊設備，完全依賴於計算機視覺算法來匹配兩張圖片裡的相同目標。相比於結構光或者光飛時間這兩種技術成本高、功耗大的缺點，多角成像能提供「價廉物美」的三維手勢識別效果。
四、殺雞不用牛刀，VR中的交互到底應該如何抉擇?輕度交互
移動端VR設備一般無法運行重度體驗的VR內容，對於交互的需求基本保留在輕量級別。3D的手勢識別用在輕度VR交互上實際有點殺雞用牛刀的感覺，絕大部分人日常接觸最多的就是2D觸控螢幕，而大部分UI也是2D設計，3D手勢識別加入的深度信息對於大部分人來說太超前，而且大部分人臂展不超過1米，深度信息在這裡沒法體現出相對2D平面的不同。
所以，一個普通單攝像頭通過邊緣識別的簡單手勢交互系統能滿足目前大部分VR場景的交互需求，降低手勢交互的門檻，從而快速普及手勢交互概念，如果還能夠配合語音交互功能，就能快速滿足短期內VR應用的交互需求。
重度交互
PC端VR設備，成本高技術含量高，能夠運行重度體驗的VR內容，因而對於交互的需求也是重量級別。3D的手勢識別用在重度VR交互上才是真正的好鋼用到了刀刃上，能夠滿足用戶的重度交互需求，還能夠提供較好的反饋和沉浸感。用戶置身的三維場景中，要跟三維場景裡面的物品進行交互，沒有深度信息是不可能做到的。
現在Oculus和HTC Vive其實都採用的是手柄的解決方案，但是3D的手勢交互其實是一種更自然、更舒服的方式。對於複雜的3D場景，3D的手勢交互是不可缺少的，而且更加真實和沉浸式的3D場景體驗，才是VR內容的未來。而在重度VR體驗內容中，空間的深度信息更為複雜，應用場景的變化也更加多樣化，只有3D的手勢識別能夠較好的滿足精度、延遲和沉浸的要求。
至於未來如何發展，歷史總是由人民書寫的，消費者的選擇才是技術方向的選擇。
http://news.zol.com.cn/599/5997487.html news.zol.com.cn true 中關村在線 http://news.zol.com.cn/599/5997487.html report 8665 自人類發明了工具以來，與工具之間就需要通過一種方式建立起聯繫，用手握住工具的把手就是聯繫的一種。進入電子科技時代，交互的重要性愈加凸顯，就好像遙控器之於空調、鍵盤滑鼠之於電腦、遊戲手柄之於電視遊戲等等，缺少了一個簡單有效的交互，工具對於人類也就失去了...