【51CTO.com原創稿件】2017年7月21-22日， 以「人工智慧，不止於技術的革命」為主題的WOT2017全球創新技術峰會在北京富力萬麗酒店圓滿落幕。本次峰會為期兩天，30+人工智慧領域的一線實戰專家、BAT等企業技術大牛圍繞機器學習、人機互動、技術實踐等前沿技術話題展開深度分享。除了場內的精彩演講，場外還有專門為AI愛好者搭建的動手實驗室和科技體驗區，這一切都讓本次大會亮點十足。
uSens凌感中國研發中心高級研究員王曉濤在人機互動分會場做了《VR/AR中的交互技術》主題演講。演講結束後，記者採訪到了他，請他分享關於手勢交互領域的精彩觀點。
人機互動往往與硬體變革相伴相生
談到VR和AR，大多數人的***印象就是那些虛擬可視化設備，例如Oculus rift、Htc vive、PSVR、Hololens等。體驗過的人都知道，這些設備的確給人們帶來了很奇幻的感覺,並且佩戴越來越輕便，解析度越來越高，內容越來越豐富。可以說VR/AR設備已經日趨成熟，面向消費者並且開始普及。王曉濤指出，如今VR和AR發展外界看來似乎開始放緩，事實從業內看，從未停止，而且都是關鍵技術的推進。整個行業不僅僅依靠硬體設備，還需要很多其他的東西來支撐和完善。
王曉濤告訴記者，當人們回顧一下歷史就會發現，每次硬體產品重大變革都伴隨著革新的人機互動方案，並且趨勢都是向著更自然的方向發展。例如***臺臺式機Programma 鍵盤做輸入，紙帶做輸出;***款消費級PC Macintosh, 滑鼠做輸入，GUI界面輸出;大家都熟悉的***款智慧型手機 iPhone, 多點觸控輸入IOS界面輸出。「可以看出，隨著硬體產品的換代，交互方式也越來越方便，好用，並且也容易學習，不在需要熟記各種命令。那麼VR/AR想要成為新一代革命性的硬體產品，也需要全新的人機互動方式。」
那麼在人機互動的發展史上，有哪些裡程碑式的產品呢?王曉濤列舉了三款重要的產品。一是1965年的***臺臺式機(開創了商業機普及)，引入卡片為輸出，鍵盤輸入;二是1984年Macintosh(開創了PC消費品市場普及)，引入GUI輸出，滑鼠輸入(繼LISA後第二部使用圖形用戶界面，***應用到個人電腦，systemSoftware，MacOS);三是2007年iPhone(開創了智慧型手機消費品普及),引入multi-touch和iOS系統。
前景看好的手勢交互
據了解，VR/AR目前的交互方式可以說五花八門，各個廠商都在做各種嘗試和探索。王曉濤介紹到，有基於手持設備的手柄、操作杆的廠商如Oculus、 htc vivi、 psvr，也有基於觸摸板的Gear vr，還有基於磁電傳感器手套的諾亦騰、基於眼球追蹤的、基於語音識別的，以及基於裸手手勢的各類廠商。他認為每一類方式都有自己的特點，都有適合的場景和適用的內容，尤其是有的適用於VR環境，有的適用於AR環境。
在VR環境中，由於場景都是虛擬出來的，所以各種手持設備、傳感器等並不影響使用的感官，人們雖然看不到手裡拿著東西，但是可以習慣性的像使用滑鼠一樣使用這些交互工具。所以，在VR環境中，基於設備的交互方式目前處於主導地位，一方面是無論是在精度還是在穩定性上基於物理元件的方式更優秀，實現起來也相對簡單;另一方面也是各大廠商同時推出交互設備與匹配的交互內容，即賣硬體又賣軟體，有利潤驅動。
他告訴記者，在VR交互中，另一種方式就是手勢交互，原因在於，即使在虛擬世界裡，人們也要追求自然、便捷、靈活的方案，因為從PC到智慧型手機，人們已經幾乎丟掉了滑鼠和鍵盤，在新一代產品裡不應該再撿起附加設備。但客觀的講，自然手勢交互還處於技術攻關階段，還有很大多問題需要解決。但毋庸置疑，手勢交互更自然，對VR沉浸感來說，是至關重要的一個方面，在VR中更有帶入感，在大眾化市場中更有前景
不同於VR,在AR環境中，手是看得到的，並且AR中有手的真實使用需求，這導致AR環境的交互方式不能使用手柄之類的設備，更趨向於不影響手的真實功能的交互方案。那麼可選的就只有手勢、眼球、語音、腦電肌電這些稍微黑一點的科技，這裡面語音識別已經很成熟了，但是通過對話的方式來拖動某個東西是很違和的。那麼來看，從技術成熟度，適用範圍來看，手勢交互更有優勢。Hololens選擇的就是手勢的方案，其他的方式可以作為輔助，使得AR的交互更立體、便捷。「可以看到，手勢交互在VR中有前途，在AR中有地位，隨著技術的成熟，將會得到越來越多的應用。」
精準識別手勢是個技術活!
手勢交互並不是簡單地識別幾種固定的手勢，也不是跟蹤五個指尖，而是要在看得到的情況下，能夠實時識別出當前手的狀態，例如手型是什麼，角度如何，距離有多遠等等。
王曉濤透露，目前流行的是通過骨骼來模型化手，就包括關節點、骨骼的長度、骨骼間的角度。常用的量化模型有NYU的14個關節點模型、帝國理工的16關節點模型、MSRA21個關節點模型等等。不同方式表達量化的精度是不一樣的，通常用多少個自由度來刻畫手模型的精度，比如微軟的26個自由度。
「手勢交互關鍵技術基本包括，檢測、跟蹤、回歸、手模型優化一套整體的流程。」王曉濤舉例道，首先設備要能找到手的位置，識別出手的關節點，使得串聯起來的關節點像一隻手;其次找到手之後，需要確定各個關節的位置。他介紹到，方法有基於點雲匹配的，通過球模型或者球棍模型與檢測到的手的點雲匹配;也有直接回歸坐標點的，每個點有兩維或者三維，按順序給出所有點的預測值。
他還特別強調關於手的結構約束。這個技術主要有兩類，一類是分段式的，先得到各個關節點，通過後處理的方式使得鉸接在一起的關節點得到的手不是畸形的;另一類是end-to-end的，將手的模型約束直接融入到關節點回歸中，或者直接回歸3D手的pose等。他強調，這一環節十分重要，起著很明顯的作用。
手勢交互正處在***的發展機遇
當然，王曉濤也坦言，到目前為止手勢交互目前還有很多問題亟待解決，例如需要提高識別的精度與穩定性，算法萬年不變的話題。他舉了一個例子，在VR/AR環境中，人們要做到實時，不能佔用太多計算資源，有可能還是在移動端運行，並且算法是deep learning這種，算法的優化加速面臨極大的挑戰。
除此之外還需要解決視覺盲區問題、反饋問題等。以反饋問題為例，在AR/VR中手勢交互的反饋比較麻煩，人們沒有觸覺體驗，目前有通過設備提供觸碰感的，還有多元反饋機制，例如通過聲音等元素來營造氣氛。也正因如此，手勢交互還有很長的路要走。
王曉濤告訴記者，手勢識別已經發展了這麼多年，但是之前一直沒有普及開，以至於很多人開始懷疑這個***的真偽性，這是為什麼呢?因為以往的需求是假想出來的，例如希望用手勢代替滑鼠，代替遙控器，但是終究是可用可不用，並且有可能還不好用。一方面之前由於技術和計算能力的問題，手勢性能比滑鼠遙控器差，另一方面還是應用場景需求度低，體現不出來手勢的優勢。
「但VR和AR，對手勢來說，恰恰是一個好的時機，首先像我們前面說的手勢是AR/VR交互中優先級很高的交互方案，另外現在行動裝置的計算能力也變強了，可以說，與VR/AR結合，是手勢發展***的機會。」王曉濤十分肯定這一點。
【51CTO原創稿件，合作站點轉載請註明原文作者和出處為51CTO.com】
【責任編輯：
周雪TEL：（010）68476606】