新商業NEO100|凌感科技費越:自然手勢交互好比iphone的自然觸摸,正...

2020-12-14 36氪

2014年,費越和何安莉夫婦在矽谷創立了凌感科技。起因是他們發現:儘管大眾對於手勢的理解還停留在『簡單命令式手勢』的認知階段,還停留在一些採用了這種手勢的電視、汽車和手機裡,但作為未來人機互動中不可缺少的部分,自然手勢的機會已然來了。

在費越看來,這和iPhone出現之前的觸控交互類似:當時的智慧型手機不是基於按鍵(Nokia的智能終端),就是基於壓力筆的屏幕(Windows CE),因為用戶覺得不友好,所以只有少數人在使用。但當iPhone帶有基於觸控螢幕的,無需學習的觸控交互出現後,智慧型手機立刻爆發。並很快主導了整個手機領域,甚至滲透覆蓋了其它領域,從汽車、電子廣告牌,到各種設備。

「新的3D骨骼手勢,類似iphone的自然觸摸,現在就是它處於爆發的臨界點,Edge of Tomorrow(明日邊緣)」,費越對此無比確定。

在費越的介紹中,自然手勢技術不但更加精準、穩定,還可以讓用戶隨心所欲地用最高效直覺的方式交互,從而能夠控制下一代汽車中先進的多媒體信息娛樂系統。

而凌感科技手勢識別技術的核心,是通過對手部22個關鍵點,26個自由度的追蹤,通過深度學習等算法,對手部骨骼進行識別,實現雙手自然交互。所以,它對關節追蹤會更加精準、穩定,通過深度學習還可以識別雙手遮擋的動作。

除汽車外,目前,凌感科技手勢識別技術還應用到AR/VR眼鏡、手機、IOT、智能生產等領域。未來,也將在其他領域探索更多應用場景。

在當下正在發生的汽車產業變革中,費越相信凌感科技的自然手勢交互可以幫助下一代汽車具有劃時代的信息娛樂能力,從而徹底實現「信息就在指尖之上」的自由體驗。

他始終認為,人類是生活在一個三維的世界中,人類和世界最自然的交互是三維的,因此人類與電子世界最自然的交互,也應該是三維的,所以「未來手勢將會是三維人機互動中的不可缺少的一部分」。基於這樣的相信,在整個大勢爆發之前,他和凌感科技願意最早跳到時代的洪流中,去推動這些事情的發生。

當初基於何種判斷,創立了uSens凌感科技?相比已經出現在現在量產車使用的上一代手勢技術,自然手勢技術究竟有什麼不同,又是如何實現的?汽車產業在進行怎樣的變革?凌感科技的機會又是什麼?在獲得大眾汽車「叩響明天」直覺科技創新大賽的獎項後,凌感科技的費越與36氪進行了深入的交流。

(以下問答內容經過36氪編輯整理)

談創業初衷以及自然手勢的特點:可以控制下一代汽車中的多媒體信息娛樂系統。

36氪:當初基於何種判斷,創立了凌感科技?

費越:首先是我和何安莉的一個觀察,就是計算機所發生的革命性的變化,都是由人機互動的變化產生的。人機互動中,45%靠語音,剩下的55%則靠非語音的手勢、肢體、面部表情等動作來交互,因此手勢在未來自然的人機互動中將會是不可缺少的重要的組成部分。所以,2014年,我和何安莉一起在矽谷創立了凌感科技。初衷是向更自然的人機互動方向邁進,讓計算機更懂人,為用戶創造更具沉浸感的自然三維人機互動新體驗,同時希望我們的技術能賦能到多個領域,從AR/VR到智能汽車,再到手機、機器人等等。現在通過精準的26自由度3D手部骨骼追蹤技術,凌感科技已經成為中國唯一一家能夠覆蓋所有Camera模組的車載手勢識別技術供應商,同時還提供DMS、OMS,在車載領域具有豐富的經驗。

36氪:相比已經出現在現在量產車使用的上一代手勢技術,自然手勢技術究竟有什麼不同,又是如何實現的?

費越:我們的自然手勢技術不但更加精準、穩定,而且可以讓用戶隨心所欲的用最高效直覺的方式交互,並能夠控制下一代汽車中的先進豐富的多媒體信息娛樂系統。

實現的過程從外部環境看,起決定性作用的是摩爾定律。2013年之後的GPU計算能力,2018年的移動晶片計算能力,都達到了深度學習所需的計算能力。

深度學習的基礎研究領域也取得了一系列進展。 2013年之後,整體的智能設備也開始超越智慧型手機形態,向更加「沉浸式」的方向發展。不管是無人機,機器人,還是 VRAR,都是把智能設備一步步的更加人性化,更加沉浸化。即使是傳統的智慧型手機和汽車,也在向更加非接觸,更加人性、沉浸化方向發展。

從內部來說,凌感手勢識別技術的核心是通過對手部22個關鍵點,26個自由度的追蹤,通過深度學習等算法,對手部骨骼進行識別,實現雙手自然交互。相比「簡單手型控制」方案,凌感科技的手勢識別技術對關節追蹤會更加精準、穩定,還通過深度學習可以識別雙手遮擋的動作。

談實現26自由度3D手部骨骼追蹤技術的障礙:方法論、速度和硬體

36氪:我們公司是如何做到精準的26自由度3D手部骨骼追蹤技術的?中間最大障礙是什麼?

費越:我們在2014年已經初步實現了基於計算機視覺的機器學習的精準的指尖3D跟蹤和基本的3D骨骼識別。但是發現基於傳統計算機視覺,有其局限性:

1. 無法覆蓋全部自由的動作情況;2.無法應對信息不全的情況,比如有些手指被手掌遮擋,看不到,一部分手被另一隻手遮擋;3.無法應對複雜的背景,各種膚色、光照等。所以2015年,我們開始全面轉向用深度學習來做手勢,攻克了上述這幾個問題。據我們所知,我們是比世界上其它工業界和學術界都早使用深度學習實現3D手部骨骼識別。學術界比較成熟的論文是2016年之後,工業界,比如Oculus Quest上發布的手勢識別是2017年開始使用深度學習的。

36氪:這個過程中,我們又是如何解決速度和硬體障礙的?

費越:我們從2015年開發自己的深度學習執行庫,對深度學習的運算單元全部做了Neon和彙編優化,並發明了新的優化方式,所以可以比目前通用的移動端優化的深度學習執行庫比如Tensorflow Lite, Caffe等要快2倍以上。也就是說我們在2017年的產品就已經做到在Qualcomm 820級別的SOC上達到>50FPS。

硬體方面,一方面是特種硬體的生產,一方面是如何讓算法適應不同的硬體。在VR方面,手勢方面用戶體驗的要求極高,需要低延遲 (<20ms),高精度(能夠1:1的呈現手的各種動作,誤差<5mm),大範圍 (120°以上,需要超過VR顯示部分的視角)這幾個需求用市面上的普通相機無法達到。 用特種相機,比如TOF,Structured Light也都無法達到。我們從2014年就開發特種相機,基於雙目IR global shutter sensor,來達到延遲和精度方面的要求,並使用特別的廣角鏡頭,達到了操作範圍方面的需求。產品在2016年實現了量產。

從2017年開始,我們逐步實現了對各種camera的全面支持,包括單IR camera, 多IR camera, 單 RGB camera, TOF camera等。無論哪種camera形態,我們都能夠提供3D骨骼識別,26DOF。目前還沒有任何公司做到對所有硬體形態實現的3D骨骼識別。在廉價的單IR,單RGB camera上做到3D skeleton尤其困難。而我們通過獨有的深度學習技術和三維動力學技術實現了。

36氪:在汽車領域,凌感科技的機會是什麼?汽車產業又在進行怎樣的變革?

費越:汽車產業正在進行一場深遠的變革。自動駕駛和共享汽車成為發展的兩個主要方向,其帶來的是對乘車體驗的顛覆:一方面,信息娛樂系統可以變得越來越豐富和智能化,原因是輔助駕駛和自動駕駛技術讓用戶可以從100%大腦投入到駕駛工作的束縛中脫離開來,所以現在汽車的屏幕越來越大,信息越來越豐富。 但只靠語音已經不能讓用戶全面的體驗這種新的系統。就像iPhone, iPad,人主要還是靠手眼結合的方式和大屏進行交互,只有少部分時間用SiRi。而觸摸,因為屏幕變得很大,位置較遠,用戶已無法直接觸摸到屏幕,手臂運動無法覆蓋全部屏幕的尺寸。我們的最新手勢交互技術正解決了這一問題。它具有高精度和高自由度的手部動作解析能力,極小的延遲,並同時具有大的空間覆蓋能力。它可以幫助下一代汽車具有劃時代的信息娛樂能力,做到「信息就在指尖之上」的自由體驗。

另一變化趨勢是,汽車變得越來越人性化,更加「懂得」用戶。目前的車靠的是主動的語音交互,用戶主動和車「說話」。 下一代的車,將更加智能,直接「讀懂用戶的心」。靠的是基於計算機視覺的被動交互,車可以知道用戶的情緒狀態,和行為狀態。用戶是緊張還是興奮,還是低落,還是想睡覺休息?是在開會還是娛樂,還是休息?最終目的是做到「人車一體」的體驗。我們在手勢基礎上擴展的面部識別和肢體識別正是讓汽車能夠讀懂用戶的情緒和行為。讓汽車讀懂我的心,自動適應我的狀態。

談當下業務重點以及未來探索 :手勢將會是三維人機互動中的不可缺少的一部分

36氪:公司當下發展的業務重點是什麼?

費越:我們始終認為人類是生活在一個三維的世界中,人類和世界最自然的交互是三維的,因此人類與電子世界最自然的交互,也應該是三維的,未來手勢將會是三維人機互動中的不可缺少的一部分,因此手勢識別仍然是公司當下發展的業務重點。目前,凌感科技手勢識別技術目前已經應用於許多領域,比如:AR/VR眼鏡、汽車、手機、IOT、智能生產等領域。未來這幾個領域仍然是公司發展的重點,除此以外,凌感科技將探索更多應用場景在其他領域。

36氪:目前凌感科技的客戶有哪些?未來,凌感科技的手勢追蹤技術還將向哪些領域探索?

目前,uSens凌感科技的手勢識別技術已經非常成熟並且已經商用在多個領域,合作的客戶大部分是其所在領域的頭部企業。在VR/AR領域,凌感科技的客戶有OPPO、HTC、Qualcomm等;在手機IOT領域,凌感科技的客戶有展訊、聯發科、OPPO等;在工業自動化領域,客戶有戴姆勒奔馳;在汽車領域,客戶有小鵬,拜騰,東風等十多家汽車公司,合作包括量產階段和POC階段。未來,凌感科技將會繼續在現在已落地的領域深耕,希望能做的更好更精準,給用戶帶來更加自然的交互體驗。除此之外,凌感科技在未來還將與客戶一起開拓其他行業領域的應用落地和使用場景,例如教育和醫療等行業。

相關焦點

  • 凌感uSens與詮視科技戰略合作,加速VR/AR設備的手勢識別技術落地
    文/VR陀螺 Jealous 近日,計算機視覺(手勢識別+slam)開發公司杭州凌感科技宣布和ARVR視覺模組硬體初創公司詮視科技進行戰略合作。凌感科技此次和詮視科技的戰略合作著力於VR/AR領域的手勢追蹤技術的結合,由凌感科技提供手勢識別的軟體算法,基於此算法,搭載了詮視視覺模組的VR/AR設備可以實現手部的3D骨骼識別和跟蹤。凌感和詮視都是專攻VR/AR領域的技術公司,但是在技術層面上,雙方研究的方向並不相同。
  • 凌感手勢追蹤算法與詮視視覺模組結合,加速手勢識別在VR/AR中的應用
    凌感科技此次和詮視科技的戰略合作著力於VR/AR領域的手勢追蹤技術的結合,由凌感科技提供手勢識別的軟體算法,基於此算法,搭載了詮視視覺模組的VR/AR設備可以實現手部的3D骨骼識別和跟蹤。 凌感和詮視都是專攻VR/AR領域的技術公司,但是在技術層面上,雙方研究的方向並不相同。凌感科技專攻手勢識別/骨骼識別以及6DoF Slam技術、物體識別等。
  • uSens/凌感發布AR/VR SDK及配套硬體 實現26度手勢和頭部位置追蹤
    專注研發 AR/VR 自然手勢及頭部位置追蹤技術的創業公司 uSens 凌感今日召開發布會,正式宣布開放 SDK 測試版並開啟預訂全新的 Fingo 系列產品。uSens 凌感推出 uDev 開發者計劃,幫助開發者將其領先的 inside-out 26 自由度手勢追蹤以及 6 自由度頭部位置追蹤應用於 ARVR 項目中。uDev 計劃提供全套開發者工具包,支持主流的集成開發環境並且順暢運行。目前,uSens 凌感的軟體系統支持基於移動端及 PC 端的 Unity 3D,Java,C++開發,後續將支持更多開發平臺。
  • 超越HoloLens,凌感科技發布VR+AR設備 Impression Pi
    來自矽谷的創業團隊uSens3月12日晚,uSens進行了低碳新潮的Impression Pi微信首發會。凌感的COO時馳告訴雷鋒網,目前VR領域有三個技術難點:三維手勢交互,自內向外的位移檢測以及AR+VR(增強現實與虛擬實境疊加),目前世界上尚沒有一款產品可以同時解決上述這三個問題。而時馳表示Impression Pi可以做到。
  • 支持26自由度手勢交互+6自由度頭部位置追蹤,uSens凌感發SDK及配套...
    手勢識別和位置追蹤目前與移動VR的結合還不多,之前36Kr曾經報導過的uSens凌感就是專注研ARVR自然手勢及頭部位置追蹤技術,想把這兩個體驗帶到移動VR領域,uSens今日在北京召開發布會,宣布開放SDK測試版並展示了模塊化套件Fingo系列新產品,套件支持手勢識別和頭部位置追蹤。
  • uSens與臺灣廠商LEAPSY合作 推出全球首款內嵌自然手勢AR頭顯
    矽谷三維人機互動方案商uSens凌感與臺灣AR頭顯廠商宇博先進LEAPSY合作,將正式推出全球首款嵌入式手勢高端AR頭顯MR360+,預計售價5000美元,目前已籤訂百萬級美元訂單,首批量產產品預計2018年第一季度發貨。
  • uSens與臺灣廠商LEAPSY合作AR頭顯,內嵌自然手勢識別
    uSens與臺灣廠商LEAPSY合作AR頭顯,內嵌自然手勢識別2017-11-09 23:06出處/作者:雷鋒網整合編輯:大淑責任編輯:huangshumin uSens凌感與臺灣AR頭顯廠商宇博先進LEAPSY合作,將正式推出全球首款嵌入式手勢高端AR頭顯MR360+,預計售價5000
  • 將點擊與觸摸相結合的滑鼠
    點擊新電腦加關注,趣味科技信息天天送!
  • 2018網易未來科技峰會9月21日開啟 走進新交互世界
    峰會主題為「ALL IN時代」,將探討急劇變化的新時代,新科技為人們的生活與商業帶來的新變革。本屆峰會由「未來科技峰會+炫酷互動體驗區」兩部分構成。主論壇上午主題為「預見時代」,下午主題為「共識時代」。另外,為了讓現場嘉賓和觀眾體驗到最炫酷的未來科技產品,峰會組委會進行了兩個月的參展企業招募工作,通過層層選拔,最終確定了六家頗具未來感的炫酷體驗企業參展。
  • 谷歌等巨頭布局手勢識別市場 未來或將取代觸控螢幕
    谷歌自定義手勢操控新專利曝光從谷歌專利描述來看,該技術可讓設備對用戶手勢進行直觀感知,除了簡單的推、拉、點觸等動作外,還能實現更多複雜的手勢操控。支持谷歌新專利的智能設備,可理解用戶做出的各種手勢含義,比如用戶希望智能設備關機,只需做出兩次拇指向下的手勢即可。
  • uSens手勢識別技術率先與Vive Wave 整合 接入開放硬體架構
    而最新發布的 VR 一體機 Vive Focus 也將與 VIVE WAVE 整合,開放硬體接入架構,uSens凌感的手勢交互技術就是其中之一,率先接入。 uSens凌感商務副總裁陳佳敬介紹:「我們與 HTC VIVE 的團隊已經進行了很長時間的產品測試,作為手勢技術的提供商,我們希望能夠讓更多的 C 端普通用戶,通過最自然的手部交互體驗到真正的 VR。能夠成為 VIVE WAVE 平臺的合作方,我們相信這是 VR 和手勢 識別技術走向大眾市場的一個不錯的起點。」
  • BMW自然交互系統首次亮相2019年世界移動通信大會
    寶馬集團一直是人機互動系統研發的先行者,致力於推進人機互動的向前發展。2月25日,在巴塞隆納舉行的2019年世界移動通信大會上,寶馬集團攜BMW自然交互系統首次亮相,展示了關於人機互動的突破性理念,代表了面向未來的創新科技,展現了寶馬集團在創新方面的實力和領導力。BMW自然交互系統採用最先進的語音指令技術,與手勢控制及眼神識別功能相結合,第一次真正實現了多模式交互。
  • 演講實錄丨清華大學史元春《自然動作交互的編-解碼優化方法》
    8月29日至30日,由中國科學技術協會、中國科學院、南京市人民政府為指導單位,中國人工智慧學會、南京市建鄴區人民政府、江蘇省科學技術協會主辦的主題為「智周萬物」的2020中國人工智慧大會(CCAI 2020)在新加坡·南京生態科技島舉辦。
  • 「中天智領人機互動、指揮調度中心」手勢識別從哪裡來?
    很少情況下會為人際交互界面術語進行定製。通常要將這8種手勢區分開來,並在一些應用中通用也不常見。相似的情況在web術語和手機手勢中設計新的界面時也會遇到,其中只有部分的設計能夠變成標準。在網頁設計領域,走馬燈和光標動畫流行一時,並在一片鄙夷聲中迅速消失。在手機設計領域由於蘋果公司在觸控螢幕領域的早期地位這種術語得到了很好的規範。
  • 全球首個觸摸手勢滑鼠:Swiftpoint GT
    Swiftpoint GT 是一個非常小巧的藍牙滑鼠,結合了自然觸摸手勢。它具備兩種操作方式:點擊模式(與普通滑鼠相同)和觸摸手勢模式。觸摸手勢通過傾斜滑鼠,感應滑動甩尾等手指動作,讓你既能感受真正自然的觸摸手勢,又無需端起屏幕或伸手去操作。
  • 百度AI互動設計院發布NIRO2.0自然情感交互系統,助力產業升級
    包含三個層次-機器人自然語言交互模型、人類情緒應對模型、機器人主動交流交互模型,通過這三個模型可以讓機器人的語音交互更高效、能主動服務、有情商。,以NIRO為基礎, 從ID、人機互動到結構工程、機械工程為百度智能雲打造的新產品,將在今年第三季度正式推向市場。
  • 商業夥伴眼中的時代先鋒,新寶馬5系這樣玩轉數字科技
    近年來,隨著AI人工智慧科技的快速發展,5G技術的快速介入,新一輪的數字浪潮風起雲湧。那麼,對於那些每天躋身各種商務場合的朋友,如何能靠一部座駕,讓商業夥伴辨識出他身上的科技先鋒氣質呢?答案很簡單,一臺新寶馬5系轎車就是不錯的選擇。在今年9月,新寶馬5系轎車正式上市,一共推出了長軸距和標準軸距共計17款車型,售價區間為42.39萬元到60.39萬元。
  • Leap Motion發布手勢交互引擎beta版
    用戶不用擔心閃動的手指會穿過物體,因為物體表面是具有彈性的,玩家可以自由進行交互。目前,這個交互引擎的搶先體驗beta項目已經對開開放。2013年,初創公司Leap發布了面向PC及蘋果電腦MAC的體感控制器Leap Motion。然而在當時,Leap Motion的銷量並不樂觀。VR的再一次興起,則給了Leap Motion喘息的機會。
  • 解鎖 VR 未來的秘鑰:Vive Wave開放平臺上的手勢識別技術
    鮑永哲給出的第三方硬體,包括6DOF手柄、眼球追蹤以及手勢識別。而在這之中,6DOF手柄和眼球追蹤都是 HTC Vive 頭顯的標配,對於首次引 入Vive 體系的手勢識別技術87君產生了好奇,並在第一時間採訪了鮑永哲 PPT 上的手勢識別合作夥伴——uSens凌感科技的商務副總裁陳佳敬。
  • 不懂互動設計中的體感交互的話,奉勸您考研還是別考互動設計了
    正因如此,在設計考研中,尤其是工業設計考研大潮中,有很大一批考生是衝著互動設計這一專業來的,其中不乏眾多跨專業考生。那麼你在決定考互動設計之前,是否有對互動設計做了足夠多的了解。本期文章,史論君給大家介紹一下互動設計中的體感交互。