出品 | 智東西公開課講師 | 劉洋 炬佑智能CEO提醒 | 關注智東西公開課公眾號,並回復關鍵詞 論壇02,即可獲取課件。
導讀:
本文為上海炬佑智能科技公司CEO劉洋在智東西主辦的「移動機器人3D視覺論壇」的演講內容。劉洋老師的演講主題為《TOF 3D超感知視覺》。
在本次演講中,劉洋老師對TOF 3D技術和應用展開簡單介紹,之後對TOF模組進行詳細解讀。
本文為此次演講的圖文整理:
正文:
大家好,今天演講的內容是針對於TOF 3D技術怎麼支持機器人更便利地應用,主題為《TOF 3D超感知視覺》。
為什麼是3D?隨著IoT的發展,3D技術需求變得越來越多,大量的識別不再依靠人,而是需要機器人做自動物體識別,怎麼把3D識別功能賦能到機器人上變得很重要。
在過去的四五年中,周圍的環境和體驗已經有了3D感知的賦能,比如3D人臉、自動駕駛、掃地機器人、物流分揀、家具設計,體感遊戲等。不知不覺中,周圍被大量的3D感知技術包圍,雖然3D感知技術沒有得到全面商用,但落地越來越快,有些技術已在行業中開始使用,並大規模量產,特別是在機器人行業。機器人需要智能化,機器人移動、避障更需要智能的3D感知技術。
今天論壇的主題是機器人,我們看到機器人發展是迅速的,從剛開始日本出現的人形機器人,到現在國內的日益成長機器人市場,以及中國的機器人開發能力,我個人認為甚至超過日美的知名公司,像國內有名的機器人送餐,還有服務機器人。過去服務機器人只能站在那裡不動,現在可以跟著你走,還能引導上電梯,機器人發展越來越壯大,其中機器人視覺也成為最重要的一環。
炬佑智能專注於開發和提供智能傳感與人工智慧系統產品和方案。目前3D視覺有3種主流的解決方案:雙目、結構光、TOF。雙目是最成熟,也是最早的;結構光在精度上得到行業的認可;TOF也有它的獨特之處,主要是更直接感知3D技術,因為它是雷射雷達。另外它有一些優勢,體積可以做得很小,成本也越來越便宜。然而TOF模組很複雜,麻雀雖小五臟俱全,它有很多內容,包括接收器和發射器,因為它是主動光,在做雷射雷達的深度測試需要一定的校正和算法的處理,整個TOF的系統也是相當複雜的。
今天主要針對TOF技術和大家做簡單的介紹,上圖是我在日本圖像協會做的演講,主要要點是,TOF傳感器相當複雜,有多樣性,而且還有很大的改善餘地。機器人視覺除超聲波外,基本上都與光相關,光比較複雜,有光的壞處,也有光的好處,光的好處是與人眼一樣隨時可以判斷,壞處是容易受到幹擾,雙目有顏色、光線的問題,結構光由於打出來的散光一致性很關鍵,TOF也有相應的問題,光線幹擾的去除比較複雜。
針對這些問題,我們做了大量的研發,包括系統晶片和算法的改進,在業內首次提出動態TOF和發光控制TOF,改善了TOF存在的問題。
另外,針對TOF系統的複雜性,因為3D感知不是簡單的複製,要把器件放到機器人上。機器人不能只在空調房間工作,一旦溫度有變化,就要保證測量的數據是準確的。我們針對溫度問題做了大量的算法和晶片的改進,溫度從零下30度到100度,特別對一些環境比較惡劣的情況,有些產品需要在南方和北方同時銷售的產品,像溫度這個特性,我們能夠很好解決。
TOF系統不斷進化,首先是系統的集成化,我們提供的TOF系統不是給客戶一個簡單的晶片方案,我們把整個TOF系統接收、發射和處理器整體做集成,客戶可以一站式應用,能夠很好地放到機器人上,做到比較好的效果。另外是應用適配化,針對不同的機器人可以做一些算法的匹配,第三點是發光多源化,客戶需要的機器視覺不只是一個角度,可能還需要廣角、近角、遠角,有點像手機,我們有發光多源化的能力。總而言之,核心是我們提供系統級的優化方案。
機器人發展有三個階段,第一階段是簡單的慣導機動,如果產品複雜,基本上不可用,機器人可能是站著不動。現在的機器人發展是圖像定位SLAM,類似於酒店的送餐機器人很靈活,因為它有SLAM的能力,但是這還不夠,由於機器人缺少目的性,怎麼能讓機器人像人一樣,有更多的目的性做更智能的工作。像掃地機器人已經推出一個方向,它增加更多相應的傳感器,特別是避障,機器人可以有目的性做一些事,而且針對環境做判斷,而不是在固定算法上做一些固定的流程。
針對智能3D識別,國外已經推出了下一代的機器人,這些機器人要實現目標,智能3D視覺技術必須要更深入導入。我們公司是一家集晶片和系統的技術公司,對於晶片,所有的TOF晶片都提供,同時也有相應的系統能力,我們的覆蓋範圍在幾釐米到20米,而且開發的下一代會達到50米的範圍,在應用上支持機器人和智能家居等。
TOF的核心是傳感器的像素,我們也在不斷開發新一代技術,把像素尺寸做得越來越小,這也帶來更多的優勢,首先集成度做得更高,TOF的3D像素更立體;第二是成本越來越低,像素小,面積可能是原來的一半,成本是原來的一半;同時在發光上,我們也做相應的努力,上圖是2016年的專利:點陣發光,我們在TOF的接收和發射做更有效的系統匹配,把TOF的整體性能做得更好。
另外,針對TOF的算法和運算,我們開發的系統模仿人類的整個感知系統,並與客戶一起開發相應的頂層算法。我們有自己的ISP晶片,晶片更加小巧,模擬人類的小腦,小腦是直覺的感知,可以讓TOF系統快速感知,同時在像素開發上,也會推出像素級內置運算,即在像素裡做相應的運算,這模擬了人眼,人眼雖然有幾億個信號,但是發到小腦是有限的信號。我們把這一套類人腦視覺的系統整體連接起來,希望把TOF技術做得更好。
整體來看,針對TOF系統,我們強調做動態TOF系統,包括發射、接收和處理器。舉一個簡單的案例,針對不同的客戶提供相應的方案,像系統模塊的好處是極小,只有手指那麼大,可以迅速判斷人的方位、距離,而且成本極低。同時針對掃地機器人的避障,我們對特別複雜、細節的地面做了相應的系統支持,內置ISP能夠很迅速判斷這些細節,這也為機器人和掃地機器人的避障提供很好的方案,而且這個方案可以直接拿來用,不需要做額外的算法開發,人臉也有相應的方案。
最後介紹下我們公司相應的產品,我們有完善的產品線布局,包括TOF發光晶片和處理器晶片,在這個基礎上也提供各類的模組方案,同時與業內的頂級系統公司進行緊密合作,根據客戶的需求提供相應的模組方案,也提供全套的平臺方案。
以上是我今天的分享,謝謝大家的聆聽。