炬佑智能CEO劉洋20頁PPT深入講解TOF 3D超感知視覺及在機器人上的...

2020-12-19 智東西

出品 | 智東西公開課講師 | 劉洋 炬佑智能CEO提醒 | 關注智東西公開課公眾號,並回復關鍵詞 論壇02,即可獲取課件。

導讀:

本文為上海炬佑智能科技公司CEO劉洋在智東西主辦的「移動機器人3D視覺論壇」的演講內容。劉洋老師的演講主題為《TOF 3D超感知視覺》。

在本次演講中,劉洋老師對TOF 3D技術和應用展開簡單介紹,之後對TOF模組進行詳細解讀。

本文為此次演講的圖文整理:

正文:

大家好,今天演講的內容是針對於TOF 3D技術怎麼支持機器人更便利地應用,主題為《TOF 3D超感知視覺》。

為什麼是3D?隨著IoT的發展,3D技術需求變得越來越多,大量的識別不再依靠人,而是需要機器人做自動物體識別,怎麼把3D識別功能賦能到機器人上變得很重要。

在過去的四五年中,周圍的環境和體驗已經有了3D感知的賦能,比如3D人臉、自動駕駛、掃地機器人、物流分揀、家具設計,體感遊戲等。不知不覺中,周圍被大量的3D感知技術包圍,雖然3D感知技術沒有得到全面商用,但落地越來越快,有些技術已在行業中開始使用,並大規模量產,特別是在機器人行業。機器人需要智能化,機器人移動、避障更需要智能的3D感知技術。

今天論壇的主題是機器人,我們看到機器人發展是迅速的,從剛開始日本出現的人形機器人,到現在國內的日益成長機器人市場,以及中國的機器人開發能力,我個人認為甚至超過日美的知名公司,像國內有名的機器人送餐,還有服務機器人。過去服務機器人只能站在那裡不動,現在可以跟著你走,還能引導上電梯,機器人發展越來越壯大,其中機器人視覺也成為最重要的一環。

炬佑智能專注於開發和提供智能傳感與人工智慧系統產品和方案。目前3D視覺有3種主流的解決方案:雙目、結構光、TOF。雙目是最成熟,也是最早的;結構光在精度上得到行業的認可;TOF也有它的獨特之處,主要是更直接感知3D技術,因為它是雷射雷達。另外它有一些優勢,體積可以做得很小,成本也越來越便宜。然而TOF模組很複雜,麻雀雖小五臟俱全,它有很多內容,包括接收器和發射器,因為它是主動光,在做雷射雷達的深度測試需要一定的校正和算法的處理,整個TOF的系統也是相當複雜的。

今天主要針對TOF技術和大家做簡單的介紹,上圖是我在日本圖像協會做的演講,主要要點是,TOF傳感器相當複雜,有多樣性,而且還有很大的改善餘地。機器人視覺除超聲波外,基本上都與光相關,光比較複雜,有光的壞處,也有光的好處,光的好處是與人眼一樣隨時可以判斷,壞處是容易受到幹擾,雙目有顏色、光線的問題,結構光由於打出來的散光一致性很關鍵,TOF也有相應的問題,光線幹擾的去除比較複雜。

針對這些問題,我們做了大量的研發,包括系統晶片和算法的改進,在業內首次提出動態TOF和發光控制TOF,改善了TOF存在的問題。

另外,針對TOF系統的複雜性,因為3D感知不是簡單的複製,要把器件放到機器人上。機器人不能只在空調房間工作,一旦溫度有變化,就要保證測量的數據是準確的。我們針對溫度問題做了大量的算法和晶片的改進,溫度從零下30度到100度,特別對一些環境比較惡劣的情況,有些產品需要在南方和北方同時銷售的產品,像溫度這個特性,我們能夠很好解決。

TOF系統不斷進化,首先是系統的集成化,我們提供的TOF系統不是給客戶一個簡單的晶片方案,我們把整個TOF系統接收、發射和處理器整體做集成,客戶可以一站式應用,能夠很好地放到機器人上,做到比較好的效果。另外是應用適配化,針對不同的機器人可以做一些算法的匹配,第三點是發光多源化,客戶需要的機器視覺不只是一個角度,可能還需要廣角、近角、遠角,有點像手機,我們有發光多源化的能力。總而言之,核心是我們提供系統級的優化方案。

機器人發展有三個階段,第一階段是簡單的慣導機動,如果產品複雜,基本上不可用,機器人可能是站著不動。現在的機器人發展是圖像定位SLAM,類似於酒店的送餐機器人很靈活,因為它有SLAM的能力,但是這還不夠,由於機器人缺少目的性,怎麼能讓機器人像人一樣,有更多的目的性做更智能的工作。像掃地機器人已經推出一個方向,它增加更多相應的傳感器,特別是避障,機器人可以有目的性做一些事,而且針對環境做判斷,而不是在固定算法上做一些固定的流程。

針對智能3D識別,國外已經推出了下一代的機器人,這些機器人要實現目標,智能3D視覺技術必須要更深入導入。我們公司是一家集晶片和系統的技術公司,對於晶片,所有的TOF晶片都提供,同時也有相應的系統能力,我們的覆蓋範圍在幾釐米到20米,而且開發的下一代會達到50米的範圍,在應用上支持機器人和智能家居等。

TOF的核心是傳感器的像素,我們也在不斷開發新一代技術,把像素尺寸做得越來越小,這也帶來更多的優勢,首先集成度做得更高,TOF的3D像素更立體;第二是成本越來越低,像素小,面積可能是原來的一半,成本是原來的一半;同時在發光上,我們也做相應的努力,上圖是2016年的專利:點陣發光,我們在TOF的接收和發射做更有效的系統匹配,把TOF的整體性能做得更好。

另外,針對TOF的算法和運算,我們開發的系統模仿人類的整個感知系統,並與客戶一起開發相應的頂層算法。我們有自己的ISP晶片,晶片更加小巧,模擬人類的小腦,小腦是直覺的感知,可以讓TOF系統快速感知,同時在像素開發上,也會推出像素級內置運算,即在像素裡做相應的運算,這模擬了人眼,人眼雖然有幾億個信號,但是發到小腦是有限的信號。我們把這一套類人腦視覺的系統整體連接起來,希望把TOF技術做得更好。

整體來看,針對TOF系統,我們強調做動態TOF系統,包括發射、接收和處理器。舉一個簡單的案例,針對不同的客戶提供相應的方案,像系統模塊的好處是極小,只有手指那麼大,可以迅速判斷人的方位、距離,而且成本極低。同時針對掃地機器人的避障,我們對特別複雜、細節的地面做了相應的系統支持,內置ISP能夠很迅速判斷這些細節,這也為機器人和掃地機器人的避障提供很好的方案,而且這個方案可以直接拿來用,不需要做額外的算法開發,人臉也有相應的方案。

最後介紹下我們公司相應的產品,我們有完善的產品線布局,包括TOF發光晶片和處理器晶片,在這個基礎上也提供各類的模組方案,同時與業內的頂級系統公司進行緊密合作,根據客戶的需求提供相應的模組方案,也提供全套的平臺方案。

以上是我今天的分享,謝謝大家的聆聽。

相關焦點

  • 「預計ToF成本下降空間較大」,「炬佑智能」3D視覺方案三系列晶片...
    圖 | 「炬佑智能」 隨著蘋果iPhone X 3D面部識別的出現,近兩年3D視覺市場受到了較大的重視,各大手機廠商都在推進相關技術。除了手機、電視等消費終端,3D視覺技術在安防監控及智慧零售等眾多領域也有較大應用空間。
  • 「雙創」3D感知新浪潮:ToF技術
    炬佑智能 創始人劉洋一路從國際半導體巨頭們的技術和市場管理崗位走來,對於ToF技術,劉洋不僅有著深厚的技術積累,還有著獨樹一幟的想法。2017年借著產業的發展時機,劉洋攜著ToF夢與志同道合的夥伴們一起回到上海,創辦了炬佑智能這家公司。近日,創始人劉洋接受採訪,分享了他的創業故事。
  • 炬佑智能推多款ToF Sensor,加速高感度小尺寸像素創新
    集微網消息,近日國內知名3D ToF晶片與系統方案提供商——炬佑智能全面更新ToF Sensor產品線,推出多款新產品,並宣布在下一代百萬像素ToF Sensor 取得突破。640×480的精細解析度配合0.5%的精度水準,OPN8018將在智慧型手機、Face ID、3D建模等高精度高清3D應用領域大展身手。同時推出的還有基於OPN8018的緊湊型COB模組OPNM8518A,為客戶快速構建VGA ToF產品提供支持。
  • 行業大咖走進奧比中光workshop,共論3D視覺賦能機器人之道
    2020年11月27日,由奧比中光發起,英偉達、獵戶星空共同參與的奧比中光workshop系列之機器人專題活動在奧比中光B站進行直播。活動探討了3D視覺技術在智能服務機器人行業的應用,同時解讀3D視覺技術趨勢、分析行業未來的規劃布局。
  • 藉手機一雙慧眼 掀AR/VR浪潮 ToF開啟消費電子「升維」之旅
    TOF在移動端被看好 普及速度或超結構光3D傳感器是智慧型手機創新趨勢之一,當前正加速向手機終端滲透。目前市面上共有三種主流技術:ToF、結構光和立體視覺,比較成熟的方案是結構光和ToF。其中結構光最為成熟,已大規模應用於工業3D視覺,ToF則憑藉自身優勢成為在移動端較被看好的方案。
  • PerfXLab CEO張先軼30頁PPT深入講解嵌入式AI開發板及嵌入式視覺應用開發【附PPT下載】
    3月17日,澎峰科技CEO張先軼在智東西公開課進行了嵌入式AI合輯第二講的直播講解,主題為《利用AI開發板實現嵌入式視覺應用開發》。在本次講解中,張先軼老師從嵌入式AI開發板的設計經驗、主流嵌入式AI開發板的差異入手,並結合澎峰科技Perf-RK3399開發板及PerfFace人臉識別算法,系統講解如何實現雙目人臉識別應用開發。
  • Workshop|線上論劍機器人戰「疫」 奧比中光3D視覺技術賦能行業爆發
    3月5日,奧比中光Workshop系列之「智御疫情 視如坦途」機器人行業線上沙龍成功舉行。本次活動由奧比中光和深圳機器人協會、深圳衛視「第一現場」欄目聯合發起,匯聚了擎朗智能、中智科創、銳曼智能等企業代表。這是奧比中光Workshop系列活動首次採用線上形式,通過空間連線,共同探討機器人與3D視覺技術在無接觸場景下的應用。
  • ToF技術推動3D視覺井噴
    ,未來 3D Sensing 將在人機互動、即時通信、智能家居,AR/VR 技術以及機器人、自動駕駛輔助等領域有很廣闊的應用市場。3D 感知相機帶來立體視覺,增加了臉部解鎖、支付、測距等功能,提高安全性和效率。蘋果在 2017 年開創了前置 3D 深度相機的先例,各大手機廠商不斷嘗試後置 3D 相機的應用,蘋果新款 iPad Pro 正加速後置 3D 相機的推進。 結構光和 ToF 兩種 3D 視覺方案在智慧型手機領域的應用,此前在業界比較常見的做法是 ToF 後置,結構光前置。
  • 首拆智能翻譯機:內置炬芯ATS3609(D)語音晶片
    有些人可能懂一些基本的交流,但是無法深入洽談;有些人的發音太過「蹩腳」,導致交流過程中出現很多的尷尬。外語不熟練如何跟外國人交流呢?這應該是很多人都會遇到的一個痛點問題。現在,很多人都選擇了專門的翻譯機,用來充當跟外國人交流對話的工具。  近日,小編拿到了一款智能語音翻譯機,受到了市場的熱捧。智能語音翻譯機應用的場景非常廣泛,功能強大,支持43種語音互譯。
  • 歐菲光開啟掃地機器人ToF 3D精準避障新時代
    近日,小米最新一代的掃拖機器人——米家旗艦機掃拖機器人1T全新上市。一經上市,便吸引了眾多消費者的關注。根據介紹,全新的米家掃拖機器人1T創新搭載歐菲光與PMD&IFX攜手為掃地機領域開發的ToF 3D方案,實現前置ToF攝像頭與高精度傳感器的融合,可通過精確計算和智能感知,快速實現對障礙物的測距和避障,避免卡困,更加的智能化。當前市場上掃地機器人的3D感知技術包括結構光、立體視覺以及3D ToF。
  • 3D視覺為機器人增加「眼睛」
    而這個能力也可以賦予給我們的機器人。但人類感知三維的方式也許並不適用於機器。要引導機器人運用深度傳感視覺,需要考慮三個關鍵方法:立體視覺、結構光和飛行時間(ToF)。Z9cednc機器人系統已經存在了幾十年,但直到最近它們大多都是盲目工作。
  • 優必選研究院技術專家丁宏鈺35頁PPT深入講解大型仿人機器人整機構型
    出品 | 智東西公開課講師 | 丁宏鈺 優必選研究院技術專家導讀:7月20日,優必選研究院技術專家丁宏鈺在智東西公開課進行了一場的直播講解,主題為《大型仿人機器人整機構型研究與應用》,這也是優必選專場第5講。
  • 愛仕達旗下錢江機器人炊具智能工廠或2019年投產運營
    同天,錢江機器人還對外展示了溫嶺高端炊具智能工廠整體模型,即建設中的愛仕達智能製造示範工廠。按照錢江機器人的規劃,該高端炊具智能工廠已取得實質性進展,計劃於2019年投產運營。據悉,該高端炊具智能工廠項目將導入500臺錢江機器人,在拋光打磨、噴塗、碼垛、上下料等環節取代人工勞動,優化生產流程,達成「自動化、信息化、智能化、柔性化」的國際先進水平。
  • 智能讀書燈機器人 - 中英文翻譯講解視頻
    中英文翻譯講解視頻【滿分小學霸】智能讀書燈機器人【滿分小學霸】智能讀書燈機器人
  • HUAWEI P40系列國內發布 超感知徠卡五攝再次定義手機攝影
    [PConline 資訊]4月8日,在2020華為春季新品線上發布會上,HUAWEI P40系列在中國正式發布,HUAWEI P40、HUAWEI P40 Pro、HUAWEI P40 Pro+三款機型集中亮相。此次發布會採用了全新的線上VR觀看方式,以更具沉浸式的體驗形式,打造了一場高科技企業的線上發布會。
  • 視覺語言導航:造就高智商機器人
    世界許多國家已開始致力於視覺語言導航在人工智慧上的拓展運用,打造智能戰爭機器,搶佔打贏明天戰爭的前沿高地。計算機視覺,讓智能機器「看清」世界計算機視覺是一個跨領域的交叉學科,包括計算機科學、數學、工程學、物理學、生物學和心理學等。
  • 未來天使亮相2020佛山國際智慧機器人博覽會
    這次未來天使展出的主要是R3小天使智能服務機器人、R8攀登者情商培養機器人(簡稱小寶)、R2旺仔智能服務機器人。小天使可以進行商業迎賓、智能導航、講解等服務,它的仿生手臂可謂一大特色,能夠進行打招呼、敬禮、捂手等動作。小天使不但「就職」於上市公司風華高科,在科研中心進行迎賓講解,還在廣東財富溫暖酒店負責智能接待、導航等服務。
  • 十款堪稱神器的ppt插件介紹 ppt插件下載
    第三款:ppt動畫大師ppt動畫大師是一款在「Powerpoint」做動畫的小插件,ppt是我們常用的辦公軟體,現在我們可以利用ppt動畫大師在ppt上做各種動畫,是你的ppt做出來更有豐富性,也有更好的觀賞性,其實說白了ppt動畫大師也就是一個動畫屬性編輯工具,可以讓不懂VBA的人輕易跨越PPT動畫的局限
  • 良心推薦三款靠譜智能兒童機器人 採用炬芯晶片
    恰逢近兩年人工智慧產業迎來長足進步,鎖定幼兒陪伴、早教市場的兒童機器人產品也自然受到追捧,並吸引了眾多家庭關注。趁雙11即將來臨之際,小編真誠的為大家推薦幾款具有代表性且產品優質的智能兒童機器人,笑納與否請隨尊便。
  • 廣工教授佛山創辦締樂視覺:給機器人裝上「火眼金睛」
    這個生產場景,以視頻形式展現在佛山市迪賽納科技有限公司今年7月在美國召開的經銷商大會上。這部「科幻大片」展示了迪賽納用於生產可升降電腦桌的智能化生產線,其中提到的「智能視覺識別和檢測技術」來自佛山締樂視覺科技有限公司(下稱「締樂視覺」)。