受蜘蛛啟發,哈佛大學研究出超小體積深度傳感器

2020-12-04 青亭網

你見過最小的相機是多大，你見過的最小的3D深度傳感器又是多大？

根據哈佛大學工程和應用科學學院（SEAS）消息，該學院教授Federico Capasso帶領的研發小組研發出一款利用超透鏡（超薄的納米光子組件）的深度傳感器，其特點是可一次完成場景內所有深度信息測量，而且體積還很小巧，未來應用場景包括：微型機器人、侵入式醫療設備、小型穿戴設備、輕便型AR眼鏡/VR眼鏡等產品。

當前，該論文也已在美國國家科學院院刊上進行發表，下面我們就來一探究竟。

3D傳感器的進化

目前應用到3D和深度傳感器的產品有很多，包括微軟Xbox Kinect體感設備，其可識別人體動作從而實現各類的體驗遊戲操作，主要是遊戲娛樂方面；而最新的Azure Kinect DK也正式面向各種場景，包括醫療、超市、工業3D建模等眾多領域。

在更大型的汽車中也有更多的車型支持，尤其是在自動駕駛車輛中，3D攝像頭、LiDAR雷射雷達等等，主要是用於車輛周圍環境的探測與感知。

最常見的還是在智慧型手機中，例如蘋果iPhone X系列就是採用了3D結構光方案，安卓設備也有很多採用ToF方案，他們更注重要的還是用於3D化人臉識別的加密解密操作。

不過，現有的這些產品，以智慧型手機為例，其能提供較大容量的電池和較高算力的晶片，因此不用擔心功耗和性能不足等問題。

但對於那些對功率和算力都有限的設備來說，例如超小型機器人、或智能手錶等產品。他們如何解決3D傳感器的這些限制呢？

哈佛物理系博士候選人、論文第一作者Zhujun Shi表示："當前的光學和視覺方案已經種類繁多，他們基本上都是為不同的產品量身定製，而納米技術與光學設計結合，將有助於探索人造深度傳感器和視覺方案。

而這裡提到的就是將超透鏡與超高效的算法相結合，即可一次完成深度測量。

受跳動的蜘蛛所啟發

人眼和多數深度傳感器獲得深度信息的方法是，將左右眼（或傳感器）同時拍攝的兩幅略有差異的圖像進行搜索對比，PS：可以將手指放在面前，交替睜開左右眼，這時你就有體會了吧。

因為需要將兩張圖片進行比對，這種方法實際還是很繁瑣的，人類有一個強大的大腦可以處理這些任務，但是蜘蛛卻沒有。

經研究發現，蜘蛛已經進化出一個有效的深度感知系統，這能夠讓它們準確地跳躍到是自己身軀幾倍遠的地方，並對毫無戒備的目標發起攻擊。

從上圖了解到，如果蜘蛛用主眼注視著一個蒼蠅，這時只有主眼視網膜的圖像是清晰的，而另一隻眼鏡視網膜上的圖像會顯得模糊，這種模糊變化的背後則直接隱藏著蜘蛛飛行距離的信息。

在計算機視覺系統中，類似這種深度計算方法被稱作：離焦深度測量法。

而目前，想要用現代設備複製這種方法也可以實現，但是需要大型光學攝像頭和電動機械組件，這樣攝像頭可以拍攝不同焦點的圖片，不過這也限制了傳感器的速度和實際應用場景。

而這就是超透鏡發揮優勢的地方。

實驗室研究和結果

在實驗中，該研究小組嘗試將兩個具有不同深度焦距的離軸透鏡共同放到一個光圈中。

上圖即超透鏡設計方案，a表示傳輸效率和相移與納米柱寬度函數圖；b表示超透鏡俯視顯微鏡圖像，比例尺2um；c表示b圖中紅色標註區域放大，展示了空間復用方案效果以及不同顏色的顯示，比例尺500nm；d表示超透鏡輪廓的顯微鏡圖像，比利時：200nm。

基於此元件和現有的組件進行結合，從而構建出一個超透鏡深度傳感器原型，包括光學組件和機械組件的原型體積為4×4×10cm。當然這個體積算不上小，但由於超透鏡材料直徑僅3mm，如果採用專用光電傳感器則可大大降低整個傳感器原型的尺寸。

上圖a展示了不同距離下LED光源拍攝到的兩幅圖像模糊程度的變化，b是超透鏡傳感器深度作為物距的已知函數。

上圖為各種場景下的深度圖像展示，因為超透鏡一次拍攝的方案，因此這種方案可以拍攝快速移動的物理。a是移動的果蠅；b是動態的水柱；c是半透明類的效果，燭光（這類往往無法通過雷射雷達或ToF測量）；d是印刷效果的文本的傾斜視角圖像，深度信息均勻。

上圖是位於不同位置的蠟燭，所展現出的深度圖像效果。

實驗室內採用了由英特爾i5-8500K處理器和NVIDIA Titan V顯卡夠成的計算機進行每秒100幀以上的速度生成400×400解析度的深度圖像，而且通過優化代碼和硬體部分，還可以進一步提升速度。綜合每個輸出的像素產生速度圖的值需要637 個FLOP，僅涉及25×25的周圍像素，對比來看常規的雙目立體算法有效輸出每個像素約需7000個FLOP，另外知名光流算法Lucas-Kanade則需要2500個FLOP。

最終，根據實驗室的一系列測試，超透鏡深度傳感器基本被初步證實具備：體積小、重量輕、算力需求小、單個組件等優勢，未來這種將納米光子學和高效算法結合的深度測量方案有望應用在微瓦級這種昆蟲規模的平臺上，例如微型機器人、可食入人體的傳感設備等等。

論文作者：

Qi Guoa，Zhujun Shib，Yao-Wei Huanga，Emma Alexanderd，Cheng-Wei Qiuc，Federico Capassoa，Todd Zicklera。其中，Federico Capassoa教授也是Metalenz公司（專注於超材料技術的公司）聯合創始人。

來源：

https://www.pnas.org/content/early/2019/10/22/1912154116

相關焦點

  • 受跳蛛啟發,哈佛大學開發緊湊高效的深度傳感器
    來源：映維網 作者 吳羽樺跳蛛進化出了一種有效的深度感知系統，這使得它們能夠精確地突擊毫無戒心的獵物。生物進化是一個令人沉醉的領域，而這方面的研究同時啟發了一系列的科技進步。以跳蛛為例，儘管大腦細小，但其依然具備令人印象深刻的深度感知能力，這使得它們能夠精確地突擊毫無戒心的獵物。
  • 科學家受蜘蛛盅毛啟發開發出傳感器
    據外媒報導，在電影作品中，除了「吐絲」和倒掛接吻之外，蜘蛛俠最著名的能力是他的「蜘蛛感官」，讓這位超級英雄能夠提前感知危險並以閃電般的速度做出反應。而現實世界中蜘蛛的步足上有細長的、敏感的盅毛，可以幫助它們避開掠食者或捕食獵物。
  • 以蜘蛛的眼睛為靈感的緊湊型深度傳感器
    圖片了來源：哈佛大學上圖所示為深度傳感器實時工作的情形，它能夠捕捉半透明蠟燭火焰的深度。
  • 哈佛團隊受孔雀蜘蛛啟發 研發微流體系統驅動的小型軟體機器人
    哈佛大學的研究人員已經開發出一種生產小型軟體機器人的新方法，並通過創造一種由微流體系統驅動的柔性孔雀蜘蛛機器人來證明這一點。 這隻小蜘蛛不是第一個動物形狀的軟體機器人。兩年前，哈佛大學的一些研究人員展示了Octobot機器人，這是一種受章魚啟發的化學動力軟體機器人。
  • 哈佛大學研發可嵌入紡織品和軟機器人的智能傳感器
    哈佛大學約翰·保爾森工程與應用科學學院和威斯生物啟發工程學院的研究人員已經開發出一種超靈敏，彈性極強的應變傳感器，該傳感器可以嵌入紡織品和軟機器人系統中。　　這項研究發表在《 自然》上。　　SEAS和Wyss研究所材料科學與機械工程研究助理，論文的第一作者Oluwaseun Araromi說：「當前的軟應變儀確實很敏感，但也很脆弱。」
  • 跳蛛眼睛啟發未來科技:讓納米機器人擁有更優秀光學能力
    為了達到這個目的，蜘蛛的每隻眼睛都擁有多層視網膜。當一隻眼睛的圖像變得更清晰而另一隻眼睛的圖像變得更模糊時，一種深度的聚焦就出現了，而這使得蜘蛛能夠立即判斷致命跳躍所需的準確距離。 跳蛛的這一能力給了哈佛大學科研人員以啟發
  • 哈佛大學研製受摺紙技藝啟發的可編程氣球
    受日本 Kirigami 摺紙藝術的啟發，哈佛大學的一支研究團隊，想到了開發一種「可編程氣球」的創意，特點是能夠在充氣時呈現各種驚人的形狀。 除了炫技，該校約翰·保爾森工程與應用科學學院（SEAS）的研究人員們，還希望該平臺能夠用於新型醫療設備的生產、以及用到軟體機器人的執行器上。
  • 波士頓動力的「狗」,哈佛大學的「蟑螂」,機器人和動物的那些事
    除了這隻廣受關注的「網紅狗」，最近還有一個機器人被冠上了動物的名字，它就是哈佛大學的「蟑螂機器人」。受昆蟲生物學的啟發，這個被稱為HAMR-JR的微型機器人問世了。它由哈佛大學約翰·A·保爾森工程和應用科學學院(SEAS)和哈佛威斯生物啟發工程研究所的研究人員攜手開發，HAMR-JR只有一便士大小，使它成為迄今為止最靈巧的微型機器人之一。而且可以奔跑、跳躍、攜帶超過自身重量十倍的重物和快速轉彎。和波士頓動力的大狗不同，HAMR-JR之所以被稱為「蟑螂機器人」，並不是因為長相，而是在設計上模仿了蟑螂的速度和機動性。
  • 比蜘蛛俠的蜘蛛感應還厲害?科研團隊受昆蟲啟發研發防碰撞系統
    比蜘蛛俠的蜘蛛感應還厲害？科研團隊受昆蟲啟發研發防碰撞系統2018-03-23 10:35出處：汽車科技作者：黑目責任編輯：PConline 【汽車科技AutoTech】在漫威的漫畫和電影作品中，蜘蛛俠Peter Parker因為被變異蜘蛛咬傷而獲得了很多特殊能力，其中蜘蛛感應這項特異功能就十分厲害。
  • 受蜘蛛絲啟發 安農大一團隊製備出超強彈性體材料
    原標題：受蜘蛛絲啟發 以蓖麻油為原材料 安農大製備出超強彈性體材料記者4月1日從安徽農業大學獲悉，受蜘蛛絲超強超彈性能的啟發，該校生物質分子工程中心汪鍾凱教授團隊以蓖麻油為原材料，製備出一種抗拉強度超過200兆帕的超強螢光彈性體，突破了現有彈性體材料的強度極限，實現了農林生物質的高值轉化和利用
  • 蜘蛛斷腿再生之謎，給軟機器人開發帶來了哪些啟發？
    蜘蛛以4億年技術積累鑄造的蛛網堪稱工程奇蹟，人們可以從蛛網的構造及粘捕功能中得到很多啟示。以十字園蛛為例，這種蜘蛛腿斷後可以再生，雖然新長出的腿要比之前的短得多，但仍能織出一張完美的網。近日，英國牛津大學和丹麥奧爾胡斯大學的研究人員揭示了蜘蛛的再生腿是如何協調複雜運動及絲線操控，並與正常腿的運動相適應的。
  • 哈佛大學通過改造機器人織物製造可穿戴治療設備
    由於機器可能會限制紡織品潛在的應用，因此哈佛大學的研究人員團隊共同開發了一種基於紡織物的軟機器人，不需要連接任何機器就能進行自我調節。 這些研究人員來自不同學院研究室的各個學科，包括哈佛大學威斯生物工程研究所、約翰·保爾森工程與應用科學學院以及化學與化學生物學系。
  • 中國科大又出牛校友 31歲晉升哈佛大學正教授
    尹希在給學生們上課（資料圖片）　　日前，從中科大校友圈又傳來好消息，就在本月，哈佛大學高能理論研究組發布了「一句話新聞」：「祝賀尹希晉升正教授」。這位中科大少年班校友，此時還未滿32歲，刷新了中科大校友出任哈佛大學正教授年齡最小的紀錄。此前，他的學姐莊小威34歲任哈佛大學正教授。　　未滿32歲晉升哈佛正教授　　尹希1983年12月出生，不到13歲時就從北京八中少兒班考入中國科學技術大學96級少年班。 17歲時，他已經完成中科大當時的五年制本科學業，去美國哈佛大學攻讀博士學位。
  • 美國哈佛大學教師選聘及其借鑑
    在這樣一個高教系統中，20世紀的100年裡，自然科學領域湧現出206位諾貝爾獎獲得者，其中絕大多數的獎項是由大學教授獲得。這些成績足以證明高校師資隊伍建設的重要性；美國高等教育改革家亨利·菲利普·塔潘認為教師是大學的靈魂，在構成大學的諸要素中，教師始終居於首位。塔潘在《大學教育》中提到：「沒有教師，教育無法進行；擁有教師，一切都能繼續。」
  • 受雞尾酒啟發 研究人員開發男性避孕新法
    新華社華盛頓2月10日電 受色彩繽紛的分層雞尾酒的啟發，中國研究人員最近開發出了一種可逆的男性避孕方法。目前，常見男性避孕方法要麼是保險套這樣的短期措施，要麼是長效的輸精管結紮手術。然而，保險套有可能會失效，輸精管結紮有效卻通常不可逆，接受手術的人很難恢復生育能力。
  • 受獵豹啟發,研究人員開發出速度最快的軟體機器人
    受獵豹這種力量和速度啟示，美國北卡羅萊納州立大學機械與航空工程系助理教授尹傑團隊，開發了一種新型軟體機器人——LEAP機器人，從外觀來看，LEAP機器人長約7釐米，重約45克。受獵豹啟發，尹傑團隊開發了一種新型軟體機器人無論是在固體表面，還是在水中，該機器人都比其他軟體機器人移動得更快，該機器人還可以輕鬆地抓取物體，也具有足夠大的力量舉起重物。相關研究論文已發表在《Science》子刊Science Advances上。
  • 哈佛大學研究發現,成績位列前茅的孩子,大多對這類書情有獨鍾
    前段時間，我在百度上看到這樣一篇新聞，說是美國的哈佛大學曾經對校內的學生進行過一項閱讀調查研究，他們把哈佛大學裡的學生分為兩類，一類是在校內成績屬於中等的學生。另一類是在校內成績屬於上等的學生，然後將兩類學生閱讀的書單多了對比。調查結果顯示：成績上等的學生，更偏愛歷史書，這表明，高智商和成績名列前茅的孩子，大多數對歷史書情有獨鍾。
  • 美科學家叢林偶遇世界最大蜘蛛
    據外媒報導，美國一研究學者近日在拉丁美洲國家蓋亞那叢林偶遇世界最大體積蜘蛛——亞馬遜食鳥蛛，由於發現時為夜晚，科學家還把蜘蛛誤認成了小型哺乳動物。據報導，這種亞馬遜食鳥蛛是金氏世界紀錄上體積最大的蜘蛛，它的腿伸開後最長能達到30釐米，重量能達170克，大約為一隻年幼小狗的重量。
  • 哈佛大學研發新一代蟑螂機器人HAMR 既可陸地行走也能水下漫步
    哈佛的Ambulatory Microrobot，被稱為HAMR，可以在陸地上行走，在水面上遊泳，並在必要時還可以在水下行走，為這個小機器人的探索開闢了新環境。下一代HAMR使用多功能腳墊，當HAMR需要遊泳時，它依賴於表面張力及其引起的浮力，但是當HAMR需要下沉時也可以施加電壓來劃開水面。該過程稱為電潤溼，其是在施加的電壓下材料與水表面之間的接觸角的減小。