不可見成為可見,超材料和AI融合 洛桑聯邦理工「破譯」了聲音圖像

2020-11-23 cnBeta

聲音在空氣中作了一幅我們看不見的畫，人們需要用一些手段將其顯現出來。聽上去有點玄幻，能做到嗎？能！近日，瑞士洛桑聯邦理工學院波工程實驗室（Laboratory of Wave Engineering，EPFL）的一個小組利用超材料結合深度學習技術的創新思路實現了這個過程。

2020 年 8 月 7 日，該研究小組題為 Far-Field Subwavelength Acoustic Imaging by Deep Learning（基於深度學習的遠場聲學亞波長成像）的成果發表於國際頂級物理學期刊 Physical Review X。

衍射極限帶來的挑戰

該小組的這一嘗試要從物理學中的「衍射極限」（Diffraction limit）說起。

衍射是一個我們日常生活中都遇到過的物理現象——波遇到障礙物時會偏離原本的直線傳播。而在此基礎上的衍射極限則是指，受到衍射現象的限制，一個物點經光學系統成像，並不能得到理想像點。

利用一個物體的成像，人們能夠對它傳播或輻射的光波、聲波進行一個所謂的遠場（far-field）分析，以此來描繪物體本身。

為實現這一目的，較為關鍵的一個因素是成像的解析度。解析度受限于波長，波越短，解析度越高。

也就是說，正是因為衍射極限，物體的成像質量會受影響。因此，遠場觀察、識別那些尺寸比光波長小得多的物體，這項任務具有挑戰性。

雖然科學家們此前已經設計出了幾種方法來克服這種限制，但這些方法還存在一些問題，比如：

侵入性標記方法：需要複雜、昂貴的光學設備，圖像後處理過程繁瑣；

諧振超材料透鏡方法：雖然無需標記、成像解析度也高，但諧振金屬材料對吸收損耗敏感，這在很大程度上阻礙了其實際應用。

超材料與深度學習的結合

對於任何一項科學研究而言，發現問題之後，就要提出研究課題，嘗試給出解決方案了。

研究小組在論文中表示：

機器學習在不斷進步，不同領域的科學家們開始嘗試通過深度學習進行研究，如工程、生物、醫學、量子物理等。近年來，深度學習成功的例子包括醫學圖像分析、語音識別、圖像分類、逆成像問題以及各種複雜的分析問題。

實際上，由具有非線性模塊的多個處理層組成的深度神經網絡，能夠通過自調整每一層的內部參數，發現、學習隱藏在複雜數據中的結構，無需人工幹預。

受此啟發，波工程實驗室研究小組的思路是：將超材料與深度學習技術結合，把衍射極限由劣勢變成優勢，為無標記成像技術的新應用開闢一條新路。

超材料即 Metamaterial，是指一類自然界中不存在的、人工製造的非活體複合材料或結構。在這一研究中，小組採用的是有損耗（小組特地進行的設計）的諧振金屬。

【用於亞波長圖像重建和識別的實驗裝置】

研究小組在亞波長輸入圖像（subwavelength input images）附近放置金屬，並訓練神經網絡直接對圖像進行重構和分類。其中，金屬的吸收損失是有效學習的關鍵。

具體原理見下圖：

類似數字「5」的形狀是一個亞波長聲源。

如 a 部分所示，放置在遠場中的麥克風陣列捕獲的信號不包含關於聲源的亞波長細節的任何信息，換句話說，不管使用什麼信號處理策略，都不可能實現成像。

如 b 部分所示，隨機插入了一簇亞波長亥姆霍茲諧振器之後，關於亞波長細節的信息輻射到了遠場中。

如 c 部分所示，小組將麥克風陣列採集到的遠場幅值和相位輸入到神經網絡中。

小組使用了兩種不同類型的神經網絡，一是 U -net 型卷積神經網絡，用於圖像重建；二是多層並行 CNN，用於圖像分類。

解析度和分類精度的顯著提升

實驗結果表明，在沒有金屬元素的情況下， U -net 型卷積神經網絡難以重建圖像；而多層並行 CNN 的分類性能相對較高，近場和遠場分別為 67.5％ 和 57.5％。

而在加入 ñ=29 有損諧振器的情況下，遠場分類精度從 57.5％ 提高到 74％，不過圖像重建仍然質量較低（下圖第一行）。

在加入 ñ=302 有損諧振器的情況下，不僅整體分類精度提高到了 84％，而且亞波長圖像的重建也非常準確，解析度提高到了 30 倍（下圖第二行）。

在初步證明了神經網絡能夠從遠場中記錄的幅度相位分布恢復初始的亞波長圖像之後，該小組又有了一個新目標：證實該網絡在新資料庫中快速重新學習的能力。

據了解，研究小組創建了一個包含 600 個培訓樣本和 200 個測試樣本的新數據集，其中包含四個字母 E、 F、L 和 P，然後在這個新的、較小的數據集上重新訓練 U -net 型卷積神經網絡，要求神經網絡對數據集中的未知字母進行分類和重構。

如上圖所示，經過重新學習的網絡實現了 ≥0.94 的圖像保真度（這裡指輸入字母和重構字母之間的差異），說明這種方法具有高度適應性，在學習新數據類型時可以更加高效，不受輸入數據多樣性的限制。

論文合著者之一 Romain Fleury 強調了這一方法的獨特性：

通過使用長度大約為一米的聲波，生成解析度僅為幾釐米的圖像，我們遠遠超過了衍射極限。與此同時，超材料吸收信號曾被認為是一個很大的缺點，但事實證明，與神經網絡相結合時，它成了一種優勢。

實際上研究小組還認為，這一方法能在聲學圖像分析、特徵檢測、對象分類中進行應用，或是在生物醫學應用中作為一種新型無標記聲學傳感工具。正如論文合著者之一 Romain Fleury 所說：

在醫學成像領域，使用長波來觀察非常小的物體將會是一個重大突破。長波意味著醫生可以使用更低的頻率，即便面對著緻密的骨組織，也能獲取到有效的聲學成像。

引用來源：

https://doi.org/10.1103/PhysRevX.10.031029

https://actu.epfl.ch/news/deep-learning-and-metamaterials-make-the-invisible/

相關焦點

  • 不可見成為可見！超材料和 AI 融合，洛桑聯邦理工「破譯」了聲音圖像
    聲音在空氣中作了一幅我們看不見的畫，人們需要用一些手段將其顯現出來。聽上去有點玄幻，能做到嗎？能！近日，瑞士洛桑聯邦理工學院波工程實驗室（Laboratory of Wave Engineering，EPFL）的一個小組利用超材料結合深度學習技術的創新思路實現了這個過程。
  • 人工智慧與超材料結合:突破衍射極限,實現聲波高解析度成像!
    通過將特製材料和人工智慧神經網絡相結合，洛桑聯邦理工學院科學家，現在已經證明並實現聲波可以用於高解析度成像。成像技術能讓我們通過對物體發射或輻射的光波和聲波進行遠場分析來描繪物體。波形越短，圖像的解析度就越高。然而，到目前為止，細節水平受到所討論波長大小的限制。
  • 人工智慧與超材料結合：突破衍射極限，實現聲波高解析度成像
    通過將特製材料和人工智慧神經網絡相結合，洛桑聯邦理工學院科學家，現在已經證明並實現聲波可以用於高解析度成像。成像技術能讓我們通過對物體發射或輻射的光波和聲波進行遠場分析來描繪物體。波形越短，圖像的解析度就越高。然而，到目前為止，細節水平受到所討論波長大小的限制。
  • 可在人體內消化,能夾蘋果,瑞士洛桑聯邦理工研發的這款機器人厲害了
    明膠沒有固定的結構和相對分子量，可溶於熱水，可以在人體內進行消化，這意味著我們離「可食用」的機器人技術又進了一步。 「很多旁觀者認為，我們在做一個奇怪的夢，而且還處於夢的早期階段，還不能徹底地醒悟過來」，在和TechCrunch的交談中，Dario Floreano，瑞士洛桑聯邦理工學院智能研究所的主任表示，「我們承認我們是一個先行者，我們在做一個『吃螃蟹』的事情，這項工作是非常具有挑戰的。我們的工作是創造一個新的事物，而不是實現某種特定的功能」。
  • 洛桑聯邦理工學院提出專利概念——減排9成二氧化碳還能循環利用?
    近日，洛桑聯邦理工學院Valais Wallis學院的研究人員申請了一項新概念的專利，該概念可將卡車的二氧化碳排放量減少近90%。過程是將二氧化碳捕獲在排氣系統中，將其轉化為液體並將其存儲在車輛上；然後將液態二氧化碳輸送到服務站，在那裡液態二氧化碳會被轉化為傳統燃料。
  • 晶片科學家的雄心:全新通道材料實現存算一體,突破AI算力瓶頸
    近日，瑞士洛桑聯邦理工學院的研究團隊在 Nature 上發表了題為《通過原子厚度半導體材料構建存儲和計算單元》（Logic-in-memory based on an atomically thin semiconductor）的論文。
  • 瑞士洛桑聯邦理工AFM|3D列印高強韌雙網絡顆粒水凝膠
    近期，瑞士洛桑聯邦理工學院在軟合成材料中無法達到這種控制水平。為了解決這個缺點，引入了一種新穎的3D列印方法來製造堅韌的軟質材料，即由分隔試劑製成的雙網狀顆粒水凝膠（DNGH）。這是由一種由微凝膠組成的墨水實現的，該微凝膠在含單體的溶液中會溶脹。墨水經過添加劑製造後，這些單體被轉化為滲濾網絡，從而形成DNGH。這些DNGH足夠堅硬，可以重複支撐高達1.3 MPa的拉伸載荷。
  • 【第2549期】瑞士洛桑聯邦理工學院3D列印高強韌雙網絡顆粒水凝膠
    瑞士洛桑聯邦理工學院3D列印高強韌雙網絡顆粒水凝膠 近日，瑞士洛桑聯邦理工學院引入3D列印來製造堅韌的軟質材料，以使其具有良好的機械性能。
  • 超材料為裝備穿上「隱身衣」 軍民融合帶來廣闊前景
    項目首席專家、光啟技術總經理趙治亞表示，此次863計劃超材料項目通過驗收，標誌著我國超材料研究的理論水平和技術支撐水平都有了大幅提升　　作為新時代我國材料領域科技創新的切入點與著力點之一，超材料是進一步推動我國材料科技突破和產業化發展的重要領域。在國防軍工領域率先應用與軍民融合的大背景下，超材料將迎來產業發展新契機。
  • 新技術「用聲音搖動光」，推動微米梳的應用
    壓電材料可以將電壓轉換為機械位移，反之亦然。壓電材料在現代無線通信網絡中幾乎無處不在：濾波器、變送器和振蕩器等壓電器件，廣泛應用於無線通信、全球定位和導航設備中。當地時間7月15日，《自然》雜誌報導，瑞士洛桑聯邦理工學院（EPFL）教授Tobias J. Kippenberg和美國普渡大學教授Sunil A.
  • 可見光和紅外圖像融合的抗暈光原理
    在保證融合結果不失真的情況下，根據可見光傳感器與紅外傳感器的夜間成像特點，利用 IHS 變換可以將圖像分解成 I、H、S 三個相關性低的分量的特性[6-7]，對可見光圖像做 IHS 變換，將飽和的亮度分量 I 進行單獨處理，保留圖像原始的色彩和紋理。
  • 夢從瑞士的洛桑商學院起航,心向世界飛翔
    ACBSP認證確保BSL學位在全球得到承認和價值認可。全球高等教育研究機構QS（Quacquarelli Symonds）從2017年起每年都會發布全球商學院碩士項目排名，共包含全球200餘所頂級商學院。該排名參考的算法指標包括就業能力、創業與校友成果、投資回報率、思想領導力、學生及教師多樣性等。
  • 音流學Cymatics | 看見聲音的形狀,打開上帝之門
    -13Hz，白日夢或靜心的狀態；西塔波，4-7Hz，深沉靜心、睡眠狀態；德爾塔波，0.5-3Hz，深沉睡眠、冥想禪定狀態；在國外很多醫學家、科學家、心理學家，就有諸多涉及用聲音療愈疾病便可破譯它們相互傳遞的信息語言。
  • 合成生物學、超材料和人工智慧的融合將出現顛覆性技術突破
    人工智慧從名稱來看包含兩個部分：「人工」和「智能」，其中「人工」指的就是由人工設計、人工創造和製造，而「智能」則來自於生物和活體，這表明人工智慧與合成生物學、超材料同樣具有天然融合的概念內涵。 合成生物學、超材料和人工智慧3個學科的交叉融合會發生什麼？
  • 合成生物學、超材料和人工智慧的融合將出現顛覆性技術突破
    合成生物學與超材料學科不僅誕生時間和發展歷程非常接近，而且具有非常類似的概念內涵，並在2010 年同時被《Science》雜誌評為「21 世紀前十年自然科學領域的十項重大突破」。人工智慧從名稱來看包含兩個部分：「人工」和「智能」，其中「人工」指的就是由人工設計、人工創造和製造，而「智能」則來自於生物和活體，這表明人工智慧與合成生物學、超材料同樣具有天然融合的概念內涵。
  • 蘇黎世聯邦理工研發金屬和塑料製成的微型血管機器人
    導 語 READ 由金屬和塑料製成的"微型機器或能通過血管移動並將藥物輸送到體內的特定位置 蘇黎世聯邦理工學院的研究人員已經開發出一種方法，通過該方法，他們可以製造小至微米的機器，其中多種材料以複雜的方式交織在一起
  • 運用陰陽物質、光的特性破譯道術奧秘(光)
    （4）開天目時也是先出現光，光由紫到白，再出圖像和聲音。2．波動性光又是中性物質、波粒子，具有波粒二重性，陰中有陽，陽中有陰，表現為：波動性和粒子性。光、電波、磁波的傳播速度和光速一樣都是每秒30萬公裡。電磁波的頻譜中，波速越快，頻率越高，能量越大，粒子越小，穿透力越強。若超光速，光子就變成了陰性物質，可穿透任何陽性物質。電磁波（包括光波）儀器測不到它的體積和重量、質量，不適合用體積和重量、質量來描述它，只適合用波長、頻率、能量這些量（維度）來描述它。光分為可見光和不見光。
  • 瑞士的洛桑商學院 ACBSP認證的第一所歐洲院校
    瑞士的洛桑商學院（BSL）還提供一般管理、企業財務(準備CFA一級考試)和可持續商業(與聖加侖大學合作)方面的高管培訓，超越傳統教育，圍繞社會、環境和經濟問題組織教學和學習。　　在2019年QS的MBA項目評比中，瑞士的洛桑商學院（BSL）評為瑞士第四。該評比參考了多項指標，包括創業精神、校友、學習投資回報、思想領導力和學生及教師多樣性等，但特別強調了可僱傭性作為關鍵指標的重要性（佔40%的評比權重）。　　1996年，瑞士的洛桑商學院（BSL）成為獲得ACBSP認證的第一所歐洲院校。
  • 超材料:為裝備穿上「隱身衣」
    作為新時代我國材料領域科技創新的切入點與著力點之一，超材料是進一步推動我國材料科技突破和產業化發展的重要領域。在國防軍工領域率先應用與軍民融合的大背景下，超材料將迎來產業發展新契機。項目的實施提升了超材料及其相關器件研發與應用的理論水平和技術支撐水平，整合了國內超材料研究的優勢力量，培養了一批超材料領域的科研團隊，形成了超材料設計、研發、製造和測試平臺。　　為進一步推動我國材料領域科技創新和產業化發展，科技部制定了《「十三五」材料領域科技創新專項規劃》。