不可見成為可見！超材料和 AI 融合，洛桑聯邦理工「破譯」了聲音圖像

2020-09-05 雷鋒網

聲音在空氣中作了一幅我們看不見的畫，人們需要用一些手段將其顯現出來。

聽上去有點玄幻，能做到嗎？

能！

近日，瑞士洛桑聯邦理工學院波工程實驗室（Laboratory of Wave Engineering，EPFL）的一個小組利用超材料結合深度學習技術的創新思路實現了這個過程。

2020 年 8 月 7 日，該研究小組題為 Far-Field Subwavelength Acoustic Imaging by Deep Learning（基於深度學習的遠場聲學亞波長成像）的成果發表於國際頂級物理學期刊 Physical Review X。

衍射極限帶來的挑戰

該小組的這一嘗試要從物理學中的「衍射極限」（Diffraction limit）說起。

衍射是一個我們日常生活中都遇到過的物理現象——波遇到障礙物時會偏離原本的直線傳播。而在此基礎上的衍射極限則是指，受到衍射現象的限制，一個物點經光學系統成像，並不能得到理想像點。

利用一個物體的成像，人們能夠對它傳播或輻射的光波、聲波進行一個所謂的遠場（far-field）分析，以此來描繪物體本身。

為實現這一目的，較為關鍵的一個因素是成像的解析度。解析度受限于波長，波越短，解析度越高。

也就是說，正是因為衍射極限，物體的成像質量會受影響。因此，遠場觀察、識別那些尺寸比光波長小得多的物體，這項任務具有挑戰性。

雖然科學家們此前已經設計出了幾種方法來克服這種限制，但這些方法還存在一些問題，比如：

  • 侵入性標記方法：需要複雜、昂貴的光學設備，圖像後處理過程繁瑣；

  • 諧振超材料透鏡方法：雖然無需標記、成像解析度也高，但諧振金屬材料對吸收損耗敏感，這在很大程度上阻礙了其實際應用。

超材料與深度學習的結合

對於任何一項科學研究而言，發現問題之後，就要提出研究課題，嘗試給出解決方案了。

研究小組在論文中表示：

機器學習在不斷進步，不同領域的科學家們開始嘗試通過深度學習進行研究，如工程、生物、醫學、量子物理等。近年來，深度學習成功的例子包括醫學圖像分析、語音識別、圖像分類、逆成像問題以及各種複雜的分析問題。

實際上，由具有非線性模塊的多個處理層組成的深度神經網絡，能夠通過自調整每一層的內部參數，發現、學習隱藏在複雜數據中的結構，無需人工幹預。

受此啟發，波工程實驗室研究小組的思路是：將超材料與深度學習技術結合，把衍射極限由劣勢變成優勢，為無標記成像技術的新應用開闢一條新路。

雷鋒網了解到，超材料即 Metamaterial，是指一類自然界中不存在的、人工製造的非活體複合材料或結構。在這一研究中，小組採用的是有損耗（小組特地進行的設計）的諧振金屬。

【用於亞波長圖像重建和識別的實驗裝置】

研究小組在亞波長輸入圖像（subwavelength input images）附近放置金屬，並訓練神經網絡直接對圖像進行重構和分類。其中，金屬的吸收損失是有效學習的關鍵。

具體原理見下圖：

類似數字「5」的形狀是一個亞波長聲源。

如 a 部分所示，放置在遠場中的麥克風陣列捕獲的信號不包含關於聲源的亞波長細節的任何信息，換句話說，不管使用什麼信號處理策略，都不可能實現成像。

如 b 部分所示，隨機插入了一簇亞波長亥姆霍茲諧振器之後，關於亞波長細節的信息輻射到了遠場中。

如 c 部分所示，小組將麥克風陣列採集到的遠場幅值和相位輸入到神經網絡中。

小組使用了兩種不同類型的神經網絡，一是 U -net 型卷積神經網絡，用於圖像重建；二是多層並行 CNN，用於圖像分類。

解析度和分類精度的顯著提升

實驗結果表明，在沒有金屬元素的情況下， U -net 型卷積神經網絡難以重建圖像；而多層並行 CNN 的分類性能相對較高，近場和遠場分別為 67.5％ 和 57.5％。

而在加入 ñ=29 有損諧振器的情況下，遠場分類精度從 57.5％ 提高到 74％，不過圖像重建仍然質量較低（下圖第一行）。

在加入 ñ=302 有損諧振器的情況下，不僅整體分類精度提高到了 84％，而且亞波長圖像的重建也非常準確，解析度提高到了 30 倍（下圖第二行）。

在初步證明了神經網絡能夠從遠場中記錄的幅度相位分布恢復初始的亞波長圖像之後，該小組又有了一個新目標：證實該網絡在新資料庫中快速重新學習的能力。

據了解，研究小組創建了一個包含 600 個培訓樣本和 200 個測試樣本的新數據集，其中包含四個字母 E、 F、L 和 P，然後在這個新的、較小的數據集上重新訓練 U -net 型卷積神經網絡，要求神經網絡對數據集中的未知字母進行分類和重構。

如上圖所示，經過重新學習的網絡實現了 ≥0.94 的圖像保真度（這裡指輸入字母和重構字母之間的差異），說明這種方法具有高度適應性，在學習新數據類型時可以更加高效，不受輸入數據多樣性的限制。

論文合著者之一 Romain Fleury 強調了這一方法的獨特性：

通過使用長度大約為一米的聲波，生成解析度僅為幾釐米的圖像，我們遠遠超過了衍射極限。與此同時，超材料吸收信號曾被認為是一個很大的缺點，但事實證明，與神經網絡相結合時，它成了一種優勢。

實際上研究小組還認為，這一方法能在聲學圖像分析、特徵檢測、對象分類中進行應用，或是在生物醫學應用中作為一種新型無標記聲學傳感工具。正如論文合著者之一 Romain Fleury 所說：

在醫學成像領域，使用長波來觀察非常小的物體將會是一個重大突破。長波意味著醫生可以使用更低的頻率，即便面對著緻密的骨組織，也能獲取到有效的聲學成像。

引用來源：

https://doi.org/10.1103/PhysRevX.10.031029

https://actu.epfl.ch/news/deep-learning-and-metamaterials-make-the-invisible/

雷鋒網雷鋒網雷鋒網

相關焦點

  • 不可見成為可見,超材料和AI融合 洛桑聯邦理工「破譯」了聲音圖像
    近日，瑞士洛桑聯邦理工學院波工程實驗室（Laboratory of Wave Engineering，EPFL）的一個小組利用超材料結合深度學習技術的創新思路實現了這個過程。雖然科學家們此前已經設計出了幾種方法來克服這種限制，但這些方法還存在一些問題，比如：侵入性標記方法：需要複雜、昂貴的光學設備，圖像後處理過程繁瑣；諧振超材料透鏡方法：雖然無需標記、成像解析度也高，但諧振金屬材料對吸收損耗敏感，這在很大程度上阻礙了其實際應用。
  • 人工智慧與超材料結合:突破衍射極限,實現聲波高解析度成像!
    通過將特製材料和人工智慧神經網絡相結合，洛桑聯邦理工學院科學家，現在已經證明並實現聲波可以用於高解析度成像。成像技術能讓我們通過對物體發射或輻射的光波和聲波進行遠場分析來描繪物體。波形越短，圖像的解析度就越高。然而，到目前為止，細節水平受到所討論波長大小的限制。
  • 人工智慧與超材料結合：突破衍射極限，實現聲波高解析度成像
    通過將特製材料和人工智慧神經網絡相結合，洛桑聯邦理工學院科學家，現在已經證明並實現聲波可以用於高解析度成像。成像技術能讓我們通過對物體發射或輻射的光波和聲波進行遠場分析來描繪物體。波形越短，圖像的解析度就越高。然而，到目前為止，細節水平受到所討論波長大小的限制。
  • AI無法成為「專利發明人」？一位計算機學者決定起訴美國專利局
    值得注意的是，「DABUS」是一個 AI 系統，由大量訓練過的神經網絡組成，Thaler 將其形容為「創造力引擎」。比如所有權、非人權（non-human rights），甚至還可以延伸到：是什麼使我們成為了「人」，而其他實體卻沒有？就像曾經鬧得沸沸揚揚的「猴子自拍案」：印度尼西亞雨林中的獼猴使用攝影師 David Slater 留下的相機拍了一張自己的照片，並在網際網路上風行一時。
  • 意念加AI算法「復原」每個手指,智能義肢登上Nature子刊封面
    機器之心報導參與：張倩、杜偉、李澤南使用「意念」控制機械，讓肢體缺失的殘疾人過上正常人的生活，這聽起來像是出現在電影中的場景。最近，瑞士洛桑聯邦理工學院（EPFL）展示的新技術卻讓科幻變成了現實，他們的研究還登上了最新一期自然雜誌子刊《Nature Machine Intelligence》的封面。近日，瑞士洛桑聯邦理工學院的研究人員開發出了一種全新的機械臂控制方法，它利用人工智慧為被截肢者提供前所未有的準確操縱能力。
  • 機器之心「AI00」十一月最新榜單:兩家國內公司新上榜
    我們深刻地理解在沒有專業用戶反饋的情況下所做出報告的質量局限性，所以希望用工程界「Agile Development」的理念來對待我們的報告，不斷收集專業反饋來持續提升報告質量。人工智慧是一個永恆命題，我們不僅會把「100 家公司」這個主題持續做下去，還會陸續開展其他主題。這個過程需要人工智慧領域不同的參與者加入進來。
  • 破譯「羅塞塔石碑」要幾十年？華裔MIT博士開發新系統，快速解密
    」歷時約20年，終於破譯了上面的其他文字。破譯失傳語言，很多時候要靠它和其他語言的關係。商博良能破譯象形文字，也是靠著他會多門語言的天賦。「死語言」的兩個難點大多數未被破譯的失傳語言都有兩個特點，這對破譯工作構成了重大挑戰：(1)分割不夠細緻
  • 可在人體內消化,能夾蘋果,瑞士洛桑聯邦理工研發的這款機器人厲害了
    明膠沒有固定的結構和相對分子量，可溶於熱水，可以在人體內進行消化，這意味著我們離「可食用」的機器人技術又進了一步。 「很多旁觀者認為，我們在做一個奇怪的夢，而且還處於夢的早期階段，還不能徹底地醒悟過來」，在和TechCrunch的交談中，Dario Floreano，瑞士洛桑聯邦理工學院智能研究所的主任表示，「我們承認我們是一個先行者，我們在做一個『吃螃蟹』的事情，這項工作是非常具有挑戰的。我們的工作是創造一個新的事物，而不是實現某種特定的功能」。
  • AI「幹掉」程式設計師後,又對藝術家下手了
    因為人們發現有了這些神經網絡，就能通過自然語言操縱視覺概念，比如，你輸入「一把牛油果造型的扶手椅」，它們就能通過圖像合成，「憑空捏造」出一系列的目標圖像。什麼是人工智慧的未來？《麻省理工科技評論》認為就是「那把牛油果造型的扶手椅」，因為 AI 又往「構建多模態 AI 系統」這個長期目標又邁近了一大步。
  • 洛桑聯邦理工學院提出專利概念——減排9成二氧化碳還能循環利用?
    近日，洛桑聯邦理工學院Valais Wallis學院的研究人員申請了一項新概念的專利，該概念可將卡車的二氧化碳排放量減少近90%。過程是將二氧化碳捕獲在排氣系統中，將其轉化為液體並將其存儲在車輛上；然後將液態二氧化碳輸送到服務站，在那裡液態二氧化碳會被轉化為傳統燃料。
  • 不只是智能投研,「超對稱技術」想成為所有B端用戶的「外腦」
    36氪最近接觸到的「超對稱技術」通過全網挖掘企業經營和傳播數據，構建AI數據量化平臺，賦能金融投資和企業經營決策。 「超對稱技術」成立於2016年，目前業務主要為通過搭建產業知識圖譜，實時監測，捕捉接近4000隻A股，中概股的全市場動態，覆蓋衣食住行用教育醫療生產製造等國民經濟的主要板塊。
  • 晶片科學家的雄心:全新通道材料實現存算一體,突破AI算力瓶頸
    近日，瑞士洛桑聯邦理工學院的研究團隊在 Nature 上發表了題為《通過原子厚度半導體材料構建存儲和計算單元》（Logic-in-memory based on an atomically thin semiconductor）的論文。
  • 2020「水下目標檢測算法賽」賽題解析——聲學圖像
    為了解決該類問題，將光學技術、聲學技術和 AI 算法更好的融入到海洋產業中，近期，一場由國家自然基金委、鵬城實驗室和湛江市人民政府聯合主辦的線上比賽「水下目標檢測算法賽」拉開了帷幕。聲學圖像在水下目標檢測中探程遠、實用性強，針對「聲學圖像目標檢測」賽項，鵬城實驗室專門開設了 2 期在線直播課程，先後請到上海達華測繪有限公司專家李太春老師和河海大學、水下信息感知技術研究中心副主任霍冠英老師，為參賽者和算法愛好人士提供深入淺出的專業講座。
  • 超多,超快,超強!百度飛槳發布工業級圖像分割利器PaddleSeg
    機器之心發布機器之心編輯部近日，飛槳官方發布了工業級圖像分割模型庫 PaddleSeg，給開發者帶來誠意滿滿的三重超值驚喜：①一次性開源 15 個官方支持的圖像分割領域主流模型，大禮包帶來大滿足。②多卡訓練速度比對標產品快兩倍，工業級部署能力，時間節省超痛快。
  • 瑞士洛桑聯邦理工AFM|3D列印高強韌雙網絡顆粒水凝膠
    近期，瑞士洛桑聯邦理工學院在軟合成材料中無法達到這種控制水平。為了解決這個缺點，引入了一種新穎的3D列印方法來製造堅韌的軟質材料，即由分隔試劑製成的雙網狀顆粒水凝膠（DNGH）。這是由一種由微凝膠組成的墨水實現的，該微凝膠在含單體的溶液中會溶脹。墨水經過添加劑製造後，這些單體被轉化為滲濾網絡，從而形成DNGH。這些DNGH足夠堅硬，可以重複支撐高達1.3 MPa的拉伸載荷。
  • 騰訊AI 王者「絕悟」升級了
    但受到練習時間與精力限制，很少有人能精通所有英雄，但「絕悟」做到了。 那麼，王者再進化，將有多強？ 基於此，技術團隊為「絕悟」找了一個能排兵布陣的 AI 教練，也就是在遊戲 BP 環節（禁選英雄）的最優策略。 【絕悟 vs 人類 BP 測試】 受到圍棋 AI 算法的啟發，研究團隊創新地採用了蒙特卡洛樹搜索（MCTS）和神經網絡結合的自動 BP 模型，能夠又快又準地選出具備最大長期價值的英雄。
  • 傳聞要被「降級」的這所211高校,讓這位網紅教授「救活了」
    但若是了解這一切背後的「網紅教授」鄭強，也就並不覺得那麼意外了。太原理工的大動作，真的有點硬能讓這所211高校成為熱議的焦點，可以說是從今年4月份開始。當時，「網紅教授」鄭強正式加入太原理工大學，擔任黨委書記一職。
  • 又是10+SCI,「破格」操作合理麼?
    可以說，孫光宇是一個「論文狂人」。在攻讀碩士期間，他以第一作者的身份發表SCI論文8篇，EI會議論文4篇；另外以其餘作者身份發表SCI論文8篇，EI會議2篇。論科研成績，孫光宇碩果纍纍，他所在的學院建議破格授予他博士學位。讀了碩士，卻拿了博士學位？孫同學的確實力強悍，但「破格」二字還是讓大家議論紛紛。「破格」XX，該不該寫入學校政策？
  • 你已經知道比特幣,但知道「比特」從何而來嗎?
    信息極大地釋放了人類的能量，它所創造的價值超過了之前五千年的財富總和，但「信息」依然是大家耳熟能詳卻又含義模糊的詞。Claude Elwood Shannon 資訊理論的偉大貢獻在於，可以用數學公式嚴格定義信息的量，反映了信息表達形式在統計方面的性質。在 20 世紀早期，信息的載體隨處可見，信件、電話、聲音和圖像，信息在全球川流不息地流動著。