我國科研團隊開發出深度學習超分辨顯微成像方法

2021-02-19 光行天下

1月21日，中國科學院生物物理所、廣州生物島實驗室研究員李棟課題組，與清華大學自動化系、腦與認知科學研究院教授戴瓊海課題組，在Nature Methods上以長文（Article）形式發表了題為Evaluation and development of deep neural networks for image super-resolution in optical microscopy的論文。該研究綜合測評了現有超分辨卷積神經網絡模型在顯微圖像超分辨任務上的表現，提出傅立葉域注意力卷積神經網絡（DFCAN，Deep Fourier Channel Attention Network）和傅立葉域注意力生成對抗網絡（DFGAN，Deep Fourier Generative Adversarial Network）模型，在不同成像條件下實現最優的顯微圖像超分辨預測和結構光超分辨重建效果，並觀測到線粒體內脊、線粒體擬核、內質網、微絲骨架等生物結構的動態互作新行為。

為測評現有多種超分辨神經網絡在顯微圖像超分辨任務中的表現，以及建立基於深度學習的顯微圖像超分辨算法研究生態，李棟/戴瓊海聯合課題組利用自主開發了多模態結構光超分辨顯微鏡系統，集成了TIRF-SIM、Nonlinear-SIM（Science，2015）和GI-SIM（Cell，2018）等多種超分辨成像模態，並利用這一系統建立了一個包含四種不同複雜度的生物結構、九檔信噪比，以及提高2倍（Linear-SIM）、3倍（Nonlinear-SIM）解析度的高質量超分辨顯微圖像數據集，命名為BioSR。以此為基礎，該團隊測試了多個現有超分辨神經網絡模型的性能，如SRCNN、EDSR、Pix2Pix、RCAN等，並提出測評矩陣（assessment matrix）方法，將超分辨神經網絡模型與傳統Linear-SIM和Nonlinear-SIM的效果進行比較，得到了不同模型的優越區域（priority region），即給出了不同模型實現足夠好的超分辨成像效果，能夠用於日常生物成像實驗的成像條件。

通過分析評測矩陣結果發現，現有超分辨神經網絡模型的優越區域主要集中在低複雜度生物結構和提升2倍解析度（即Linear-SIM）的成像條件下，而在生物成像實驗通常使用的中、高信噪比條件下的性能則低於傳統超分辨成像方法。為進一步拓展卷積神經網絡在顯微圖像超分辨中的適用範圍，提升超分辨成像和重建效果，李棟/戴瓊海聯合課題組基於高、低解析度圖像頻譜覆蓋範圍的顯著差異，提出了傅立葉域注意力卷積神經網絡模型（DFCAN）和傅立葉域注意力生成對抗網絡模型（DFGAN），實現了比其它超分辨神經網絡模型更魯棒的顯微圖像超分辨成像效果，依據測評矩陣結果，其優越區域可以拓展至中、高信噪比成像條件，可在實際生物成像實驗中替代現有超分辨成像方法，拓展了深度學習超分辨成像方法的適用範圍。

應用DFCAN和DFGAN單張顯微圖像超解析度預測和結構光照明超分辨重建方法，研究人員能夠以更低的雷射功率、更快的成像速度、更長的成像時程和超越衍射極限的解析度來觀測亞細胞尺度生物結構的動態演變過程。例如：（1）細胞中的線粒體內膜和線粒體擬核之間的相互作用。成像時程（>1200張超分辨圖像）達到傳統活細胞超分辨成像方法的10倍以上，首次觀察到伴隨著線粒體內脊形變的擬核分離和聚合現象。（2）細胞中環形線粒體的旋轉行為。揭示環形線粒體會在細胞質流的推動下進行雙向旋轉，表明除植物細胞外，動物細胞一定程度上也用渦旋細胞質流來調節胞內穩態。（3）細胞內吞過程中細胞微絲（F-actin）和網格蛋白小窩（CCPs）的相互作用。觀察到在內吞過程伊始時F-actin與CCPs接觸較少，而在內吞即將結束時F-actin頻繁接觸CCPs，以幫助其脫離細胞膜。（4）細胞中線粒體和內質網之間的相互作用。觀察到線粒體的分裂和融合發生在其與內質網的接觸位點附近。


傅立葉域注意力生成對抗網絡將寬場螢光圖像重建成超分辨圖像，準確解析了微絲細胞骨架微結構。


上圖為傅立葉域注意力機制深度學習算法框架圖。下圖是基於DFCAN和DFGAN結構光超分辨重建活細胞內的線粒體內膜結構（綠色）和內質網（紫紅色），撲捉到線粒體在內質網與線粒體接觸位點線粒體融合的動態過程。

李棟、戴瓊海為論文的共同通訊作者。清華大學自動化系博士生喬暢、生物物理所副研究員李迪、博士後郭玉婷、博士生劉衝為論文的共同第一作者。研究工作得到國家自然科學基金委員會、科學技術部、中科院、中國博士後科學基金、騰訊「科學探索獎」的資助。

論文連結：https://www.nature.com/articles/s41592-020-01048-5

2021年光行天下廣告位開始預訂：

詳情查看：http://www.opticsky.cn/read-htm-tid-139367.html

光行天下：http://www.opticsky.cn
廣告合作：QQ 9652202 微信號 cyqdesign

免費人才與求職平臺：http://hr.opticsky.cn

技術、科研稿件投遞：service@opticsky.cn

您的支持，是我們堅持的動力！點讚(￣▽￣)哦！

相關焦點

  • Nat Methods | 李棟/戴瓊海團隊開發深度學習超分辨顯微成像方法
    近年來，基於卷積神經網絡（Convolutional Neural Network，CNN）的深度學習算法在單張自然圖像超分辨（Single Image Super Resolution，SISR）領域取得了巨大的進展，可將輸入的低解析度模糊圖像上採樣為細節清晰的高解析度圖像。
  • 追光 | 深度學習助力超分辨顯微成像 (Nature Methods)
    目前，這些深度學習超分辨算法正快速運用到顯微成像領域，例如：將單張寬場螢光顯微圖像作為超分辨神經網絡的輸入，即可得到突破衍射極限解析度的超分辨圖像輸出。但與自然圖像超分辨任務有所區別的是，超分辨螢光顯微成像需要的不僅是視覺效果上的提升，更重要的是超分辨重建的結果必須保真、可信，才能服務於生物醫學研究。
  • 專家解讀丨莊小威組在Science總結超分辨顯微成像技術
    此外，還有雙焦面成像，PSF工程改造和幹涉等方法來實現超分辨顯微技術的三維解析能力。在STED和RESOLFT中，通過雙物鏡產生相互抵消的「甜甜圈」照明實現了各向同性的三維超分辨解析能力。超分辨成像技術的重中之重，當然是解析度的提升。
  • 應用分享 | SRRF-Stream+超分辨顯微成像平臺
    2016年，Henriques實驗室發展了針對超分辨成像技術的替代技術，命名為SRRF-Super-Resolution Radial Fluctuations (1). SRRF可以在寬場、共聚焦、TIRF等光學顯微成像系統中使用，最終的成像解析度依靠成像數據的特性。
  • 浙江大學錢駿團隊Adv. Mater.: AIE材料用於STED超分辨生物成像
    但是，由於光學衍射極限的存在，傳統的光學顯微術的分辨能力在200 nm左右，無法滿足亞細胞尺度的觀測需求，而超分辨顯微技術則打破了技術瓶頸，實現了超越光學衍射極限的分辨能力。STED超分辨顯微術的發明者Stefan Hell因這項技術與PALM超分辨顯微術的發明者共同獲得了2014年諾貝爾化學獎，STED顯微術也因其極高的分辨能力而受到廣泛關注。
  • 超分辨螢光輔助衍射層析成像揭露細胞器相互作用全景
    ，發展了超分辨螢光輔助衍射層析（SR-FACT）雙模態顯微成像技術，實現了對細胞內細胞器相互作用過程的高速三維全景成像。 無標記成像則不受螢光標記物引入的各種限制。無標記成像技術通過細胞內不同結構表現出的不同光學屬性來進行成像，如以相襯顯微鏡為代表的各種相位成像方法可成像具有不同折射率的結構。新近出現的光學衍射層析成像通過結合斷層掃描及全息顯微成像技術，可在衍射模型下實現三維無標記成像。但先前的工作在關注提高光學衍射層析成像解析度的同時，忽略了較慢的成像速度在活細胞成像中造成的解析度下降的問題。
  • 背照式sCMOS:突破單分子定位超分辨成像技術壁壘
    在超分辨顯微成像技術中，單分子定位顯微技術（SMLM）自誕生之日起就受到廣泛關注，PALM還在2014 年獲得了諾貝爾化學獎。中科院生物物理研究所徐平勇研究員課題組開發的單分子定位超分辨技術 SIMBA，用 100 張原始圖像重建超分辨圖像，解析度可以達到 50nm(Cell Research，2017)，克服了早期的 3B（Bayesian analysis of blinking and bleaching）算法耗時
  • 北大陳興課題組開發基於點擊化學的膨脹顯微成像技術
    近日，北京大學化學與分子工程學院、北大-清華生命科學聯合中心陳興課題組在《自然-方法》（Nature Methods）雜誌在線發表了題為「Click-ExM enables expansion microscopy for all biomolecules
  • 哈工大:新型生物光學顯微成像技術 ATM 獲重要進展
    IT之家7月18日消息 據哈爾濱工業大學官方發布，物理學院王健副教授在最新一期國際光學權威期刊《光學》（Optica）上以 「艾裡光束層析成像顯微鏡」（Airy-beam Tomographic Microscopy）為題發表最新研究成果，提出一種基於艾裡光場的新型無掃描、高分辨、三維顯微成像技術
  • 「創建出可探測細胞內結構相互作用的納米和毫秒尺度成像技術...
    觀測這些相互作用，需要對細胞內環境進行非侵入式、長時程、高時空分辨、低背景噪聲的成像。從貼壁細胞的形態分析，大多數細胞器通常分布在靠近基底膜1微米的深度範圍內。然而，這一深度範圍已經超出了全內反射結構光照明超分辨螢光顯微鏡（TIRF-SIM）技術的成像深度。
  • 物理學院王健副教授在新型生物光學顯微成像技術方向取得重要研究...
    哈工大報訊（物理/文）7月13日，我校物理學院王健副教授在最新一期國際光學權威期刊《Optica》上以「Airy-beam Tomographic Microscopy（艾裡光束層析成像顯微鏡）」為題發表最新研究成果，提出一種基於艾裡光場的新型無掃描、高分辨、三維顯微成像技術ATM，並成功應用於生物細胞成像。
  • 北京2017年度雷射共焦超高分辨顯微學學術研討會召開
    據蔡司針對250多位專業共聚焦用戶調研結果顯示，用戶更加關注的需求包括：兼具更優異的圖像質量、清晰(更多細節)、活細胞快速成像、組織或活體深度成像等，而LSM8系列產品的優良性能則正是滿足了客戶上述的需求。另外傅利琴還介紹了蔡司的光電聯用解決方案，包括關聯顯微鏡樣品臺、一體化軟體解決方案、光電圖像半自動化重疊等。
  • 北大跨院系團隊發明超分辨螢光輔助衍射層析技術 觀察到細胞器互作...
    ，將三維無標記光學衍射層析顯微成像與二維海森結構光超分辨螢光成像技術相結合，發明了一種新的雙模態超解析度顯微鏡。該新技術被命名為超分辨螢光輔助衍射層析技術（SR-FACT），讓科學家首次看到細胞內真實全景超解析度圖像。
  • 可定量測磁場的NV色心超分辨量子磁...
    [報告簡介]　　磁性材料的顯微觀測有助於材料的微觀結構及其形成機理的研究，隨著科研的發展，磁性材料研究的尺度已經趨向於亞微米級甚至納米級，因此，超高分辨和超高靈敏度的測試有助於對這些極小尺寸的材料進行研究
  • 實踐大賽 | 2020年江蘇省醫學顯微成像科研創新實踐大賽在南通大學成功舉辦
    11月7日-8日，由江蘇省醫學類研究生教育指導委員會主辦，南通大學承辦的「2020年江蘇省醫學顯微成像科研創新實踐大賽」在南通大學成功舉行。該賽事以「競新鬥巧 鏡顯神通」為主題，來自長三角地區的12所高校及科研院所二百餘名師生通過線上和線下相結合的方式參加了此次大賽。      11月7日上午，大賽開幕式在南通大學圖書館舉行。
  • 【材料】季銨化哌嗪羅丹明——提升亮度的新型超分辨螢光染料
    超分辨顯微技術的開發和應用近年來取得長足的發展，但一直受限於螢光染料的亮度和穩定性。
  • 2020年全國電子顯微學學術年會生命科學分會場集錦
    2020年突如其來的疫情令電子顯微學的生命科學領域相關研究備受矚目。其中，第八分會場「低溫電子顯微鏡表徵分會場」和第九分會場「生命科學顯微成像技術研究分會場」吸引了生命科學領域與會者的熱烈關注。以下為部分精彩報告摘要。
  • 「先進成像」專題半月刊封面文章合輯
    作者：邵曉鵬，劉飛，李偉，楊力銘，楊思原，劉佳維第一單位：西安電子科技大學本文從透過散射介質成像、偏振成像、仿生光學成像、三維成像及計算成像光學系統設計等典型的計算成像技術出發，對「更高、更遠、更大、更小」問題進行詳細分析，結合光場信息的獲取、挖掘及深度利用，突破成像探測距離、成像體積及功耗的限制，實現從「不可能」到「可能」的跨越。