Nat Methods | 李棟/戴瓊海團隊開發深度學習超分辨顯微成像方法

近年來，基於卷積神經網絡（Convolutional Neural Network，CNN）的深度學習算法在單張自然圖像超分辨（Single Image Super Resolution，SISR）領域取得了巨大的進展，可將輸入的低解析度模糊圖像上採樣為細節清晰的高解析度圖像。目前，這些深度學習超分辨算法正快速運用到顯微成像領域，例如：將單張寬場螢光顯微圖像作為超分辨神經網絡的輸入，即可得到突破衍射極限解析度的超分辨圖像輸出【1, 2】。但與自然圖像超分辨任務有所區別的是，超分辨螢光顯微成像需要的不僅是視覺效果上的提升，更重要的是超分辨重建的結果必須保真、可信，才能服務於生物醫學研究。然而，面對複雜度多樣的生物結構，以及不同信噪比和解析度的顯微成像條件，現有超分辨神經網絡模型與傳統超分辨成像方法相比孰優孰劣？以及在不同成像條件下，生物學家在多大程度上能夠信任這些模型的輸出結果？是否可以利用顯微成像的特點進一步提升超分辨神經網絡的性能？以及這些超分辨神經網絡是否能應用到生物醫學研究中，並發現新現象？這些基本問題在這一新興領域依然處於未知。

2021年1月21日，中國科學院生物物理所李棟課題組與清華大學自動化系、清華大學腦與認知科學研究院戴瓊海課題組在Nature Methods雜誌以長文（Article）形式發表題為Evaluation and development of deep neural networks for image super-resolution in optical microscopy的論文，用自主開發的多模態結構光照明超分辨顯微鏡（Multi-modality Structured Illumination Microscopy）採集了可用於深度學習模型訓練的高質量公開數據集BioSR，並提出測評矩陣（assessment matrix）方法，從多個維度綜合分析了現有超分辨卷積神經網絡模型對於顯微圖像的超分辨性能，在此基礎上，該論文深度挖掘圖像超分辨過程中的頻域特徵，提出傅立葉域注意力卷積神經網絡（Deep Fourier Channel Attention Network, DFCAN）和傅立葉域注意力生成對抗網絡（Deep Fourier Generative Adversarial Network, DFGAN），相較於其他超分辨CNN模型，DFCAN和DFGAN可以在不同成像條件下實現最優的顯微圖像超分辨預測和結構光超分辨圖像重建效果，進一步提升了超分辨活細胞成像的性能，並觀測到線粒體內脊、線粒體擬核、內質網、微絲骨架等生物結構的動態互作新行為。